Meta Analizinde Aykr Deerlerin Tespiti ve Farkl Varyans

Meta Analizinde Aykırı Değerlerin Tespiti ve Farklı Varyans Tahmin Yöntemleri İle Değerlendirilmesi Mutlu Umaroğlu

Meta Analizi • Meta analizi aynı konuda farklı yer, zaman ve merkezde yapılmış olan araştırma sonuçlarını niteliksel ve niceliksel olarak birleştirmeye ve o konuda genel bir sonuca ulaşmaya yardımcı olan istatistiksel bir yöntemdir. • Meta analizi, örneklem genişliğini artırarak, parametre kestirimlerinin kesinliğini ve gücünü artırmak, araştırıcıdan kaynaklı yanlılığın önüne geçerek bilimsel yazılardaki tutarsızlıkları araştırmak için yapılır.

Etki Büyüklüğü • Etki büyüklüğü iki değişken arasındaki ilişki miktarı veya iki grup arasındaki farklılığın miktarı vb. gibi kullanılan bir indeks değeridir. • Test sonucunda doğru olarak saptamak istediğimiz en küçük değişim miktarını gösteren bir ölçüdür. • Meta analizi çalışmalarında genellikle çalışmaların etki büyüklükleri birleştirilir. • Çalışmalar birleştirilmeden önce her bir sonuç değişkenine ait ölçümlerin etki büyüklüklerinin hesaplanması gerekmektedir.

Homojenlik – Heterojenlik • Meta analizine dahil edilen çalışmalar arasındaki etki büyüklüğünün farklılığına heterojenlik denir. • Bu nedenle öncelikle etki büyüklüklerinin dağılım yapısının incelenmesi gerekmektedir. • Meta analizi çalışmalarında etki büyüklüğü ölçüsü olarak genellikle sayısal veriler için Cohen’in d, Glass’ın Δ, Hedges’in g ve kategorik veriler için RR, OR ve AR kullanılmaktadır. • Meta analizinde heterojenliği değerlendirmek için genellikle Cochran Q testi ve I 2 kullanılmaktadır.

Cochran Q testi • Çalışmalar arasında heterojenlik olup olmadığının değerlendirilmesinde en çok kullanılan yaklaşımdır. • Q istatistiği (k-1) serbestlik dereceli ki-kare dağılımına sahiptir. wi Çalışmaların ağırlığı (1/SH(Yi)) Yi Etki büyüklüğü

• Heterojenliğin yüzde olarak ifade edildiği Cochran Q istatistiği temelli bir istatistiktir.

• • (DL) Der. Simonian – Laird (SJ) Sidik-Jonkman (ML) En Çok Olabilirlik (REML) Kısıtlanmış En Çok Olabilirlik (EB) Deneysel Bayes

Moment kestirimi (DL) Der. Simonian – Laird Varyans kestirimi (SJ) Sidik-Jonkman En çok olabilirlik (ML) En Çok Olabilirlik (REML) Kısıtlanmış En Çok Olabilirlik Bayes kestirimi (EB) Deneysel Bayes

Der. Simonian – Laird Yöntemi wi Çalışmaların ağırlığı (1/SH(Yi)) Q Cochran’ın Q test istatistiği k Çalışma sayısı

Sidik-Jonkman Yöntemi olmak üzere

En Çok Olabilirlik Yöntemi •

Kısıtlanmış En Çok Olabilirlik Yöntemi •

Örnek: Öğrenme güçlüğü çeken yetişkinlerin Text-to-speech¹ yöntemi ile okunan metni ne kadar doğru anladığı değerlendirilmiştir. Etki büyüklüğü ölçüsü olarak Hedges’in G istatistiği kullanılmıştır. No Çalışma 1 Elkind 1996 2 Higgins 1997 3 Calhoon 2000 4 Chiang 2012 5 Chiang 2013 6 Chiang 2014 Etki Büyüklüğü 0, 147 -0, 016 0, 225 2, 531 0, 509 0, 052 Std. Hata 0, 199 0, 23 0, 157 0, 491 0, 367 0, 361 Perelmutter B ve ark. , Assistive technology interventions for adolescents and adults with learning disabilities: An evidence-based systematic review and meta-analysis, Computers & Education, 2017 ¹TTS: Elektronik ortamdaki metinlerin anlaşılabilir biçimde ve insan sesi doğallığında seslendirilmesi

Örnek:

Araştırmalarda Aykırı Değer Problemi • Birincil çalışmalarda olduğu gibi meta-analizlerinde de aykırı değer olabilmektedir. • Heterojenliğin yüksek çıkmasının nedenlerinden biri de meta analizinde aykırı değer bulunmasıdır. • Heterejonliği ölçen bu yöntemler aykırı değerleri tespit edememektedir. • Aykırı değerlerin ayrıca tespit edilmesi gerekmektedir.

Aykırı Değerlerin Tespiti • Meta analizi çalışmalarında kullanılan bazı grafikler hem çalışmaların heterojenliği hakkında hem de aykırı değer olarak adlandırılan çalışma olup olmadığı konusunda fikir verebilir. ØForest plot ØGalbraith Radial plot • Aykırı değerlerin tespitinde kullanılan kantitatif yöntem ise artıkların incelenmesidir.

Örnek:

Artıkların İncelenmesi • Hedges’e göre standartlaştırılmış artıkları -3 ile +3 arasında olmayan çalışmalar aykırı değer olarak adlandırılmaktadır.

Örnek: Öğrenme güçlüğü çeken yetişkinlerde Text-to-speech¹ yöntemi ile okunan metni ne kadar doğru anladığı değerlendirilmiştir. Etki büyüklüğü ölçüsü olarak Hedges’in G istatistiği kullanılmıştır. No Çalışma 1 Elkind 1996 2 Higgins 1997 3 Calhoon 2000 4 Chiang 2012 5 Chiang 2013 6 Chiang 2014 Etki Büyüklüğü 0, 147 -0, 016 0, 225 2, 531 0, 509 0, 052 Std. Hata 0, 199 0, 23 0, 157 0, 491 0, 367 0, 361 Artık -0, 4590 -0, 6794 -0, 3616 3, 2172 0, 0342 -0, 5261 Perelmutter B ve ark. , Assistive technology interventions for adolescents and adults with learning disabilities: An evidence-based systematic review and meta-analysis, Computers & Education, 2017 ¹TTS: Elektronik ortamdaki metinlerin anlaşılabilir biçimde ve insan sesi doğallığında seslendirilmesi

Örnek Etki Yöntem Büyüklüğü Aykırı Değer Çıktığında (DL) 0, 17 Der. Simonian-Laird Sidik-Jonkman En Çok Olabilirlik Kısıtlanmış En Çok Olabilirlik Deneysel Bayes 0, 45 0, 52 0, 49 0, 51 %95 Alt Sınır -0, 03 %95 Üst Sınır 0, 36 P değeri 0, 09 I² 0 -0, 02 -0, 22 -0, 11 -0, 17 -0, 22 0, 91 1, 25 1, 08 1, 18 1, 25 0, 06 0, 17 0, 11 0, 14 0, 17 79, 16 92, 11 87, 58 92, 02 Log Tau 2 Likelihood 0 1, 49 0, 25 0, 76 0, 46 0, 75 7, 58 7, 52 7, 34 6, 66 7, 51 Q= 47, 06, p=0, 10 (Aykırı değer çıkarıldığında Q= 20, 92, p<0, 01) Bu sonuçlara göre aykırı değerden en az etkilenen yöntemler sırası ile DL, ML, REML, DB ve SJ Güven aralığı en dar çıkan yöntemler sırası ile DL, ML, REML, EB ve SJ ‘dir. Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model DL olarak bulunmuştur.

Örnek: Miyokart enfarktüsü sonrasında magnezyum alımının ölümü önlemesi üzerine yapılmış 16 rasgele kontrollü çalışma sonuçları aşağıda verilmiştir. No 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Çalışma Morton Rasmussen Smith Abraham Feldstedt Schechter Ceremuzynski Bertschat Singh Pereira Schechter 1 Golf Thogersen LIMIT-2 Schechter 2 ISIS-4 Yıl 1984 1986 1987 1988 1989 1990 1991 1992 1995 Müdahale Ölüm Toplam 1 40 9 135 2 200 1 48 10 150 1 59 1 25 0 22 6 76 1 27 2 89 5 23 4 130 90 1159 4 107 2216 29011 Kontrol Ölüm 2 23 7 1 8 9 3 1 11 7 12 13 8 118 17 2103 Total 36 135 200 46 148 56 23 21 75 27 80 33 122 1157 108 29039

Örnek No Çalışma 1 Morton 2 Rasmussen 3 Smith 4 Abraham 5 Feldstedt 6 Schechter 7 Ceremuzynski 8 Bertschat 9 Singh 10 Pereira 11 Schechter 1 12 Golf 13 Thogersen 14 LIMIT-2 15 Schechter 2 Müdahale Ölüm Toplam 1 40 9 135 2 200 1 48 10 150 1 59 1 25 0 22 6 76 1 27 2 89 5 23 4 130 90 1159 4 107 Kontrol Ölüm Total 2 36 23 135 7 200 1 46 8 148 9 56 3 23 1 21 11 75 7 27 12 80 13 33 8 122 118 1157 17 108 Odds Oranı Yi -0, 83 -1, 06 -1, 28 -0, 04 0, 22 -2, 41 -1, 28 -1, 19 -0, 7 -2, 21 -2, 04 -0, 85 -0, 79 -0, 3 -1, 57 SH 1, 25 0, 41 0, 81 1, 43 0, 49 1, 07 1, 19 1, 66 0, 54 1, 11 0, 78 0, 62 0, 63 0, 15 0, 57 Artık -0, 04 -0, 36 -0, 51 0, 58 1, 20 -1, 55 -0, 43 -0, 30 0, 11 -1, 32 -1, 38 -0, 07 -0, 01 0, 79 -0, 96 16 2216 2103 0, 06 0, 03 3, 43 ISIS-4 29011 29039 Jonathan A C Sterne, Michael J Bradburn, Matthias Egger, Meta-Analysis in Stata, Magnes. dta, 2008

Örnek

Örnek Etki Yöntem Büyüklüğü Aykırı Değer Çıktığında (DL) -0, 85 Der. Simonian-Laird Sidik-Jonkman En Çok Olabilirlik Kısıtlanmış En Çok Olabilirlik Deneysel Bayes -0, 73 -0, 78 -0, 75 -0, 77 -0, 69 %95 Alt Sınır -1, 24 %95 Üst Sınır -0, 46 P değeri <0, 01 I² 33, 36 Log Tau 2 Likelihood 0, 15 17, 8 -1, 11 -1, 2 -1, 14 -1, 18 -1, 05 -0, 34 -0, 35 -0, 33 <0, 01 <0, 01 68, 13 74, 95 70, 8 73, 64 62, 76 0, 22 0, 31 0, 25 0, 29 0, 18 19, 70 19, 73 19, 68 18, 95 19, 81 Q= 47, 06, p=0, 10 (Aykırı değer çıkarıldığında Q= 20, 92, p<0, 01) Bu sonuçlara göre aykırı değerden en az etkilenen yöntemler sırası ile SJ, REML, DL ve EB Güven aralığı en dar çıkan yöntemler sırası ile EB, DL, ML, REML ve SJ ‘dir. Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model EB olarak bulunmuştur.

Benzetim Yöntemi Ana Çalışma Aykırı Değer Etki Büyüklüğü ~N(0, 1) Standart Hata ~N(0, 1) Etki Büyüklüğü ~N(2, 1) Standart Hata ~N(0, 1) Etki Büyüklüğü ~N(-2, 1) Standart Hata ~N(0, 1) Çalışma Sayısı = 10 Benzetim Sayısı = 100 Seed = 141088

Benzetim Yöntemi Etki Büy. -1, 7254 0, 6910 -1, 4881 -2, 1110 -0, 9455 -0, 2286 1, 4732 -1, 4965 0, 5602 1, 0258 Std. Hata² 0, 0584 0, 3707 0, 0932 0, 7969 0, 1185 0, 3402 0, 1293 0, 0161 0, 3868 0, 0037 Artık -0, 8762 0, 6737 -0, 6983 -0, 9732 -0, 3388 0, 1130 1, 1938 -0, 7713 0, 5922 1, 4972 Aykırı değer olmayan çalışmalar çıkarıldı. Artık -3 ile +3 arasında olmamalı. Etki Büy. 0, 4244 0, 1768 0, 7939 0, 1021 1, 6335 -1, 5697 -0, 9764 1, 3277 0, 6058 2, 0643 Std. Hata² 0, 5311 0, 6008 0, 2453 0, 2542 7, 5504 0, 1160 3, 8755 0, 1093 0, 0014 1, 0902 Artık 0, 0478 -0, 1781 0, 4378 -0, 2867 0, 4428 -5, 7079 -0, 6387 1, 0382 0, 1862 1, 3159 Aykırı değer farklı yönde olan çalışmalar çıkarıldı. Artık +3’den büyük beklerken -3’den küçük çıkmış.

Benzetim Yöntemi Etki Büy. 0, 7206 0, 4999 -0, 5751 -0, 1536 -1, 7332 -1, 7218 1, 0770 0, 3238 -0, 9057 2, 4396 Std. Hata² 0, 0408 0, 0002 1, 8621 0, 3502 0, 1552 2, 3652 0, 0390 0, 3521 0, 1081 0, 1958 Artık 0, 6432 0, 3217 -0, 5328 -0, 4326 -3, 1146 -1, 1726 1, 1252 0, 1099 -1, 6816 3, 0304 Birden çok aykırı değer olan çalışmalar çıkarıldı. Etki Büy. 0, 3306 1, 2789 -1, 9570 0, 0548 0, 0171 -0, 2944 -0, 5711 -0, 1491 0, 7355 -0, 6952 Std. Hata² 0, 4387 4, 4759 5, 2303 0, 9848 0, 0104 0, 4255 1, 6953 1, 0483 0, 0853 0, 0002 Artık 0, 4699 0, 6140 -0, 8150 0, 0973 0, 0966 -0, 2982 -0, 3737 -0, 0855 1, 6000 -8, 2855 EB, ML ve REML ’de en fazla yineleme sayısı olarak 10, 000 alınmıştır. Sonsuz döngüye giren çalışmalar çıkarılmıştır.

Aykırı Değer Pozitif • Etki büyüklüğü olarak en küçük sonuç başarılı olarak kabul edildi. 1 2 3 4 5 DL 57 6 6 5 26 ML 5 27 43 17 8 REML 23 36 14 14 13 SJ 5 21 18 37 19 EB 10 10 19 27 34 Buna göre aykırı değerden en az etkilenen yöntemler sırası ile DL, REML, SJ ve EB olarak çıkmıştır.

Aykırı Değer Pozitif • Etki büyüklüğünün güven aralığı olarak en dar sonuç başarılı olarak kabul edildi, 1 2 3 4 5 DL 40 4 6 6 44 ML 11 37 46 4 0 REML 0 16 50 34 0 SJ 3 37 15 23 22 EB 46 22 17 15 0 Buna göre güven aralığı en dar çıkan yöntemler EB ve ML’dir. DL’de ise güven aralığı bazen dar bazen geniş çıkmıştır. REML’de ise geniş çıkma eğilimindedir.

Aykırı Değer Pozitif • 1 2 3 4 5 DL 26 5 6 6 58 ML 8 17 44 27 5 REML 13 14 14 37 23 SJ 19 38 18 21 5 EB 35 27 19 10 10

Aykırı Değer Pozitif -Log. Likelihood Ortanca En küçük En büyük 1. Çeyrek 3. Çeyrek DL 16, 91 10, 01 23, 76 15, 19 18, 43 ML 16, 287 9, 841 23, 956 14, 882 17, 633 REML 15, 061 9, 373 18, 327 13, 843 16, 347 SJ 16, 314 9, 858 19, 864 14, 870 17, 659 EB 16, 34 10, 20 19, 85 14, 87 17, 64 • Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model ise aykırı değerden en az etkilenen DL olarak bulunmuştur.

Aykırı Değer Negatif • Etki büyüklüğü olarak en büyük sonuç başarılı olarak kabul edildi. 1 2 3 4 5 DL 28 6 8 5 53 ML 9 14 45 28 4 REML 12 15 8 43 22 SJ 18 37 18 16 11 EB 33 28 21 8 10 Buna göre aykırı değerden en az etkilenen yöntemler sırası ile DL, REML, SJ ve EB olarak çıkmıştır.

Aykırı Değer Negatif • Etki büyüklüğünün güven aralığı olarak en dar sonuç başarılı olarak kabul edildi. 1 2 3 4 5 DL 38 6 8 3 45 ML 11 33 45 11 0 REML 1 2 8 54 35 SJ 7 38 16 19 20 EB 43 21 23 13 0 Buna göre güven aralığı en dar çıkma eğiliminde yöntemler EB ve ML’dir. DL’de ise güven aralığı bazen dar bazen geniş çıkmıştır. REML’de ise geniş çıkma eğilimindedir.

Aykırı Değer Negatif • 1 2 3 4 5 DL 53 5 9 6 28 ML 4 28 45 15 9 REML 22 43 8 15 13 SJ 11 17 18 37 18 EB 11 8 21 28 33

Aykırı Değer Negatif -Log. Likelihood Ortanca En küçük En büyük 1. Çeyrek 3. Çeyrek DL 16, 99 12, 24 36, 49 15, 27 18, 44 ML 16, 18 12, 22 20, 56 14, 84 17, 80 REML 15, 01 11, 70 18, 94 13, 94 16, 43 SJ 16, 22 12, 54 20, 57 15, 13 17, 87 EB 16, 26 14, 95 20, 57 16, 34 17, 84 • Logaritmik olabilirlik sonuçlarına göre en iyi model REML ve en kötü model ise aykırı değerden en az etkilenen DL olarak bulunmuştur.

Tartışma - Sonuç •

Tartışma - Sonuç • Bu sunuda meta analizine dahil edilen çalışma sayısı 10 olarak sabit tutulmuştur. 5, 20, 30 gibi farklı büyüklükteki çalışmalar için sonuçlar irdelenebilir. • Düşük standart hataya sahip çalışma aykırı değer olacak şekilde sonuçlar irdelenebilir. • EB, ML ve REML yöntemlerinde sonsuz döngüye giren çalışmaların özellikleri ve sonsuz döngüye girme nedenleri araştırılabilir.

Kaynaklar • W. Viechtbauer, M. W. L. Cheung, 2010, Wiley, Outlier and influence diagnostics for metaanalysis • F. N. Gumedze, D. Jackson, BMC, 2011, A random effects variance shift model for detecting and accommodating outliers in meta-analysis • L. Lin, H. Chu, J. S. Hodges, 2016, Alternative Measures of Between-Study Heterogeneity in Meta-Analysis: Reducing the Impact of Outlying Studies, Biometrics • J. Higgins, S. G. Thompson, J. Deeks, DG. Altman, 2003, Measuring inconsistency in metaanalyses, BMJ • Hedges LV and Olkin I (1985). Statistical Method for Meta-Analysis. Academic Press, Orlando, FL. • K. Sidik, K. N. Jonkman, Simple heterogeneity variance estimation for meta-analysis, Journal of the royal statistical society, 2005 • Perelmutter B ve ark. , Assistive technology interventions for adolescents and adults with learning disabilities: An evidence-based systematic review and meta-analysis, Computers & Education, 2017 • Jonathan A C Sterne, Michael J Bradburn, Matthias Egger, Meta-Analysis in Stata, Magnes. dta, 2008