Ondokuz Mays niversitesi Eitimde lme ve Deerlendirme Anabilim

Ondokuz Mayıs Üniversitesi Eğitimde Ölçme ve Değerlendirme Anabilim Dalı EĞİTİMDE ÖLÇME VE DEĞERLENDİRME Test Geliştirme Süreci ve Madde Analizi Dr. Öğr. Üyesi Selda ÖRS ÖZDİL

KAYNAKLAR 2 � Atılgan, H. , Kan, A. & Doğan, N. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık. � Çıkrıkçı Demirtaşlı, N. (Ed. ) (2012). Eğitimde ölçme ve değerlendirme. Ankara: Edge Akademi. � Güler, N. (2011). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi. � Özçelik, D. A. (2010). Ölçme ve değerlendirme. Ankara: Pegem Akademi. � Tan, Ş. (2011). Öğretimde ölçme ve değerlendirme: KPSS el kitabı. Ankara: Pegem Akademi. � Tekin, H. (1991). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi. � Turgut, M. F. & Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.

Test Geliştirme Süreci �Amacın belirlenmesi �Kapsamın belirlenmesi �Maddelerin yazılması ve gözden geçirilmesi �Deneme formunun hazırlanması �Deneme uygulamasının yapılması �Madde analizi ve madde seçimi �Nihai testin oluşturulması, uygulanması ve puanlanması

Madde analizi niçin gereklidir? � Testteki her maddenin güçlük derecesi arzu edilen düzeyde midir? � Maddenin ayırıcılığı yeterli düzeyde midir? � Çeldiriciler yeterli işlerliğe sahip midir? � Güvenilir bir test elde edildi mi? gibi sorulara cevap verilmektedir.

Madde İstatistikleri *Testte yer alan maddeler ile ilgili bir takım analizler yapılarak testte yer alan soruların zorluk derecesi ve bilenle bilmeyeni ayırma gücü yani; kalitesi belirlenmeye çalışılır. * Dolayısıyla grubun testi oluşturan maddelere vermiş olduğu yanıtların sayısal göstergelerinden maddelerin işe yarayıp yaramadığı anlaşılır; işe yaramıyorsa bunun nedenini araştırılarak ve ona göre gerekli düzeltmeler yapılabilir. 1 MADDE GÜÇLÜK İNDEKSİ 2 MADDE AYIRT EDİCİLİK İNDEKSİ

Madde İstatistikleri Madde güçlük indeksi: Doğru cevaplanma oranı Madde ayırt edicilik indeksi: Maddenin ilgili özelliğe sahip olan ve olmayan öğrencileri belirleyebilme gücü

Madde Analiz Yöntemleri Çoktan seçmeli test maddelerinin analizi iki yöntemle yapılabilir. � Madde Puanları Matrisine Dayalı Analiz: Bu yöntemde testin uygulandığı tüm öğrenciler analize dahil edilir. Öğrenci sayısının çok daha az olduğu (60 -70 gibi) durumlarda tercih edilebilir. � %27’lik Alt-Üst Grup Yöntemi: En yüksek puan alan öğrenciler ile en düşük puan alan bazı öğrencilerin oluşturduğu gruplar analize alınır. Öğrenci sayısı 300 -400 ya da daha çok olduğu durumlarda tavsiye edilir. Bu yöntemin kullanılması için test puanları dağılımının simetrik olması istenir. Bu iki yöntemin uygulanabilmesi için madde puanları matrisi hazırlanmalıdır.

Madde Cevapları Matrisi TEST MADDELERİ 1 2 3 4 5 6 7 8 9 10 A B E E D C A D B C 1. Aslı A B E E C A E B B - 2. Cüne yt A B C A D E D B B A 3. Ebru A A C C D B B C E C 4. Can A B E E D C B A E C 5. Ali A E C C B E B A C B 6. Eda A B E E D C E D B C 7. Özge A B E E C D - D B A 8. Emre A C C C D D E C 9. Sevda A B E E D C E D B C 10. Bura A k B C C D C E A B C

Madde Puanları Matrisi TEST MADDELERİ 1 2 3 4 5 6 7 8 9 10 A B E E D C A D B C Öğrenci Toplam Puan (X) 1. Aslı 1 1 0 0 1 0 5 2. Cüne yt 1 1 0 0 0 1 0 4 3. Ebru 1 0 0 0 0 1 3 4. Can 1 1 1 0 0 0 1 7 5. Ali 1 0 0 0 0 0 1 6. Eda 1 1 1 0 1 1 1 9 7. Özge 1 1 0 0 0 1 1 0 6 8. Emre 1 0 0 0 1 1 0 1 5 9. Sevda 1 1 1 0 1 1 1 9 10. Bura 1 k 1 1 0 0 1 1 7 6 56 Madde Toplam 10 7 6 5 7 5 0 4 6

MADDE GÜÇLÜK İNDEKSİ (p, pj) * Maddeyi doğru cevaplayanların tüm cevaplayıcı sayısına oranıdır. Oranlama yapıldığında sınıfın yüzde kaçının bu soruyu doğru yanıtladığı görülebilir. FORMÜLÜ; Na = Doğru cevaplayanların sayısı N = Tüm cevaplayıcıların sayısı * 0, 00 ile +1, 00 arasında değer alan madde güçlük indeksi, bir maddenin kolay ya da zor bir madde olup olmadığı hakkında bilgi verir. 1, 00’e yaklaştıkça madde kolaylaşırken 0, 00’a yaklaştıkça madde zorlaşır.

0. 00 ile 0. 40 arasında ise madde zordur 0. 40 ile 0. 60 arasında ise madde orta güçlüktedir. 0. 60 ile 1. 00 arasında ise madde kolaydır.

%27’lik Alt-Üst Gruplar Yöntemi ile Madde Güçlük İndeksi Hesaplaması Öncelikli olarak puanlar sıraya dizilir ve en başarılı %27’lik grup üst grup; grup en başarısız %27’lik grup da alt grup olarak belirlenir. Maddeye verilen cevap doğru ise 1 yanlış veya boş ise 0 puan verilerek ham puan hesaplanır. Aşağıdaki şekliyle tabloya aktarılır.

%27’lik Alt-Üst Gruplar Yöntemi ile Madde Güçlük İndeksi Hesaplaması FORMÜLÜ; Payda kısmına üst grup ve alt gruptaki öğrencilerin toplam mevcudu yazılacaktır!!!

A B* C D E Topla m Üst Grup 12 45 10 15 18 100 Alt Grup 18 26 20 20 16 100 Toplam 30 71 30 35 34 200 Doğru yanıt “B” seçeneği ise madde güçlük indeksi kaçtır? Bu zor bir maddedir. Grubun %36’sı doğru %64’ü yanlış cevaplamıştır. Bu madde ilgili olan hedef davranışa sınıfın %34’ü ulaşmıştır.

Madde Ayırt Edicilik İndeksi q Bir testte istenen, bir maddenin testten yüksek puan alanlar tarafından doğru yanıtlanıp, testten düşük puan alanlar tarafından yanıtlanmaması veya daha az sayıda doğru yanıtlanmasıdır. q -1 ve +1 arası değerler alır. q 1’e yaklaştıkça üst gruptaki (testle ölçülen özellik bakımından yüksek puan alan grup) bireylerin çoğunun bu soruya doğru yanıt verdiği; alt gruptaki (düşük puan alan grup) bireylerin ise çeldiricilere yöneldiğinin göstergesidir.

Madde Ayırt Edicilik İndeksi Maddenin Değerlendirilmesi 0, 40 ve daha büyük Çok iyi madde (Ayırt etme gücü yüksek) 0, 30 ve 0, 39 Oldukça iyi madde. Yine de geliştirilebilir. 0, 20 ve 0, 29 Düzeltilmesi ve geliştirilmesi gerekir. 0, 19 ve daha küçük Çok zayıf madde. Mutlaka testten atılmalıdır. Ayırt ediciliği negatif değer alması istenmeyen bir durumdur, maddede bir sorun olduğunun işaretidir. Cevap anahtarında bir hata da yapılmış olabileceğinin de bir göstergesi olabilir.

%27’lik Alt-Üst Gruplar Yöntemi ile Madde Ayırt Edicilik İndeksi Hesaplaması Payda kısmına üst grup ya da alt gruptaki öğrenci sayısı yazılacaktır!!!

A B* C D E Topla m Üst Grup 10 60 5 10 15 100 Alt Grup 20 10 30 15 25 100 Doğru ise gücü Toplamyanıt 30“B” seçeneği 70 35 madde 25 ayırt edicilik 40 200 indeksi kaçtır? Madde bilen bilmeyenli ayırmıştır. Madde oldukça iyidir.

Tabloya göre zor olmasına rağmen ayırt ediciliği yüksek olan soru hangisidir? Hem ayırt ediciliği hem de güçlüğü bakımından hangisi ideal bir test sorusudur?

Korelasyona dayalı Madde Ayırt Edicilik İndeksi Hesaplaması � Bu yöntem, testten alınan toplam puanlarla madde puanları arasındaki ilişkiye dayanmaktadır. Test puanı yüksek olanların maddeyi doğru yanıtlamaları, düşük olanların yanıtlayamamaları beklenir. Madde Ayırt Ediciliği (Nokta çift serili)

Korelasyona dayalı Madde Ayırt Edicilik İndeksi Hesaplaması � 0 -1 puanlama yöntemiyle bir maddenin alabileceği değer sadece 0 veya 1 olabileceğinden dolayı, madde puanı kesikli (yapay süreksiz) bir değişkendir. Test puanı ise sürekli bir değişkendir. Bu durumda kullanılacak korelasyon katsayısı çift serili korelasyon katsayısıdır. � Test puanlarının normal dağılım göstermemesi durumunda ya da madde güçlüğünün 0. 50 den önemli ölçüde farklılaştığı durumlarda nokta çift serili korelasyon katsayısını (süreksiz değişkenin gerçek süreksiz olmamasına rağmen) kullanmak daha doğru bir tercih olur.

Bir Maddenin Teste Alınması İçin: • Madde ayırt ediciliği 1’e yakın olmalıdır. “İLK BAKILACAK ÖZELLİK” • Madde güçlüğü ne çok düşük ne de çok yüksek olmalıdır (0, 5 civarı olması gerekir). • Çeldiricileri işaretleyen üst gruptaki öğrenci sayısının alt gruptaki öğrenci sayısından az olması gerekir. • Çeldiricileri işaretleyen öğrenci sayısının olabildiğince dengeli bir dağılım göstermiş olması istenir.

Çeldirici Analizi Bir maddeye verilen cevaplar tabloda gösterilmiştir. A, C, D ve E çeldiricilerinin daha çok alt grup öğrencilerini çeldirmesi gerekir. ü A seçeneği en iyi çeldiricidir çünkü sadece alt grup öğrencilerini çeldirmiş ve A cevabı (yanlış olan cevabı) vermelerini sağlamıştır. ü C seçeneği 2 grubu da eşit oranda çeldirmiş (8’er) ü D seçeneği çok kötü bir çeldiricidir çünkü sadece üst grup üyelerini çeldirmiştir. Aslında sadece alt grup öğrencilerini yani bilmeyenleri çeldirmesi gerekliydi. ü E seçeneği de iki grubu çeldirmiş fakat üst grubu daha çok çeldirmiştir. Bu nedenle E seçeneği de iyi bir çeldirici değildir.

KPSS-2012

KPSS-2013

Madde Varyansı ve Standart Sapması • Maddeye verilen cevapların değişimi madde varyansı ve madde standart sapması ile gösterilir. Maddenin ve testin güvenirliğinin hesaplanmasında kullanılır. FORMÜLÜ; S 2 = Pj x qj j Sj = q=1 -p ** Standart sapmanın karesine ise VARYANS denir ve daha çok bilimsel çalışmalarda kullanılır.

* Bir madde ile ölçülmek istenen özellik açısından öğrenciler arasındaki farklılıkları belirlemede o maddenin standart sapmasından veya varyansında yararlanılır. * Grubun çoğunun maddeyi doğru ya da yanlış cevaplaması durumunda madde varyansı 0 (sıfır)’a yaklaşır. Yani madde varyansı küçükse öğrencilerin verdikleri cevaplar arasındaki değişim azdır. * Eğer tüm öğrenciler maddeyi doğru cevaplamışsa veya hiçbiri doğru cevaplayamamışsa madde varyansı “ 0”olur. Testin geçerliğinin ve güvenirliğinin yüksek olması için madde varyansının maksimum değeri olan 0. 25 civarında olması arzu edilir. Madde varyansının maksimum değeri olan 0. 25 ancak madde güçlüğünün 0. 50 olduğunda sağlanır.

Örnek Bir maddenin güçlük indeksi 0, 40 ise bu maddenin standart sapması kaçtır? pj=0, 40 qj=0, 60 sj= = 0, 49

Madde Güvenirlik İndeksi (rx) • Madde güvenirliği, maddenin ayırt ediciliği ve madde standart sapması kullanarak hesaplanabilir. • Madde ayırt ediciliği doğrudan güvenirliği artıran bir özellik olduğu için bir maddede ayırt edicilik değeri olabildiğince yüksek olmalıdır. • Aynı şekilde madde standart sapması da güvenirlikle doğru orantılıdır. Madde standart sapması arttıkça madde güvenirliği de artar. Madde güçlük değeri 0, 5 olduğunda madde standart sapması maksimum değeri (0, 25) alır. Bu sebeple bir maddenin madde güçlük değerinin 0, 5 civarında olması istenir. FORMÜLÜ;

MADDE İSTATİSTİKLERİNDEN HESAPLANAN TEST İSTATİSTİKLERİ

Testin ortalama güçlüğü �Örnek 1: 10 maddelik bir testin madde güçlük indeksleri sırasıyla 0, 70 -0, 80 -0, 300, 40 -0, 60 -0, 30 -0, 70 -0, 60 -0, 50 -0, 20 ise bu testin ortalama güçlüğü kaçtır? 0, 70+0, 80+0, 30+0, 40+0, 60+0, 30+0, 70+0, 60+0, 50+0, 20 = 5, 1 k= 10 p= 5, 1/10 = 0, 51

KAYNAKLAR 35 � Atılgan, H. , Kan, A. & Doğan, N. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık. � Çıkrıkçı Demirtaşlı, N. (Ed. ) (2012). Eğitimde ölçme ve değerlendirme. Ankara: Edge Akademi. � Güler, N. (2011). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi. � Özçelik, D. A. (2010). Ölçme ve değerlendirme. Ankara: Pegem Akademi. � Tan, Ş. (2011). Öğretimde ölçme ve değerlendirme: KPSS el kitabı. Ankara: Pegem Akademi. � Tekin, H. (1991). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi. � Turgut, M. F. & Baykul, Y. (2012). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.