Ondokuz Mays niversitesi Eitimde lme ve Deerlendirme Anabilim
Ondokuz Mayıs Üniversitesi Eğitimde Ölçme ve Değerlendirme Anabilim Dalı EĞİTİMDE ÖLÇME VE DEĞERLENDİRME Madde İstatistikleri Dr. Öğr. Üyesi Selda ÖRS ÖZDİL
Test Geliştirme Süreci �Amacın belirlenmesi �Kapsamın belirlenmesi �Maddelerin yazılması ve gözden geçirilmesi �Deneme formunun hazırlanması �Deneme uygulamasının yapılması �Madde analizi ve madde seçimi �Nihai testin oluşturulması, uygulanması ve puanlanması
Madde analizi niçin gereklidir? Öncelikli amaç, bir teste alınacak maddeler ile testten çıkarılması gereken ve düzeltilmeye ihtiyaç duyan maddeleri tespit etmektir. � � Testteki her maddenin güçlük derecesi arzu edilen düzeyde midir? Maddenin ayırıcılığı yeterli düzeyde midir? Çeldiriciler yeterli işlerliğe sahip midir? Güvenilir bir test elde edildi mi? gibi sorulara cevap verilmektedir.
Madde İstatistikleri *Testte yer alan maddeler ile ilgili bir takım analizler yapılarak testte yer alan soruların zorluk derecesi ve bilenle bilmeyeni ayırma gücü yani kalitesi belirlenmeye çalışılır. * Dolayısıyla grubun testi oluşturan maddelere vermiş olduğu yanıtların sayısal göstergelerinden maddelerin işe yarayıp yaramadığı anlaşılır; işe yaramıyorsa bunun nedenini araştırılarak ve ona göre gerekli düzeltmeler yapılabilir. MADDE GÜÇLÜK İNDEKSİ MADDE AYIRT EDİCİLİK İNDEKSİ
Madde İstatistikleri Madde güçlük indeksi: Doğru cevaplanma oranı Madde ayırt edicilik indeksi: Maddenin ilgili özelliğe sahip olan ve olmayan öğrencileri ayırt edebilme gücü
Madde Analiz Yöntemleri Çoktan seçmeli test maddelerinin analizi iki yöntemle yapılabilir. � Madde Puanları Matrisine Dayalı Analiz: Bu yöntemde testin uygulandığı tüm öğrenciler analize dahil edilir. Öğrenci sayısının çok daha az olduğu (60 -70 gibi) durumlarda tercih edilebilir. � %27’lik Alt-Üst Grup Yöntemi: En yüksek puan alan öğrenciler ile en düşük puan alan bazı öğrencilerin oluşturduğu gruplar analize alınır. Öğrenci sayısı 300 -400 ya da daha çok olduğu durumlarda tavsiye edilir. Bu yöntemin kullanılması için test puanları dağılımının simetrik olması istenir.
Tablo 1. Madde Cevapları Matrisi TEST MADDELERİ 1 2 3 4 5 6 7 8 9 10 A B E E D C A D B C 1. Aslı A B E E C A E B B - 2. Cüne yt A B C A D E D B B A 3. Ebru A A C C D B B C E C 4. Can A B E E D C B A E C 5. Ali A E C C B E B A C B 6. Eda A B E E D C E D B C 7. Özge A B E E C D - D B A 8. Emre A C C C D D E C 9. Sevda A B E E D C E D B C 10. Bura A k B C C D C E A B C
Tablo 2. Madde Puanları Matrisi TEST MADDELERİ 1 2 3 4 5 6 7 8 9 10 A B E E D C A D B C Öğrenci Toplam Puan (X) 1. Aslı 1 1 0 0 1 0 5 2. Cüne yt 1 1 0 0 0 1 0 4 3. Ebru 1 0 0 0 0 1 3 4. Can 1 1 1 0 0 0 1 7 5. Ali 1 0 0 0 0 0 1 6. Eda 1 1 1 0 1 1 1 9 7. Özge 1 1 0 0 0 1 1 0 6 8. Emre 1 0 0 0 1 1 0 1 5 9. Sevda 1 1 1 0 1 1 1 9 10. Bura 1 k 1 1 0 0 1 1 7 6 56 Maddeyi doğru 10 7 6 5 7 5 0 4 6
MADDE GÜÇLÜK İNDEKSİ (p, pj) Maddenin zorluk/kolaylık derecesidir. Maddeyi doğru cevaplayanların tüm cevaplayıcı sayısına oranıdır. Oranlama yapıldığında sınıfın yüzde kaçının bu soruyu doğru yanıtladığı görülebilir. FORMÜLÜ; Na = Doğru cevaplayanların sayısı N = Tüm cevaplayıcıların sayısı * 0, 00 ile +1, 00 arasında değer alan madde güçlük indeksi, bir maddenin kolay ya da zor bir madde olup olmadığı hakkında bilgi verir. 1, 00’e yaklaştıkça madde kolaylaşırken 0, 00’a yaklaştıkça madde zorlaşır.
0. 00 ile 0. 40 arasında ise madde zordur. 0. 40 ile 0. 60 arasında ise madde orta güçlüktedir. 0. 60 ile 1. 00 arasında ise madde kolaydır.
Tablo 2’deki bazı maddelerin güçlük düzeyleri Madde 1 için güçlük düzeyini bulmak için o maddeye doğru yanıt veren öğ toplam öğrenci sayısına oranlanır. p 1 = 10/10 = 1 Çok kolay madde P 4 = 5/ 10 = 0. 50 P 7 = 0/10 = 0 Orta güçlükte madde Çok zor madde P 9 = 6/10 = 0, 6 Orta güçlükte madde
%27’lik Alt-Üst Gruplar Yöntemi ile Madde Güçlük İndeksi Hesaplaması 1. Öğrenci cevapları, cevap doğru ise 1 yanlış veya boş ise 0 puan verilerek puanlanır ve her bir öğrencinin toplam test puanı hesaplanır. 2. Puanlar en yüksek puandan en düşük puana doğru sıraya dizilir. 3. Toplam kişi sayısının %27’si hesaplanır. 4. En başarılı %27’lik grup üst grup; grup en başarısız %27’lik grup da alt grup olarak belirlenir. 5. Daha sonra alt ve üst grupta ilgili maddede hangi seçeneğe kaç kişinin cevap verdiği hesaplanır. 6. Aşağıdaki gibi tabloya aktarılır.
%27’lik Alt-Üst Gruplar Yöntemi ile Madde Güçlük İndeksi Hesaplaması FORMÜLÜ; Payda kısmına üst grup ve alt gruptaki öğrencilerin toplamı yazılacaktır!!!
A B* C D E Topla m Üst Grup 12 45 10 15 18 100 Alt Grup 18 26 20 20 16 100 Toplam 30 71 30 35 34 200 Doğru yanıt “B” seçeneği ise madde güçlük indeksi kaçtır? Bu zor bir maddedir. Grubun %36’sı doğru %64’ü yanlış cevaplamıştır. Bu madde ilgili olan hedef davranışa sınıfın %36’sı ulaşmıştır.
�Bir madde için tüm gruba dayalı güçlük indeksi ile %27’lik alt ve üst gruplar yöntemiyle elde edilen güçlük indeksi birbirine eşit olmayabilir. Testin uygulandığı öğrenci sayısı arttıkça iki yönteme göre hesaplanan güçlük indeksleri birbirine yaklaşır. Bu nedenle, %27’lik alt ve üst grup yönteminin kullanılabilmesi için kişi sayısının en az 100 ve tercihen 200 civarında olması önerilmektedir (Turgut ve Baykul, 2012).
İdeal madde güçlük indeksi? ? ? � Bir teste alınacak maddelerin güçlüğü, değerlendirmenin amacına, kullanılan madde türüne ve testin uygulandığı gruba göre farklılık göstermektedir. Bu nedenle en uygun güçlük indeksinin kaç olduğu sorusuna verilecek net bir cevap yoktur. � Testin amacı öğrenme güçlüğü yaşayan öğrencileri belirlemekse maddelerin büyük kısmı kolay olmalıdır. Hız testlerinde amaç zamana karşı yeterince çok soruyu doğru cevaplayabilmek olduğundan kolay maddeler tercih edilir. � Çok sayıda başvuran aday arasından az sayıda kişinin seçileceği bir seçme sınavı yapılacaksa maddeler zor olmalıdır. � Test sonuçlarına dayalı olarak ölçüt dayanaklı değerlendirme yapılacaksa güçlük indeksleri kesme puanı civarında tutulmalıdır. Örneğin geçme notu 60 ise madde güçlük indeksleri 0. 60’a yakın olmalıdır. � Ayrıca madde güçlük indeksi 0. 50 olan maddelerin madde güvenirliğine katkısının fazla olması beklenir. Ancak bir madde orta
Madde Ayırt Edicilik İndeksi q Bir maddenin ölçülen özelliğe sahip olanlarla olmayanları ne kadar q q q iyi ayırt edebildiğini göstermektedir. Bir testte istenen, bir maddenin testten yüksek puan alanlar tarafından doğru yanıtlanıp, testten düşük puan alanlar tarafından yanıtlanmaması veya daha az sayıda doğru yanıtlanmasıdır. Yani ayırt edicilik gücü, madde puanları ile test puanları arasındaki korelasyon olarak tanımlanabilir. Madde ayırt ediciliği, aynı zamanda bir maddenin amaca hizmet etme derecesini yansıttığından madde geçerlik katsayısı olarak da adlandırılır (Atılgan, 2013). -1 ve +1 arası değerler alır. 1’e yaklaştıkça üst gruptaki (testle ölçülen özellik bakımından yüksek puan alan grup) bireylerin çoğunun bu soruya doğru yanıt verdiği; alt gruptaki (düşük puan alan grup) bireylerin ise çeldiricilere yöneldiğinin göstergesidir. Madde ayırt ediciliğinin negatif olması maddenin ters yönde
Madde Ayırt Edicilik İndeksi Maddenin Değerlendirilmesi 0, 40 ve daha büyük Çok iyi madde (Ayırt etme gücü yüksek) 0, 30 ve 0, 39 Oldukça iyi madde. Yine de geliştirilebilir. 0, 20 ve 0, 29 Düzeltilmesi ve geliştirilmesi gerekir. 0, 19 ve daha küçük Çok zayıf madde. Mutlaka testten atılmalıdır. Ayırt ediciliği negatif değer alması istenmeyen bir durumdur, maddede bir sorun olduğunun işaretidir. Cevap anahtarında bir hata da yapılmış olabileceğinin de bir göstergesi olabilir.
%27’lik Alt-Üst Gruplar Yöntemi ile Madde Ayırt Edicilik İndeksi Hesaplaması Payda kısmına üst grup ya da alt gruptaki öğrenci sayısı yazılacaktır!!!
A B* C D E Topla m Üst Grup 10 60 5 10 15 100 Alt Grup 20 10 30 15 25 100 Doğru ise gücü Toplamyanıt 30“B” seçeneği 70 35 madde 25 ayırt edicilik 40 200 indeksi kaçtır? Madde bilen bilmeyenli ayırmıştır. Madde oldukça iyidir.
Tabloya göre zor olmasına rağmen ayırt ediciliği yüksek olan soru hangisidir? Hem ayırt ediciliği hem de güçlüğü bakımından hangisi ideal bir test sorusudur?
� Madde güçlük ve madde ayırt edicilik indeksleri maddeye ilişkin iki ayrı istatistik olsa da birbirinden bağımsız değildir. Maddenin güçlük düzeyi ayırt edicilik indeksini de etkilemektedir. Çok kolay ve çok zor maddelerin ayırt edicilikleri düşük iken, orta güçlükteki maddelerin ayırt ediciliği daha yüksek olmaktadır. � Alt ve üst gruptaki tüm öğrenciler bir maddeyi doğru bilseydi, madde ayırt ediciliği [(50 -50)/50] = 0 olurdu. � Alt ve üst gruptaki hiçbir öğrenciler bir maddeyi doğru cevaplayamasaydı, madde ayırt ediciliği [(0 -0)/50] = 0 olurdu. � Yani tüm öğrencilerin bildiği ya da hiçbir öğrencinin bilemediği madde, bilenle bilmeyeni ayırt edemediğinden teste alınmak istenmez. � Üst gruptaki tüm öğrenciler maddeyi doğru cevaplarken, alt gruptaki hiçbir öğrenci doğru cevaplayamıyorsa madde ayırt ediciliği [(50 -0)/50] = 1 çıkacaktır. Madde ayırt ediciliğinin maksimum değeridir. � Üst gruptaki hiçbir öğrenci maddeyi doğru cevaplayamıyorken, alt gruptaki tüm öğrenciler doğru cevaplıyorsa madde ayırt ediciliği [(0 -50)/50] = -1 çıkacaktır. Madde ayırt ediciliğinin minimum değeridir.
Korelasyona dayalı Madde Ayırt Edicilik İndeksi Hesaplaması � Bu yöntem, testten alınan toplam puanlarla madde puanları arasındaki ilişkiye dayanmaktadır. Test puanı yüksek olanların maddeyi doğru yanıtlamaları, düşük olanların yanıtlayamamaları beklenir. � Testi alan tüm bireylerin analize dahil edilmesi bu yöntemin güçlü yanıdır. %27’lik alt ve üst grup yöntemine göre daha karmaşık matematiksel işlem gerektirmesi yöntemin dezavantajı olarak düşünülebilir. Madde Ayırt Ediciliği (Nokta çift serili)
Korelasyona dayalı Madde Ayırt Edicilik İndeksi Hesaplaması � 0 -1 puanlama yöntemiyle bir maddenin alabileceği değer sadece 0 veya 1 olabileceğinden dolayı, madde puanı kesikli (yapay süreksiz) bir değişkendir. Test puanı ise sürekli bir değişkendir. Bu durumda kullanılacak korelasyon katsayısı çift serili korelasyon katsayısıdır. � Test puanlarının normal dağılım göstermemesi durumunda ya da madde güçlüğünün 0. 50 den önemli ölçüde farklılaştığı durumlarda nokta çift serili korelasyon katsayısını (süreksiz değişkenin gerçek süreksiz olmamasına rağmen) kullanmak daha doğru bir tercih olur.
Çeldirici Analizi Bir maddeye verilen cevaplar tabloda gösterilmiştir. A, C, D ve E çeldiricilerinin daha çok alt grup öğrencilerini çeldirmesi gerekir. ü A seçeneği en iyi çeldiricidir çünkü sadece alt grup öğrencilerini çeldirmiş ve A cevabı (yanlış olan cevabı) vermelerini sağlamıştır. ü C seçeneği 2 grubu da eşit oranda çeldirmiş (8’er) ü D seçeneği çok kötü bir çeldiricidir çünkü sadece üst grup üyelerini çeldirmiştir. Aslında sadece alt grup öğrencilerini yani bilmeyenleri çeldirmesi gerekliydi. ü E seçeneği de iki grubu çeldirmiş fakat üst grubu daha çok çeldirmiştir. Bu istenen bir durum değildir. Neden üst grubu cazip geldiği incelenmelidir.
Çeldirici Analizi Aşağıdaki tabloda örnek olması açısından hipotetik durumlar sunulmuştur. Maddelerin güçlük, ayırt edicilik indekslerini hesaplayıp çeldiricilerini yorumlayalım.
KPSS-2013
Madde Varyansı ve Standart Sapması • Madde varyansı ve madde standart sapması, maddeye verilen cevapların değişimini (farklılaşmasını) ifade etmektedir. Maddenin ve testin güvenirliğinin hesaplanmasında kullanılır. FORMÜLÜ; S 2 = Pj x qj j q=1 -p Sj =
* Bir madde ile ölçülmek istenen özellik açısından öğrenciler arasındaki farklılıkları belirlemede o maddenin standart sapmasından veya varyansında yararlanılır. * Grubun çoğunun maddeyi doğru ya da yanlış cevaplaması durumunda madde varyansı 0 (sıfır)’a yaklaşır. Yani madde varyansı küçükse öğrencilerin verdikleri cevaplar arasındaki değişim azdır. * Eğer tüm öğrenciler maddeyi doğru cevaplamışsa veya hiçbiri doğru cevaplayamamışsa madde varyansı “ 0”olur. Testin geçerliğinin ve güvenirliğinin yüksek olması için madde varyansının maksimum değeri olan 0. 25 civarında olması arzu edilir. Madde varyansının maksimum değeri olan 0. 25 ancak madde güçlüğünün 0. 50 olduğunda sağlanır.
Örnek Bir maddenin güçlük indeksi 0, 40 ise bu maddenin standart sapması kaçtır? pj=0, 40 qj=0, 60 sj= = 0, 49
Madde Güvenirlik İndeksi (rx) • Madde güvenirliği, maddenin ayırt ediciliği ve madde standart sapması kullanarak hesaplanabilir. • Madde ayırt ediciliği güvenirliği artıran bir özellik olduğu için bir maddede ayırt edicilik değeri olabildiğince yüksek olmalıdır. • Aynı şekilde madde standart sapması da güvenirlikle doğru orantılıdır. Madde standart sapması arttıkça madde güvenirliği de artar. Madde güçlük değeri 0, 5 olduğunda madde standart sapması maksimum değeri (0, 25) alır. Bu sebeple bir maddenin madde güçlük değerinin 0, 5 civarında olması istenir. FORMÜLÜ;
MADDE İSTATİSTİKLERİNDEN HESAPLANAN TEST İSTATİSTİKLERİ
�Madde güçlüğü maddelerin zorluk düzeyleri hakkında bilgi verirken, testin ortalama güçlüğü, testin zorluk düzeyi hakkında bilgi verir. � Testin ortalama güçlüğü, yapılan öğretimin etkililiği, program hedeflerine ne düzeyde ulaşıldığı, testin uygulandığı grubun başarısının ne düzeyde olduğu hakkında bilgi verir.
Testin ortalama güçlüğü �Örnek: 10 maddelik bir testin madde güçlük indeksleri sırasıyla 0, 70 -0, 80 -0, 300, 40 -0, 60 -0, 30 -0, 70 -0, 60 -0, 50 -0, 20 ise bu testin ortalama güçlüğü kaçtır? 0, 70+0, 80+0, 30+0, 40+0, 60+0, 30+0, 70+0, 60+0, 50+0, 20 = 5, 1 k= 10 p= 5, 1/10 = 0, 51
Soru: Aşağıdaki tabloda numaralanmış beş sorunun doğru cevaplanma yüzdeleri (Pj) ile ayırt edicilik değerleri (rjx) verilmiştir. Soru Pj rjx 1 0, 35 0, 60 2 0, 40 – 0, 35 3 0, 80 0, 10 4 0, 25 0, 15 5 0, 85 0, 50 • Eğer düzeltilemiyorsa yukarıdaki sorulardan hangisi, testten mutlaka çıkarılmalıdır? • Başvuran kişinin çok, seçilecek kişinin az olduğu bir sınavda kullanılacak soruların çoğu, güçlük ve ayırt edicilik bakımından yukarıdaki sorulardan hangisine benzer olmalıdır? • Hangisi kolay ve ayırt edici bir sorudur?
Soru:
Soru:
Soru:
Soru:
- Slides: 45