Ondokuz Mays niversitesi Eitimde lme ve Deerlendirme Anabilim
Ondokuz Mayıs Üniversitesi Eğitimde Ölçme ve Değerlendirme Anabilim Dalı EĞİTİMDE ÖLÇME VE DEĞERLENDİRME Geçerlik ve Kullanışlılık Dr. Öğr. Üyesi Selda ÖRS ÖZDİL
Ölçme Araçlarında Bulunması Gereken Nitelikler Güvenirlik Geçerlik Kullanışlılık
Geçerlik Ölçme, belli bir amaç için yapılır. Geçerlik ise ölçme aracının kullanılış amacına hizmet etme derecesini belirtir.
Geçerlik • Testin, bireyin ölçülmek istenen özelliğini ne derece doğru ölçtüğü ile ilgili bir kavramdır. • Ölçme aracı, ölçülecek özelliği tam ve doğru olarak ve ölçülmesi söz konusu olmayan başka özelliklerle karıştırmadan ölçebilmelidir. • Ağırlık ölçmek için geliştirilmiş olan tartı nesnelerin ağırlıklarını ölçme amacına hizmet eder; fakat nesnelerin boylarını ölçme maksadına hizmet etmez. Bu da demektir ki, bir ölçme aracı olarak tartı, ağırlık ölçmede geçerlidir; fakat uzunluk ölçmede geçerli değildir.
• Örneğin şu matematik sorusunu okuyun: Çocuklarına bir kenarı 40 metre diğer kenarı ise 80 metre olan dikdörtgen şeklindeki tarlasını miras bırakmak isteyen bir adam paylaştırmayı şöyle yapmıştır. En büyük çocuğuna tarlanın %50’sini, ortanca çocuğuna tarlanın %30’unu ve en küçük çocuğuna ise tarlanın %20 ’sini bırakacaktır. Sırasıyla her bir çocuk tarladan kaç metrekare yer alacaktır? Yukarıdaki soru bir matematik sorusudur. Çözebilmek için matematik bilgisi gerektirmektedir. Fakat bu soru aynı zamanda okuduğunu anlama bilgisi de gerektirmektedir. Matematik becerisi yüksek ama Türkçe dil bilgisi iyi olmayan bir öğrenci bu soruda başarılı olamayabileceğinden, bu sorunun sadece ölçmek istediği özellik olan matematiği ölçtüğünü söyleyemeyiz. Yani bu maddenin geçerliği için mükemmel diyemeyiz.
GEÇERLİK İLE İLGİLİ BİLİNMESİ GEREKENLER: • Ölçme sonuçlarının geçerliği; ölçme yapılan öğrenci grubunun niteliklerine, ölçümlerin kullanılacağı amaca bağlı olarak değişir. • Örneğin, çok az kişinin seçileceği bir sınava çok fazla aday müracaat etmişse, sınav sorularının çok kolay olması sınavın amacına hizmet etmesine olanak sağlamaz. Bu durumda sınav sorularının zor olması gerekir. 10 kişinin seçilmesi için yapılan bir sınavda 100 kişi tam puan alırsa o sınavın amacına (en iyi 10 kişiyi seçme) uygunluk düzeyi yani geçerliği düşük olur. • Benzer şekilde çok kişinin seçileceği ve müracaatın az olduğu durumlarda zor sınav yapılması da amaca uygun olmaz. Test geçerliğini etkileyen önemli bir etken de testin amacıdır. Belirli bir amaç için geçerli olan bir test başka bir amaç için geçerli olmayabilir.
GEÇERLİK İLE İLGİLİ BİLİNMESİ GEREKENLER: • Geçerlik, bir derece belirtir. Bir ölçme aracı tam olarak geçerlidir veya hiç geçerli değildir denemez. Geçerlik düşük, orta veya yüksek seviyelerde olabilir. • Ölçme aracının hangi düzeyde geçerli olduğu -1 ile +1 arasında değişik değerler alabilen ve geçerlik katsayısı olarak adlandırılan bir korelasyon katsayısıyla ifade edilir. • Geçerlik ölçme aracına ilişkin bir nitelik değil, aracın verdiği sonuçlara ilişkin bir niteliktir.
GEÇERLİK TÜRLERİ Kapsam Geçerliği Yapı Geçerliği Bir Ölçüte Dayalı Geçerlik Uygunluk Geçerliği Yordama Geçerliği Görünüş Geçerliği
Kapsam Geçerliği • Kapsam geçerliği bir testin bu testle ölçülmek istenen davranışları ne derece kapsadığı ile ilgilidir. • Testi oluşturan maddelerin, istenen davranışları ölçmede nicelik ve nitelik olarak yeterli olup olmadığının göstergesi, kapsam geçerliğidir. Bir testin kapsam geçerliği; • O testteki toplam maddelerin ölçülecek hedef davranışları ve konu içeriğini ne kadar temsil ettiğine • Testteki her maddenin ölçmek istediği hedef davranışı ne kadar iyi ölçtüğüne bağlıdır.
TEST MADDELERİ DEĞERLENDİRME ALANI KUSURSUZ TEMSİL YETERSİZ TEMSİL OLDUKÇA ZAYIF
Kapsam Geçerliğini Nasıl Belirleriz? • Belirtke Tablosu Hazırlayarak (Mantıksal Yaklaşım) • İstatistiksel Hesaplama Yaparak (istatistiksel Yaklaşım)
Belirtke Tablosu: Ölçme ve Değerlendirme Dersi Final Sınavı Davranışlar Evreni DAVRANIŞ BİLGİ KAVRAMA UYGULAMA Belirtke Tablosu: Ölçme ve Değerlendirme Dersi Final Sınavı Kapsam Geçerliği Düşük Davranışlar Örneklemi TOPLAM KONULAR DAVRANIŞ BİLGİ KAVRAMA UYGULAMA TOPLAM KONULAR 1. TEMEL KAVRAMLAR 8 20 0 28 2. GEÇERLİK 4 16 0 20 3. GÜVENİRLİK 12 8 0 20 4. ÖLÇME ARAÇLARI 4 8 4 16 5. TEST VE MADDE İSTATİSATİKLERİ 4 8 4 16 TOPLAM 32 60 8 100 1. TEMEL KAVRAMLAR 4 4 2. GEÇERLİK 4 4 3. GÜVENİRLİK 9 9 4. ÖLÇME ARAÇLARI 4 4 5. TEST VE MADDE İSTATİSATİKLERİ 4 4 TOPLAM 25 0 0 25
Belirtke Tablosu: Ölçme ve Değerlendirme Dersi Final Sınavı Davranışlar Evreni DAVRANIŞ BİLGİ KAVRAMA UYGULAMA Belirtke Tablosu: Ölçme ve Değerlendirme Dersi Final Sınavı Kapsam Geçerliği Düşük Davranışlar Örneklemi TOPLAM KONULAR DAVRANIŞ BİLGİ KAVRAMA UYGULAMA TOPLAM KONULAR 1. TEMEL KAVRAMLAR 8 20 0 28 2. GEÇERLİK 4 16 0 20 3. GÜVENİRLİK 12 8 0 20 4. ÖLÇME ARAÇLARI 4 8 4 16 5. TEST VE MADDE İSTATİSATİKLERİ 4 8 4 16 TOPLAM 32 60 8 100 1. TEMEL KAVRAMLAR 2 2 2. GEÇERLİK 1 1 3. GÜVENİRLİK 6 6 4. ÖLÇME ARAÇLARI 8 8 5. TEST VE MADDE İSTATİSATİKLERİ 8 8 TOPLAM 0 25
Belirtke Tablosu: Ölçme ve Değerlendirme Dersi Final Sınavı Davranışlar Evreni DAVRANIŞ BİLGİ KAVRAMA UYGULAMA Belirtke Tablosu: Ölçme ve Değerlendirme Dersi Final Sınavı Kapsam Geçerliği Düşük Davranışlar Örneklemi TOPLAM KONULAR DAVRANIŞ BİLGİ KAVRAMA UYGULAMA TOPLAM 4 10 0 14 4 3 4 11 8 13 4 25 KONULAR 1. TEMEL KAVRAMLAR 8 20 0 28 2. GEÇERLİK 4 16 0 20 3. GÜVENİRLİK 12 8 0 20 4. ÖLÇME ARAÇLARI 4 8 4 16 5. TEST VE MADDE İSTATİSATİKLERİ 4 8 4 16 TOPLAM 32 60 8 100 1. TEMEL KAVRAMLAR 2. GEÇERLİK 3. GÜVENİRLİK 4. ÖLÇME ARAÇLARI 5. TEST VE MADDE İSTATİSATİKLERİ TOPLAM
Belirtke Tablosu: Ölçme ve Değerlendirme Dersi Final Sınavı Davranışlar Evreni DAVRANIŞ BİLGİ KAVRAMA UYGULAMA Belirtke Tablosu: Ölçme ve Değerlendirme Dersi Final Sınavı Kapsam Geçerliği Yüksek Davranışlar Örneklemi TOPLAM KONULAR BİLGİ KAVRAMA UYGULAMA TOPLAM 1. TEMEL KAVRAMLAR 2 5 0 7 2. GEÇERLİK 1 4 0 5 3. GÜVENİRLİK 3 2 0 5 4. ÖLÇME ARAÇLARI 1 2 1 4 5. TEST VE MADDE İSTATİSATİKLERİ 1 2 1 4 TOPLAM 8 15 2 25 DAVRANIŞ KONULAR 1. TEMEL KAVRAMLAR 8 20 0 28 2. GEÇERLİK 4 16 0 20 3. GÜVENİRLİK 12 8 0 20 4. ÖLÇME ARAÇLARI 4 8 4 16 5. TEST VE MADDE İSTATİSATİKLERİ 4 8 4 16 TOPLAM 32 60 8 100 Ölçme aracı, beş konuyu ne eksik ne fazla olmaksızın, yoğunluklarına uygun şekilde soru sayısına sahip olacak kapsamda oluşturulmalıdır.
• Öğrenci başarısını ölçmede kullanılan başarı testlerinin geçerliğini bulmada en uygun yöntem kapsam geçerliğidir. • Kapsam geçerliği hakkında karar verilirken, testte sorulan soruların ilgili davranışları ölçmede uygun olup olmadığının da tespit edilmesi gerekmektedir. • Örneğin, İngilizce dersinde 100 kelimenin öğrenilme düzeyini ölçmek amacıyla oluşturulan bir testte tüm kelimeler soruluyorsa kelimelerin örneklenmesinden kaynaklanan bir hata söz konusu değildir ama sorulan soruların ölçmeyi amaçladığı davranışı ölçme yeterliği üzerinde durulmalıdır.
• Her bir madde üzerinde «Bu madde ölçülmek isteneni gerçekten ölçüyor mu? » sorusunu sormak ve düşünmek gerekir. • Her soru, sadece o sorunun ölçek istediği bilgi ve beceriye sahip olanlar tarafından doğru cevaplandırılabilecek şekilde sorulmalıdır. Ör: 255 sayısının kare kökü yaklaşık olarak aşağıdakilerden hangisidir? A) 14, 8 B) 14, 9 C) 15. 8 D) 15. 9 E) 16. 1 Düzeltme: 255 sayısının karekökü alındığında virgülden sonra gelen ilk rakam aşağıdakilerden hangisidir? A) 1 B) 3 C) 5 D) 7 E) 9
Testin kapsamında oluşan hatalar, test puanlarının bir grubun lehine ya da aleyhine bir durum oluşturmasına yol açtığı söylenebilir. Bu durum doğrudan bir yanlılık yani sistematik hataya işaret etmektedir. Bu durumda geçerlik, sistematik hatalardan diğer bir değişle yanlılıktan doğrudan etkilenmektedir.
Geçerlik ve Yanlılık • Öğrencilerin fizik bilgisini ölçek için hazırlanan bir soruda futbol terimlerinin kullanılması sonucunda erkek öğrencilerin kız öğrencilere göre daha başarılı olması, sorunun cinsiyete göre yanlılık göstermesiyle ortaya çıkabilir. • Sorunun belirli bir grubun üstünlüğüne yol açması yapı geçerliğini tehdit eden bir sebeptir.
İstatistiksel Hesaplama Yapmak • Ölçmek istediğimiz davranış ya da özelliklere yönelik daha önceden hazırlanmış, geçerlik ve güvenirliği ispatlanmış ölçme araçları ile bizim hazırlamış olduğumuz ve kapsam geçerliğini test etmek istediğimiz araç aynı gruba uygulanarak aralarındaki korelasyon istatistiksel olarak hesaplanır.
Test 1’den C konusu çıkarılıp Test 2 elde edildiğinde KR 20 güvenirlik katsayısı ve kapsam geçerliği nasıl değişir?
Yapı Geçerliği • Yapı: bireylerde var olduğu kabul edilen ancak gözlenemeyen özelliklerdir. • Yapıdan kastedilen; yaratıcılık, zeka, başarı, kişilik, tutum, eleştirel düşünme… • Yapı geçerliği: ölçme aracının yapıları ölçebilme derecesi. . • Yapı geçerliği daha çok teori geliştirmek ya da var olan teoriyi test etmek amacıyla incelenir. Yapı geçerliği tek bir katsayıyla ifade edilmez. Yapı geçerliği incelenirken birçok yönteme başvurulabilir ve bir kanıt toplama çalışmasıdır.
Yapı Geçerliği • Yapının ne olduğu tanımlanır. • Bu soyutlanmış yapılardan ölçülebilir davranışlar çıkarılır. • Bu davranışları ölçecek test maddeleri geliştirilir. • Bu anlamda, bir testin yapısını geçerleme süreci temelde testin maddelerine verilen cevaplar arasındaki ilişkilerin analizine dayanır.
Örnek: BENLİK ALGISI PROFİLİ Eğitsel yeterlik Fiziksel görünüm Sosyal kabul
1. Bazı ergenler kendilerini yaşıtları kadar akıllı hissederler. 2. Bazı ergenler, görünümlerinden memnun değildirler. 3. Bazı ergenler okul ödevlerini bitirmekte oldukça yavaştırlar. 4. Bazı ergenler için arkadaş edinmek güçtür. 5. Bazı ergenler bedenlerinin daha farklı olmasını dilerler. 6. Bazı ergenlerin pek çok arkadaşı vardır. 1. Eğitsel yeterlik 2. Fiziksel yeterlik 3. Eğitsel yeterlik 4. Sosyal kabul 5. Fiziksel yeterlik 6. Sosyal kabul
Yapı Geçerliğini Kanıtlama Yöntemleri • Faktör analizi üMatematik yetenek testi; matematiksel akıl yürütme, uzam ve şekil bilgisi, işlem becerisi gibi birbirinden farklı alt yapılardan oluşuyor olabilir. Testin maddeleri ile belirlenen alt yapı arasındaki uyumun incelenmesi • Ölçme aracının homojenliği (iç tutarlılık) üTest tek bir yapıyı ölçüyorsa iç tutarlılık çalışmaları testin yapı geçerliği ile ipucu verir. • İlişkili yapılar (diğer testler) ile korelasyon üAynı yapıyı ölçtüğü bilinen test üDepresyon – umutsuzluk ya da depresyon – yaşam doyumu
Yapı Geçerliğini Kanıtlama Yöntemleri • Grup farklılıklarının incelenmesi (özelliğe sahip olanla olmayanı ayırması) üDepresyon özelliği gösteren ve göstermeyenlere yeni testin uygulanması üMatematik tutum ölçeği için (Matematik bölümü ve Yabancı dil bölümüne uygulama) ü 3. sınıf testini, 3. ve 2. sınıflara uygulamak • Testi alanların cevaplama süreçlerinin incelenmesi üÖzellikle başarı testlerinde en önemli uygulama alanı • Puanların kararlılığı üYapının kararlı olduğu, zaman içerisinde değişmediği biliniyorsa
Ölçüt Dayanaklı Geçerlik • Bu yöntem geçerliği sağlamak için başka bir test puanının ya da puanlarının ölçüt olarak kullanılmasına dayanır. • Hazırlanan ölçme aracından elde edilen puanlar ile ölçüt puanlar arasındaki korelasyon katsayısı hesaplanarak belirlenir. • Ölçüt olarak kabul edilen puanların geçerli ve güvenilir olması gerekmektedir. • Ölçüt olarak seçilen ölçme aracı, hazırlanan ölçme aracından önce ya da sonra uygulanır. • Ölçüt puanın elde ediliş zamanına göre uygunluk geçerliği ve yordama geçerliği olarak ikiye ayrılır.
Yordama Geçerliği Ölçülen özelliğin gelecekteki durumu hakkında tahminde bulunmaya yordama denir. Ölçüt kabul edilecek puanlar henüz mevcut değildir, gelecekte var olacak puanlardır. Geçerliğine bakılacak puan • Üniversite Öğrenci Seçme Sınavı Ölçüt puan • Üniversite 1. sınıf ders ortalaması
Uygunluk Geçerliği (Uyum/Eş zaman /Zamandaş geçerliği ) Ölçüt kabul edilecek puanlar, ölçme aracından elde edilen puanlarla yaklaşık aynı zamanda ya da daha önce elde edilmişse Ölçüt puan • Lise mezuniyet not ortalaması Geçerliğine bakılan puan • Üniversite Öğrenci Seçme Sınavı
Yordama Geçerliğine bakılacak puan • KPSS deneme sınavı puanı Ölçüt puan • Asıl KPSS puanı
Ölçüt puanın sahip olması gereken özellikler: • Testin yordamaya çalıştığı değişkenle doğrudan ilgili olmalıdır. • Kararlı olmalıdır, günden güne değişmemelidir. • Kişinin başarısını gerçekten yansıtan nesnel ve güvenilir bir ölçü olmalıdır. • Elde edilmesi kolay ve pratik olmalıdır.
Görünüş Geçerliği • Ölçme aracı ismi, açıklamaları ve sorularıyla ölçmeyi amaçladığı özelliği ölçüyor görünmesidir. • Matematik bilgisi ölçmek için hazırlanan bir teste hızlı bir bakış attığımızda tüm soruların matematikle ilgili olması, İngilizce seviyesini ölçen bir sınava göz attığımızda tüm maddelerin İngilizce içerikte olması görünüş geçerliği sağlandığının işareti olabilir.
Görünüş Geçerliği • Örnek: Ankara 1923 yılında başkent olmuştur. Ankara başkent olalı kaç yıl olmuştur? Bu soru tarih sorusu gibi görünse de gerçekte sayısal problem çözme gücünü yoklamaktadır. • Görünüş geçerliği teknik anlamda bir geçerlik türü olmayıp, tek başına ölçme aracının geçerliğine ilişkin kanıt oluşturmaz.
Geçerliği Arttırma Yolları • Güvenirliği arttırmak için yapılacaklar – (Eklenecek sorulara dikkat !) (Kopyanın önlenmesi, puanlamada objektiflik, uygulama koşulları vb. ) • Sorular karmaşık olmamalı ya da yaş grubuna uygun olmalı • Test çok kısa olmamalı (bireyler arasındaki farklar gözlenemez) • Her sorunun belirtke tablosunda yer alan davranışları ölçmesi • Testin amacı ve ölçme aracının güçlüğü – (Güçlük derecesi o testten elde edilecek puanların kullanılacağı amaca göre ayarlanmalıdır. ) • Her sorunun tek bir davranışı ölçmesi • Uygun ölçme yönteminin kullanılması – (İngilizce kelime telaffuz için sözlü sınav, kompozisyon yazma becerisi için yazılı yoklama sınavı vb. )
Geçerliği Arttırma Yolları • Her türlü yanlılığın önlenmesi (Genel kültür sınavında futbol ile ilgili sorunun yer alması) • Her yıl aynı soruların kullanılmaması • Test süresinin çok uzun (kopya riski) ve çok kısa olmaması • Testteki sorularla ilgili ipucu verilmemesi • Testte yer alan maddelerin kolaydan zora sıralanması
Geçerlik – Güvenirlik İlişkisi • • Güvenirlik Geçerliğin bir ön koşulu, bir parçasıdır. Güvenilir olmayan bir aracın geçerliğinden söz edilemez. Güvenirliği etkileyen faktörler geçerliği de olumsuz etkiler Geçerli olan bir test güvenilirdir. Fakat güvenilir bir test her zaman geçerli olmayabilir. Ø Örneğin, öğrencilerin sayısal yeteneklerini ölçmek amacıyla, sözel yetenek testi uygulandığını ve sözel yetenek testinin güvenirliğinin yüksek olduğunu varsayalım. Sözel yetenek testinin güvenirliğinin yüksek olduğu söylenebilir fakat öğrencilerin sayısal yetenek düzeylerini belirlemede kullanılabileceği söylenemez. Test amacına hizmet etmiyordur.
Geçerlik – Güvenirlik İlişkisi
GÜVENİRLİK GEÇERLİK Tesadüfi hatalardan etkilenir. Doğrudan sabit ve sistematik hatadan dolaylı olarak tesadüfi hatadan etkilenir. Ölçme aracı ile ilgilidir. Ölçme işleminin amacı ile ilgilidir. Hatalardan arınıklık derecesidir. Amaca hizmet etme derecesidir. Duyarlık, tutarlılık, objektiflik, kararlılık Amaç, amaca uygunluk, hedef davranış Güvenilir her test geçerli değildir. Güvenirliği içine alır. Geçerlik için ön koşuldur. Güvenirliği içine alır. 0 ile +1 arasındadır. -1 ile +1 arasındadır.
Kullanışlılık Ölçme aracının hazırlanmasının, uygulanmasının ve puanlanmasının ekonomik ve pratik olma derecesidir. Ekonomik olması (masrafı az) Puanlanmasının pratik olması, Uygulama süresinin kısa olması, Uygun bir yönergesinin olması, Ölçme işlemini yapan kişiden istenen becerinin az olması, Puanların yorumlanmasının kolay olması gerekir
- Slides: 42