Fen Eitimi Aratrmalarnda lme Verilerinin Analizi I ADEM

Fen Eğitimi Araştırmalarında Ölçme Verilerinin Analizi - I ADEM YILMAZ 087126002 İSMAİL BAL 087126016

İNDEX v BELİRTKE TABLOSU v TEST MADDELERİ VE ÇEŞİTLERİ v GÜVENİRLİK VE GEÇERLİK v MADDE GÜÇLÜK İNDEKSİ v MADDE AYIRT EDİCİLİK İNDEKSİ

Belirtke Tablosu v Bir eğitim programında yer alan hedef ve hedef davranışlarla, program içeriğinin iki boyutlu bir çizelge üzerinde gösterilmesine belirtke tablosu, diğer bir tanımla Hedef-İçerik Çizelgesi adı verilmektedir (Demirel, 2006: 131). v Belirtke tablolarının hazırlanmasındaki temel amaç daha önceden belirlenmiş olan hedef davranışları öğretebilmek için uygun içeriğin hangi bilişsel alan basamağında hangi düzeyde kullanılabileceğini görmektir. v Kapsam geçerliliğinin tespit edilmesinde; testi oluşturan davranışların iyi belirlenmesi için belirtke tablosunun hazırlması uygun görülmektedir. (Bloom, Hasting ve Madaus : 1971)

Belirtke Tablosu v. Belirtke tablosunun oluşturulmasında bir takım aşamalar bulunmaktadır. Bunlar: ü Öğretim hedeflerini belirleme ü Ders içeriğini belirleme ü İki boyutlu çizelgeyi hazırlamadır.

Belirtke Tablosu • Hedef-içerik çizelgesi hazırlanırken genelde üst tarafta yer alan yatay boyuta önce hedefler ve bu hedefleri gerçekleştirici davranışlar yazılır. • Dikey boyuta da içerik yazılır. İçerik boyutuna konu, ünite ve yıllık ders programında yer alan konu başlıkları ile alt başlıklar yazılır. • Programın hedef-içerik ilişkisini kurmak için ilgili davranışlarla konu başlıklarının kesiştiği yere çarpı (x) işareti konulur.

Belirtke Tablosu • Bu çarpı konulan yerler eğitim ihtiyacı bakımından önemli davranışları, boş bırakılan yerlerde önemsizleri işaret etmektedir. • Bu şekilde hem öğrenme yaşantılarının seçimi, hem de ölçme aracı için uygun test maddelerinin geliştirilmesi sağlanmış olur. • Hedef-içerik çizelgesi, her konu alanı için hazırlanmalıdır. Bu çizelgeler, yıllık ve ünite bazında hazırlanacağı gibi her öğrenim birimi için ayrı bir çizelge de geliştirilebilir (Ertürk, 1982: 62)

Belirtke Tablosu 1. Her sınav öncesi o sınava ait bir belirtke tablosu oluşturulmalıdır. 2. Belirtke tablosuna her konu ayrı yazılmalıdır. 3. Konulara eşit bir şekilde soru sayıları tespit edilmelidir. 4. Belirtke tablosunda belirlenen kazanım sayılarına göre sorular hazırlanır. 5. Belirtke tablosuna göre tespit edilen sorular fazla ise kritik sorular seçilmelidir.

BİLİŞSEL ALAN BASAMAKLARI Değerle ndirme Sentez Analiz Uygulama Kavrama Bilgi Kavrama Bilgi

BELİRTKE TABLOSU TEST 1 SORU SAYISI BİLGİ KAVRAMA UYGULAMA ANALİZ SENTEZ DEĞERLENDİRME TÜRKÇE 30 0 4 16 10 0 0 TARİH 13 2 11 0 0 COĞRAFYA 10 4 5 1 0 0 0 FELSEFE 7 1 4 2 0 0 0 MATEMATİK 21 0 3 14 4 0 0 GEOMETRİ 9 0 1 8 0 0 0 FİZİK 13 0 0 10 1 0 0 KİMYA 9 4 1 4 0 0 0 BİYOLOJİ 8 4 2 2 0 0 0 TOPLAM 120 15 31 57 15 0 0

BELİRTKE TABLOSU TEST 2 SORU SAYISI BİLGİ KAVRAMA UYGULAMA ANALİZ SENTEZ DEĞERLENDİRME EDEBİYAT 17 9 5 3 0 0 0 COĞRAFYA 15 7 7 1 0 0 0 PSİKOLOJİ 5 0 3 2 0 0 0 TARİH 13 10 2 1 0 0 0 SOSYOLOJİ 5 0 4 0 1 0 0 MANTIK 5 1 3 0 1 0 0 MATEMATİK 21 1 14 5 1 0 0 GEOMETRİ 9 0 4 5 0 0 0 FİZİK 13 1 7 5 0 0 0 KİMYA 9 1 6 1 1 0 0 BİYOLOJİ 8 2 6 0 0 TOPLAM 120 32 61 23 4 0 0

HEDEFL ER Kavramlar Bilgisi KONULAR Kümeler İle İlgili İlkeler Bilgisi İlkeleri Kavrama X X X Kümenin Eleman Sayısı X X X Boş Küme X X X Kümelerin Karşılaştırılma sı X X Alt Küme ve Özalt Küme Sayısı X X Küme ve Eleman Kavramı Kümelerin Gösterilişi Sınıflama Bilgisi Uygu lama X X X X

Hatırlama ve Unutma Etkili Öğrenmede Öğretmen Faktörü Başarının Ölçülmesi ve Değerlendirilmesi Yeterlikler Öğrenme X Öğrenme Kuramları X Güdülenme ve Öğrenme X Transfer X Öğrenme Yolları X X X X X X X X X X Dış ölçütlerle değerlendirebilme ANALİZ Düzeyi İç ölçütlerle değerlendirebilme Bir öğrenme durumundaki öğeler arasındaki ilişkileri görebilme UYGULAMA Düzeyi Karmaşık bir öğrenme durumunu ya da öğrenmeye ilişkin bir bilgi bütününü öğelerine ayırabilme KAVRAMA Düzeyi İlke ve genellemeleri özel durumlara uygulayabilme Özel bir durumu ya da bir bilgi bütününü yorumlayabilme Öğrenmeye ilişkin bilgi, ilke ve genellemeleri bir formdan başka bir forma çevirebilme Öğrenmeye ilişkin ilke ve genellemelerin bilgisi Öğrenme kuramlarının bilgisi Öğrenme yöntemlerinin bilgisi Önemli olguların bilgisi Temel kavramların bilgisi Konular BİLGİ Düzeyi DEĞERLENDİRME Düzeyi X X X

TEST KAVRAMI VE TEST TÜRLERİ v. TEST: Bireylerin çeşitli niteliklerini ölçmek amacıyla hazırlanıp kullanılan araçlara denir. Test Hazırlarken; * Amaç belirlenmeli, * Çeşitli ölçütlere göre toplam soru sayısı kararlaştırılmalı, * Davranışlar ve içeriği belirlenmeli * Kullanılacak soru tipi kararlaştırılmalı * Testin güçlüğü ve dağılımı kararlaştırılmalı * Puanlama biçimi kararlaştırılmalı

TEST KAVRAMI VE TEST TÜRLERİ 1. Yazılı Yoklamalar 2. Kısa Cevap Gerektiren Testler 3. Doğru Yanlış Testleri 4. Çoktan Seçmeli Testler

YAZILI YOKLAMALAR 1. YAZILI YOKALAMALAR (Essey-Kompozisyon tipi sınavlar): Hazırlanmasının kolay olması, uzun zaman almaması ve öğretmenlerce iyi biliniyor olmasından dolayı sık tercih edilen bir sınavdır. Ø Yazılı yoklamaların en önemli tarafı (avantajı) bilgi düzeyinin üstündeki üst düzey zihinsel işlemler (uygulama, analiz, sentez, değerlendirme, organize etme, bilgileri değişik durumlarda uygulama, orijinal görüş ve ürünler ortaya koyabilme) gerektiren türdeki hedefleri ölçebilmesidir.

YAZILI YOKLAMALAR: (Kompozisyon Türü Testler) Özellikleri: v Cevaplayıcı kendisi düşünüp yazmalı. v Cevaplar sınırlı olmayabilir. v Tamamen doğru, tamamen yanlış diye sınıflamak zordur. v Puanlama güçlükleri ve fazla zaman ihtiyacı vardır. v Güçlük düzeyini belirlemek zordur. v Gelişigüzel cevaplar güvenirliği düşürür.

YAZILI YOKLAMALAR: (Kompozisyon Türü Testler) Özellikleri: ØAz sayıda sorulur. Bu nedenle geçerlik ve güvenirlik düşüktür. ØÖğrenciye cevap özgürlüğü tanınır. Öğrenci istediği cevabı vermede özgürdür. ØHazırlanması kolay ancak puanlanması güç ve zaman alır. ØŞans başarısı düşüktür. ØPuanlanması sübjektiftir. Çoğu kez değerlendirmeye puanlayıcı yanlılığı karışır. ØÜst düzey zihinsel hedef alanlarını ölçebilir.

YAZILI YOKLAMALAR: (Kompozisyon Türü Testler) Ø Ø Hangi Durumlarda Kullanılmalı: Ø Öğrencilerin gelecekleri ile ilgili kritik kararlar güvenilir sınavlara dayandırılmalıdır. Soru sayısının az, puanlama güvenirliğinin düşük olması nedeni ile yazılı yoklama bu amaç için kullanılmamalıdır. Ø Öğrencinin yazılı ifade gücü, noktalama işaretlerini doğru kullanabilme, dilbilgisi gibi özelliklerini ölçmede kullanılabilir. Ø Sentez ve değerlendirme gibi üst düzey zihinsel davranışları ölçmede kullanılabilir. Sınava girecek öğrenci sayısının az ise kullanılmalı.

YAZILI YOKLAMALAR: (Kompozisyon Türü Testler) Test Hazırlarken Uyulması Gereken Esaslar: v Belirli bir plan içinde yapılmalı v Sorular açık, anlaşılır, sınırları iyi belirlenmiş olmalı v Uzun cevaplı az soru yerine, kısa cevaplı çok soru tercih edilmeli v Ezberlenebilir soru yerine, bilginin yorumuna dayalı sorulmalı , birbirinden bağımsız sorular olmalı v Çok zorunlu değilse seçimlik soru bulundurulmamalı v Puanlarken soru okunmalı v Açık kitap türü sınav ise, analiz, sentez, değerlendirme basamaklarında içermesi uygun olur.

KISA CEVAP GEREKTİREN TESTLER v Öğrencinin bir tarih, rakam, sözcük, en çok bir cümle ile cevaplayabileceği maddelerden oluşur. * Genel olarak iki biçimi vardır: Örnek Soru: Bir çoktan seçmeli maddedeki yanlış cevaplara ne ad verilir? _________________ Bir çoktan seçmeli maddedeki yanlış cevaplara_______adı verilir.

KISA CEVAP GEREKTİREN TESTLER Özellikleri: * Daha çok hatırlama yeteneğini ölçer. * Kısa sürede daha fazla soru sormak mümkündür. * Şans hatasının puanlara karışma olasılığı düşüktür.

Test Hazırlarken Uyulması Gereken Esaslar: v Cevaplandırılabilecek açıklıkta olmalı • Örnek Soru: 4 a. Atatürk______de doğdu? (Hatalı) 4 b. Atatürk ______tarihinde doğdu * Soruda ipucu ifadeleri olmamalı Örnek Soru: 5 a. “Şair Evlenmesi” eserinin yazarı________ dir. (Hatalı) 5 b. “Şair Evlenmesi”________tarafından yazılmıştır. * Boşlukların uzunlukları eşit olmalı * Biri diğerinin cevabı olacak maddeler bulunmamalı

DOĞRU YANLIŞ TESTLERİ • Bazıları yanlış, bazıları doğru önermeler halinde verilen ve cevaplayıcıların sınıflaması istenen testlerdir. Özellikleri: * Cevaplayıcılar zamanlarını daha çok düşünmeye ayırabilirler * Puanlaması kolay ve objektiftir * Çok soru hazırlanabileceği için geçerlik ve güvenirliği yüksektir * Yönergesi basittir, alt eğitim basamaklarında kullanılabilir * Şans başarısı yüzde 50 olduğu için bu durum geçerlik ve güvenirliği düşürür

DOĞRU - YANLIŞ TESTLERİNDE YAPILAN HATALAR (D) (Y) Foklar kutup bölgelerinde yaşarlar ve diğer balıklar gibi yumurtlayarak ürerler. Soruda iki ana fikir var. Hele bu fikirlerden biri doğru diğeri yanlış olursa durum daha da karışır. Her soruda tek bir ana fikir olması gerekir. (D) (Y) Birinci Dünya Savaşı, Avrupa ve Afrika'da yapılmıştır. Bu soru bir taraftan doğru, ama Savaşın olduğu bütün kıtaları göstermemesi bakımından da yanlıştır. (D) (Y) Pi sayısının değeri yaklaşık olarak 3 kabul edilir. (D) (Y) Pi sayısı 22/7'dir. Pi sayısının tam değeri çok küsürlüdür (3. 1416). Burada 3. 14 da yaklaşık değerdir, 3 de kabul edilebilir. Burada yeteri kadar ayrıntı verilememekte ve hangi düzeyde bilgi ölçüldüğü belli olmamaktadır. (D) (Y) Kuşların göç nedenleri bugün kesin açıklanabilmektedir. (D) (Y) Işık, çok hızlı hareket eden çok küçük madde tanecikleri selinden ibarettir. Bu sorularda henüz kesinleşmemiş bilimsel teorilerden bahsedilmektedir. (D) (Y) Bir dairenin içine bir kare ve bir eşkenar dörtgen çizilirse, karenin kenarı üçgeninkinden büyük olur. Burada karışık ve doğru yazıldığı kuşkulu olan bir soru vardır.

DOĞRU YANLIŞ TESTLERİ v •

ÇOKTAN SEÇMELİ TESTLER Ø ÇOKTAN SEÇMELİ TESTLER: Öğrencilere bir soru kökü ile birlikte bu sorunun cevabı ve onun cevabı sanılabilecek olan ifadeler verilen ve öğrencinin bu seçeneklerden hangisinin sorunun cevabı olduğunu belirlemesini gerektiren madde türleridir. Ø Soru kökünde doğrudan soru cümlesi kullanılarak öğrenciye soru yöneltilebileceği gibi; bir konu, olay, durum, sorun, haber, düşünce vb verilerek buna ilişkin bir soru da sorulabilir Ø Bir çoktan seçmeli madde; Ø Sorunun sorulduğu kök, Ø Kökteki seçeneğin doğru cevabı olan doğru ya da anahtar cevap, Ø Kökteki sorunun cevabı olmayan çeldirici kısımlarında oluşur.

ÇOKTAN SEÇMELİ TESTLER v Aklın hataya düşmeksizin hakikate ulaşabileceğini kabul eden görüşe ne ad verilir? A) Dogmatizm B) Pozitivizm C) Rasyonalizm D) Septisizm E) Sofizm DOĞRU CEVAP SEÇENEKLER ÇELDİRİCİLER MADDE KÖKÜ

ÇOKTAN SEÇMELİ TESTLER * * * * Özellikleri: Fazla soru sorma imkanı verir. Belirtke tablosu hazırlanırsa kapsam geçerliği artırılabilir. Puanlama objektiftir. Cevap anahtarı hazırlanırsa, uzman olmayanlar bile cevaplayabilir. Şans başarısı mümkündür. Cevaplayıcıların okuma nitelikleri ve hızları sonucu etkileyebilir. Maddenin güçlük derecesini belirlemek mümkündür. Cevaplayıcının düşüncelerini ifade etme niteliklerini ölçebilmesi açısından eleştirilmektedir.

ÇOKTAN SEÇMELİ TESTLER Ø Ø Ø Özellikleri: Hazırlaması çok uzun zaman gerektirir ve uzmanlık ister. Ancak puanlanması az zaman alır ve kolaydır. Bir defa hazırlandıktan aynı test gizliliği sağlanarak tekrar kullanılabilir. Elde edilen puanlar üzerinde istatistikî işlemler ve madde analizi yapılabilir. Bu da amaca uygun istenilen soruların seçilmesini kolaylaştırır. Çok iyi hazırlanırlarsa analiz basamağına kadar davranışları ölçebilir. Cevaplama süresi kısadır. Bu nedenle belli bir süre içerisinde çok sayıda sorulabilir. Soru sayısının artması geçerlik ve güvenirliği arttırır. Değerlendirmeleri objektiftir. Puanlamayı kim yaparsa yapsın aynı sonuca ulaşılır.

ÇOKTAN SEÇMELİ TESTLER Ø Ø Ø Özellikleri: Geçerliği ve güvenirliği en yüksek olan sınav türüdür. Maddeleri kesinlikle doğru, kesinlikle yanlış diye ayırmak mümkündür. Yazılı yoklamalarda olduğu gibi kısmi puanlama yapılamaz. Şans başarısı vardır. Konuyu hiç bilmeyen öğrenci şansla doğru cevabı bulabilir. Çeldiriciler, bilmeyen öğrenciye ipucu vermemelidir. Çeldiriciler konuyu bilenleri değil bilmeyenleri yanıltmalıdır.

ÇOKTAN SEÇMELİ TESTLER Ø Ø Özellikleri: Çeldiriciler madde kökündeki konuyla ilgisiz olmamalıdır. Çeldiricilerin doğru cevaba yakınlığı arttıkça madde zor bir soru olur ve bilenle bilmeyeni ayırt etme gücü artar. Cevaplayıcının okuma hızı ve okuduğunu anlama gücü, alacağı puan üzerinde etkilidir. Test, hız testi değilse tüm sorulara yetecek süre verilmelidir. Okuduğunu anlama gücü ölçülmüyorsa da sorular açık ve anlaşılır olmalıdır.

ÇOKTAN SEÇMELİ TESTLER 1. Doğru Yanıta Göre a) Kesin ve tek doğru yanıtı olan maddeler b) En doğru yanıtı olan maddeler c) Bileşik yanıt vermeyi gerektiren maddeler d) Doğru yanıtı gizlenen maddeler 2. Madde Köküne Göre a) Kökü soru kipinde olan maddeler b) Kökü eksik cümle tipinde olan maddeler c)Olumsuz köklü maddeler 3. Maddelerin Gruplanışına Göre a)Ortak köklü maddeler b)Ortak seçenekli maddeler

ÇOKTAN SEÇMELİ TESTLER v Her madde önemli bir davranışı ölçmelidir. v Madde kökü, seçenekleri okumadan tek ve temel bir fikir vermelidir. v Madde kökünde yoruma açık ifadeler bulunmamalıdır. v Madde kökü açık ve basit bir dille yazılmalıdır. v Mümkünse madde kökü sorunun büyük bir kısmını kapsamalıdır. v Testteki her madde bir diğerine ipucu olmayacak bir problemi içermelidir. v Seçenekler ifade, gramer ve konu bakımından tutarlı olmalıdır.

ÇOKTAN SEÇMELİ TESTLER * Seçeneklerin ikisi ya da üçü aynı anlamda olmamalıdır. * Doğru cevap seçeneği bir materyalden aynen alınmamalıdır. * Madde kökü ile seçenekler arasında ifade, gramer, ibare birliği sağlanmalıdır. * Çeldiriciler bilgisiz cevaplayıcılara çekici gelmelidir. * Çeldiricilerin tümü konu ile ilgili olmalıdır.

EŞLEŞTİRME TÜRÜ TESTLER v Çoktan seçmeli testlerin farklı bir şekli olarak yorumlanabilecek olan eşleştirme maddeleri, bir dizi öncül ile başka bir dizi yanıtla bire bir olarak istenilen şekilde eşlenmesini gerektiren maddelerdir. v Aslında, doğru-yanlış testleri ve çoktan seçmeli dersler bir bakıma eşleştirme maddelerinin bir çeşididir. (Aiken, 2000). v Eşleştirme maddelerinde yanıtı öğrenciler yazmaz. Yanıtlama işlemi iki set halinde verilen öncüller ve yanıtların eşlenmesine dayanır.

EŞLEŞTİRME TÜRÜ TESTLER • Eşleştirme maddeleri okumaya ve eşlemeye dayandığı için kısa zamanda daha çok maddenin yanıtlanması mümkündür. • Eşleştirme maddelerinde, yanıtlayıcılar yazarak yanıtlama yapmazlar. • Eşleştirme maddeleri de, diğer bazı objektif test türleri gibi şans başarısı içerir. • Fakat öncüller ve yanıtların sayısına göre, bu olasılık çoktan seçmeli testlerden daha düşük olabilir.

EŞLEŞTİRME TÜRÜ TESTLER • Eşleştirme maddelerinde puanlama tamamen objektif olarak yapılabilir. Puanlama işlemine puanlayıcı hatası karışma olasılığı çok düşüktür. • Eşleştirme maddelerinin uygulanması oldukça kolaydır. Yanıtlama işleminin basitliği ve açık yönergeleriyle kolayca uygulanabilir. • Daha çok bilişsel basamağın alt düzeyindeki davranışların yoklanması için uygundur.

EŞLEŞTİRME TÜRÜ TESTLER DİKKAT EDİLMESİ GEREKEN NOKTALAR • Bir eşleştirme maddesinde, öncüller ve yanıtlar kendi aralarında benzeşik (homojen) olmalıdırlar( Wesman, 1971). • Çok uzun bir yanıt listesi kullanılmamalıdır. • Eğer her yanıt sadece bir öncül ile ilgiliyse, yanıt listesi öncüllerin listesinden iki veya üç daha fazla olmalıdır. • Yanıtlar listesinin birden fazla öncül için kullanılması şans başarısını düşürebilir.

EŞLEŞTİRME TÜRÜ TESTLER • • • Örnek: A sütununda verilen başkentlerin bulunduğu ülkelerin adlarını B sütununda bularak yanıt kâğıdında işaretleyiniz. A B 1. (…. . ) Atina A. Almanya 2. (…. . ) Bükreş B. Finlandiya 3. (…. . ) Helsinki C. Fransa 4. (…. . ) Lizbon D. İngiltere 5. (…. . ) Roma E. İtalya F. Lüksemburg G. Polonya H. Portekiz I. Romanya J. Yunanistan

ÖLÇME VERİLERİNİN ANALİZİNDE GÜVENİRLİK VE GEÇERLİK

Yapısal Nitelikler Ölçme araçlarının nitelikleri değişik kaynaklarda farklı biçimlerde ele alınmasına rağmen, nitelikler başlıca üç başlık altında ele alınmaktadır. Güvenirlik Geçerlik Kullanışlılık

GÜVENİRLİK 1 -Tarihsel gelişimi 2 - Güvenirlik Tanımı 3 - Güvenirlik Bileşenleri 4 - Güvenirlikte Hata Kaynakları 5 - Güvenirlikte Hata Türleri 6 - Güvenirliği Etkileyen Faktörler

1 -Tarihsel gelişimi • Konudaki ilk çalışmaları CHARLES SPEARMAN yapmış , • 1920’li yıllarda C. Spearman ve arkadaşı W. Brown ile bir testin iki yarısı arasındaki korelâsyonun ölçeğin tamamını kapsaması için SPEARMAN- BROWN yöntemini geliştirmiş, • Çalışmaların önemli dönüşüm noktası KUDER- RICHARDSON 20 formülünün geliştirilmesidir. KUDER ve RICHARDSON’ un amacı, yarıya bölme Spearman- Brown yönteminde karşılan güçlükleri yenmektir, • LEE JOSEPH CRONBACH 1951’de KR- 20 formülünün hesaplamada güçlük yarattığını bildirmiş ve güvenirlik için ALFA formülünü tanıtmış, • 2000’ li yıllarda LAURI TARKKONEN ve KIMMA VEHKALAHTI kendi yöntemlerini geliştirmişler. Croanbach alfa değerlerinin aksine Tarkkonen’in güvenirlik yaklaşımı çok boyutlu modeller için de geçerlidir. Bu model TARKKONEN ALFA DEĞERİ olarak isimlendirilmiştir.

2 - Güvenirlik Tanımı • Güvenirlik, aynı şeyin bağımsız ölçümleri arasındaki kararlılıktır; • Ölçülmek istenen belli bir şeyin, sürekli olarak aynı sembolleri almasıdır; • Aynı süreçlerin izlenmesi ve aynı ölçütlerin kullanılması ile aynı sonuçların alınmasıdır; • Ölçmenin, tesadüfî yanılgılardan arınık olmasıdır.

3 - Güvenirlik Bileşenleri • İç tutarlılık: Ölçek veya testtin içindeki maddelerin belli bir kavramsal yapıya sahip olması. Yani ölçek maddelerinin birbirleriyle ilişkili olarak aynı yapıyı ölçmelidir. • İstikrarlılık: Ölçüm sonuçlarının aynı ve farklı koşullarda kararlılık göstermesi ve değişmemesidir. • Temsil Edicilik: Testin aynı ana kütleye ait farklı örneklemlerde uygulandığında benzer sonuçlar vermesidir. • Eş değerlilik: Aynı zamanda uygulanan iki veya daha fazla testin benzer sonuçlar vermesidir. • Nesnellik: Gözlemciler arasındaki değerlendirme güvenilirliğidir. Farklı değerlendiricilerin aynı kişilerle ilgili olarak benzer puanları vermeleridir.

4 -Güvenirlikte Hata Kaynakları Yöntem Hatası: Araştırmacının uyguladığı metodun çok dikkatli şekilde tasarlanmamış olmasından kaynaklanır. Örneğin, Anketin gürültülü ortamda yapılması, anketin çalışanların stresli zamanlarında yapılması gibi. • Özellik Hatası: Anket uygulayan bireylerin kişisel özelliklerinden kaynaklanır. Kendilerine test uygulanan kişilerin yorgun olması gibi. • Sistematik Hata: Testin ölçmeyi amaçladığı alanın dışında başka bir şeyi daha ölçüyor olması durumunda ortaya çıkar. • Tesadüfî Hata: Bilinmeyen kontrol edilmeyen faktörlerden kaynaklanır.

4 -Güvenirlikte Hata Kaynakları • Denek hatası, Sözgelimi, çalışanların işlerine bağlılık ve istek derecelerini ölçmeye yönelik bir anket uygulanıyor olsun. Eğer, anket haftanın değişik günlerinde doldurulmuşsa farklı cevapların verileceği açıktır. Pazartesi sabahı ile Cuma öğlen sonrası verilecek cevaplar değişik olur. Böyle bir çalışma için araştırmacı, mümkün olduğunca nötr bir zaman seçmelidir.

4 -Güvenirlikte Hata Kaynakları • Denek önyargısı, kendini güvende hissetmeyen denekler, sorulara genellikle gerçekte düşündükleri şekilde değil de üstünü memnun edecek şekilde cevap verme eğilimindedirler. Araştırmacı, bu riskin farkında olmalı ve bu tür bir önyargıyı en aza indirmek için deneklerin kimliklerini ortaya çıkaracak sorulardan kaçınmalıdır.

4 -Güvenirlikte Hata Kaynakları • Gözlemci hatası, güvenilirliği tehdit eden bir diğer unsurdur. • Örneğin, araştırmacı veri toplama metodu olarak mülakatı seçmiş olsun. Böyle bir çalışmada ne kadar değişik sayıda mülakatçı varsa o kadar değişik cevap almak mümkündür. Bu tehdidi ortadan kaldırmak için, ya mülakatçı sayısını en aza indirmek veya mülakatları mümkün olduğunca biçimselleştirmek gerekir.

4 -Güvenirlikte Hata Kaynakları • Gözlemci önyargısı, araştırmacının elde ettiği cevapları deneğin kastettiğinden farklı şekilde yorumlamasından kaynaklanır

5 -Güvenirlikte Hata Türleri • Sabit Hatalar, Her bir ölçme için miktarı değişmeyen hatalara sabit hatalar denir. Sabit hatalar, bireysel ölçümleri ve o ölçümlerin ortalamasını gerçekte olduğundan büyük ya da küçük gösterebilir, fakat ölçümlerin dağılım ölçülerini değiştirici yönde bir etkiye sahip değillerdir.

5 -Güvenirlikte Hata Türleri • Sistemli Hatalar, Öğretmenin , sadece kızlara ait cevap kâğıtlarına 5 puan fazla vermesi, yazılı yoklama kâğıtları puanlanırken; yazısı güzel, düzgün ve okunaklı olanlara fazla puan verilmesi de bir sistemli hatadır. Puanlayıcı yanlılıklarını yansıtan tüm hatalar sistemlidir. • Rasgele Hatalar, Kaynakları iyi bilinmeyen ve ölçme sonuçlarına gelişigüzel karışan hatalardır

6 -Güvenirliği Etkileyen Faktörler Testin Uzunluğu • Bir testte kapsanan madde sayısı, testin güvenirliğiyle doğrudan ilgilidir. Eğer güvenirliği etkileyen diğer etkenlerin tümü kontrol edilmişse ve teste sonradan katılan sorular öncekiler gibi aynı davranışlarla ilgiliyse, soru sayısı artırılarak testin güvenirliği artırılabilir.

6 -Güvenirliği Etkileyen Faktörler Test Yönergesinin Ve Testteki Maddelerin İfadesi • Testin başında, cevaplayıcılar için bir yönerge • • bulunmalıdır. Cevaplama işleminin nasıl yapılacağı, testin nasıl puanlanacağı; Test, seçmeli maddelerden oluşuyorsa şans başarısı için düzeltme yapılıp yapılmayacağı; Testte kaç soru bulunduğu ve testin cevaplandırılması için ne kadar zaman verildiği Bu yönergede cevaplayıcıların anlayacağı açıklıkla belirtilmiş olmalıdır.

6 -Güvenirliği Etkileyen Faktörler • Test İçeriğinin Benzeşikliği • Ölçtükleri davranış ve konu bakımından homojen maddelerden oluşan bir testten elde edilen puanlar heterojen bir testten elde edilen puanlardan daha güvenilir olur. • 100 maddelik bir sosyoloji testi 100 maddelik bir sosyal bilimler testinden daha güvenilirdir.

6 -Güvenirliği Etkileyen Faktörler Puanlamadaki Nesnellik • Bir testin güvenirliğini, onun puanlanmasının nesnel olup olmayışı büyük ölçüde etkiler. • Bir testin değişik kişilerce ya da aynı kişi tarafından değişik zamanlarda puanlanmasından elde edilen puanlar arasındaki tutarlılığa o testin puanlama güvenirliği denir.

Güvenirlik (Reliability) v v

Güvenirlik (Reliability) v v

Güvenirlik: ”Bir ölçme aracında bütün soruların birbiri ile tutarlılığını, ele alınan oluşumu ölçmede türdeşliğini ortaya koyan bir kavramdır”(Özdamar, 1999, s. 512) Güvenirlilik aynı zamanda ölçme aracının kararlı ölçme yapma karakterinde olması anlamını da taşır.

Güvenirlik (Reliability) v Kararlılık: Farklı ölçümlerde yine aynı sonuçları verebilmesidir. v Tutarlılık: Yakın zaman aralıklarında birkaç defa yapılan ölçümlerin birbirine yakın değerler vermesidir. v Duyarlılık: Ölçme aracının veya ölçme sonuçları biriminin büyüklüğüyle ilgilidir. Birim küçüldükçe hata payı azalır ve daha hassas ölçüm yapılır.

Güvenirliği Etkileyen Faktörler Testin uzunluğu: Soru sayısı arttıkça güvenirlik artar Ölçülen niteliğin genişliği (Ranj): Gruptaki değişiklik ne kadar fazla ise güvenirlik o kadar yüksek olur. Bu nedenle birkaç sınıfta uygulanan testin güvenirliği bir sınıfta uygulanan testin güvenirliğinden daha yüksektir Test uygulama şartları: Sınav süresi, öğrencileri güdülenme düzeyleri, dikkatsizlik, gürültü, ölçmeyi yapan kişinin sınav anındaki davranışları

Güvenirliği etkileyen faktörler Ø Soru sayısının fazla olması güvenirliği arttırır. Ø Test sorularının ayırt edicilik güçleri yükseldikçe testin güvenirliği artar. Ø Testin yönergesinin olması güvenirliği arttırır. Ø Gereğinden fazla zaman verilmesi güvenirliği düşürür. Ø Testin uygulandığı ortamın koşulları uygun ise güvenirlik artar.

Güvenirliği etkileyen faktörler v Sınava giren öğrenci sayısı arttıkça güvenirlik artar. v Test maddelerinin homojenliği arttıkça güvenirlik artar. v Puanlamadaki nesnellik güvenirliği arttırır. v Soruların teste konuş sırası güvenirliği etkiler.

GÜVENİRLİĞİ ARTTIRMA YÖNTEMLERİ Ø Soru sayısı az olmamalı Ø Sorular açık, anlaşılır ve kesin cevaplı olmalı. Ø Sınav süresi, bilen bütün öğrencilerin bütün soruları cevaplandırmalarına yetmeli. Ø Bir soru, sınava katılanların en az yarısı tarafından doğru olarak cevaplandırılabilmeli. Ø Puanlama objektif olmalı. Çeşitli uzmanlar aynı cevaplara aynı puanı verebilmeli. Ø Ölçme hatalarından mümkün olduğunca kaçınılmalı.

Bir Ölçme Aracının Güvenirliğini Belirleme Yöntemleri v Ölçümlerin güvenirliğini kestirmede ve yorumlama da iki istatistiki yöntemden faydalanılır: 1. Güvenirlik katsayısı. 2. Ölçmenin standart hatası

Güvenirlik Katsayısı Ø Bir ölçme aracının güvenirliğini belirlemek için güvenirlik katsayısı bulunur. Ø Güvenirlik katsayısı gerçek ölçümlerin sonucunun gözlenen puanların sonucuna oranıdır. Ø Güvenirlik katsayısı 0 -1 arasındadır. Katsayı 1. 00’a yaklaştıkça güvenirlik artar, 0. 00’a yaklaştıkça güvenirlik azalır.

Güvenirlik Katsayısını Belirleme Yöntemleri v Güvenirlik katsayısının belirlenmesinde başlıca genellikle üç yöntem kullanılır. 1. Test-Tekrar-Test Yöntemi 2. Paralel Testler Yöntemi 3. Testi Yarılama Yöntemi

Test-Tekrar-Test Yöntemi Ø Bir testin aynı gruba aralıklı olarak farklı zamanlarda iki defa uygulanışı sonucu elde edilen sonuçların korelasyonu bulunur. Ø Bu yaklaşım iki uygulama arasında geçen zaman içerisinde ölçülen özellikte önemli değişikliğin olmadığı sayıltısını kabul eder. Ø Süre ne kadar kısalırsa korelasyon o denli yüksek, süre ne kadar uzarsa korelasyon o denli düşük çıkar.

Test-Tekrar-Test Yöntemi Ø Yapılan ölçümler arasında zaman, unutma, değişme, cevapların sonradan çalışılarak öğrenilmesi ve hatırlama etkileri uygulamaya karıştırılmadan belirlenmelidir. Ø Bu yöntem sonucunda elde edilen korelasyona bağlı olarak testin kararlılığının ve tuturlılığının hakkında yorum yapılır. Ø Güvenirlik belirlemede elde edilen korelasyon 0, 70 üzerinde ise güvenirliği yüksektir denilebilir.

Paralel Testler Yöntemi ü Bir testin iki eşdeğer formunun aynı gruba yakın zaman aralıklarında farklı zamanlarda uygulanması ile elde edilen sonuçların korelasyonu bulunur. ü Eşdeğer form, geliştirilen iki testin maddelerinin kapsamı, sayısı, güçlüğü ve niteliği bakımından denk olması anlamına gelir. ü Paralel test yöntemi ile elde edilen güvenirlik katsayısı 0. 70 üzerinde ise ölçme aracı hatalardan arınıktır denilebilir.

Testi Yarılama Yöntemi Ø Ölçme aracının iki eşdeğer yarısı ile güvenirliği hesaplanır. Bir testi bir gruba bir defa uyguladıktan sonra, iki yarıya bölerek ayrılan yarıların puan dağılımlarının korelasyonuna bakılır. Ø Testi yarılama yöntemiyle elde edilen güvenirlik katsayısı genelde testin tekrarı yöntemiyle elde edilen güvenirlik katsayısından yüksek olur. Ø Test bir defa uygulandığı için daha pratiktir.

Ölçmenin Standart Hatası • • Ölçmenin standart hatası ölçülen özelliğin gerçek değeri ile ölçme sonucu gözlenen değeri arasındaki farkı ifade etmektedir. Bu değer, ölçme sonuçlarının güvenirliğinin değerlendirilmesinde güvenirlik katsayılarının yanı sıra kullanılan bir değeridir.

Se= Ölçmenin standart hatası Sx= Test puanlarının standart sapması rx= Testin güvenirliği

Geçerliğin Tarihsel Gelişimi 1 - Konuda ilk çalışmaları L. CRONBACH yapmış ve Cronbach geçerliliği deneysel ve mantıksal olarak iki grupta değerlendirmiştir. 2 -Amerikan Psikoloji Derneği (APA ) 1954 yılında 4 tür geçerlik standardı belirlemiş. a) içerik geçerliliğ, b) tahmin geçerliliğ, c) Birlikte Vuku Bulma- eş zamanlılık geçerliliği, d) Yapısal geçerlilik. 3 -1966 yılında, THAMPSON ve DANIEL, test ve ölçeklerin geçerliliğini test etmeye yönelik olarak birleşme ve ayrılma analizlerinin yapılmasını önermişlerdir. 4 -1990 yıllarında test ve ölçüm konusunda önde gelen bilim adamlarından SAM MESSICK geçerlilik analizlerinin içerik, kriter ve yapısal geçerlilik şeklinde sınıflandırılmasına karşı çıkmış. Messick kendi geçerlilik anlayışını yön yaklaşımı olarak isimlendirmiş. Messick geçerlilikte yön yaklaşımını iki boyut üzerinde temellendirmiş. Amaç, sonuçlar.

Geçerlik (Validity) ü İlk tanım 1937 yılında GARRET” tarafından yapılmıştır. Ona göre, geçerlilik, “ölçülmek istenen özelliğin amaca uygun olarak ölçülme derecesidir”. ü Son yıllarda HAMMERSLY tarafından yapılan tanıma göre, belli bir olguya ait ölçüm rakamları olguyu doğru bir biçimde yansıtıyor, doğru bir şekilde tanımlıyor veya doğru bir şekilde kavramsal açıklamalar getiriyorsa geçerlidir

Geçerlik (Validity) v Geçerlik, bir ölçme aracının sadece ölçmek istediği özellikleri ölçmesi, başka bir şeyi ölçmemesidir. v Eğitimde kullanılan ölçme araçlarının geçerliliği iki açıdan irdelenmeye çalışılır. Bunlardan ilki, aracın ölçmek istediği amaca uygun puanlar verip vermediği, ikincisi ise elde edilen puanlara amacın dışında başka etkilerin karışıp karışmadığıdır. ( v Her iki durumda da hem aracın hem de o araçla elde edilen puanların geçerliği etkilenebilir.

Geçerlik (Validity) Ø Geçerlik, bir testte bulunması gereken en önemli özelliktir. Geçerliğin iki temel öğesi bulunur: 1. Ölçme aracı ölçtüğü özellikle ilişkili olmalıdır. 2. Ölçme aracı güvenilir ölçme yapmalıdır. Ø Geçerlik bir ölçme aracının ölçmeyi amaçladığı özelliği başka değişkenlerle karıştırmadan ölçebilme derecesidir. (Turgut, 1986) Ø Geçerlik doğru karara ulaşmak için kanıt toplama sürecidir.

Geçerlik Türleri Ø Ø Kapsam geçerliği Ölçüt geçerliği Yapı geçerliği Görünüş geçerliği olmak üzere dört farkı tür geçerlik vardır.

Kapsam Geçerliği • • • Bir ölçme aracının en önemli sayılabilecek geçerlik türüdür. kapsam geçerliği testi oluşturan maddelerin ölçülmesi istenen davranış bütününü ölçmede ne derece temsil edilebilirliği ve örneklendirilebildiği ile ilgilidir. Kapsam geçerliği bir testin bu testle ölçülmek istenen davranışları ne derece kapsadığıdır.

Ölçüt Geçerliği • • • Geçerliği çalışılan bir ölçme aracı ile geçerli olduğu kabul edilen başka bir ölçme aracının aynı bireylere uygulanarak elde edilen ölçümler arasındaki korelasyondur. Ölçüt geçerliliğinin bir türünde yordama yapılır. Ölçüt geçerliği, ölçme aracının geçerli olduğu bilinen başka ölçütlerle uyumuna dayanır(Karaca, 2008: 59).

Yapı Geçerliği • • • Bir ölçme aracının teorik olarak ölçmek istediği yapıyı ölçmeye uygun olup olmadığına dair kanıt toplama çalışmasıdır. Yapı geçerliği çalışması genel olarak hem teori oluşturmada hem de teori test etmede kullanılabilir. Teorik yapı ile kastedilen yaratıcılık, zeka, kişilik gibi bireylerin doğasında var olan özelliklerdir. (Tan, 2005; 266).

Görünüş Geçerliği v Bir ölçme aracının, ölçmek istediği aracı ne derece ölçebilir göründüğüdür. v Genelde ölçme aracının görünüş geçerliği uzman incelemesiyle belirlenir. v Testin bütünü için gerekli olan görünüş geçerliği her bir soru içinde geçerlidir. v Testteki her bir soru ölçmek istediği özelliği ölçüyor görülmelidir.

Geçerlik ve Güvenirlik Kavramlarına yönelik bazı özellikler Ø Kredibilite (Credibility): Ortaya konulan kuramsal çerçevenin anlaşılır olduğunun sağlanması ve veriye dayalı üretilmesidir. Ø Yararlılık (Usefulness): Bir olguyu açıklamak için ortaya konulan son ürünün işe yararlılığıdır. Ø İnandırıcılık (Trustworthiness): Okuyanları araştırma bulgularına inandırabilme durumudur. – Glaser and Strauss, 1967

Geçerlik ve Güvenirlik Kavramlarına yönelik bazı özellikler Ø Gerçeklik değeri: Gerçeğin çok yönlü yapılandırılmasının “doğru (adequate)” temsili (bunlar araştırmacının yeniden yapılandırmaları olduğunu kabul ederek) Ø Uygulanabilirlik (Applicability): Uygunluk ve aktarılabilirlik Ø Tutarlılık (Consistency): Kullanılan yöntemin başka araştırmacılar tarafından izlenerek uygulanabilmesi Ø Nesnellik (Neutrality): Nötr olmak – Lincoln & Guba (1985) – Sandelowski (1986)

Geçerlik ve Güvenirlik Kavramlarına yönelik bazı özellikler Ø Karşılaştırılabilirlik: Araştırmacının çalışılan grubun özelliklerini ve ortaya çıkarılan kavramları açık bir biçimde betimlediğinde, benzer durumların farklı gruplarla da karşılaştırılabilirliği olası olacaktır. Ø Karşılaştırmalar için araştırma yönteminin, analitik kategorilerin ve çalışılan grubun özelliklerinin yeteri kadar anlatılması beklenir. » Le. Compte & Goetz (1982)

Kullanışlılık Ø Ekonomiklik Ø Hazırlama süresi Ø Uygulama süresi Ø Hazırlayıcı ve uygulayıcının nitelikleri Ø Cevaplayıcının nitelikleri Ø Uygulama kolaylığı Ø Puanların yorumlama kolaylığı

Madde Güçlük İndeksi Ø Bir test maddesinin güçlük derecesi, testin uygulandığı grup içerisinde doğru cevap verenlerin sayısının gruptaki toplam öğrenci sayısına oranıdır. Ø Madde güçlük indeksinin temel işlevi, sorunun zorluk ya da kolaylık derecesini göstermesidir (Başol, 2008: 139).

Madde Ayırt Edicilik İndeksi v Madde ayırt edicilik indeksi, maddenin iyi çalışıp çalışmadığını, ölçülen özelliğe sahip olanlar ile olmayanları ya da bilenler ile bilmeyenleri birbirinden ayırma derecesini gösterir (Karaca, 2008: 283). v Bunu yaparken üst gruptan doğru yapanlardan alt grupta doğru yapanlar çıkarılır ve iki gruptan herhangi birisinin kişi sayısına bölünerek bulunur.

Madde Analizi Örneği 100 Öğrenciye Uygulanan Test Soru 1 Doğru Cevap Verenler Soru 2 Doğru Cevap Verenler Üst Grup (İlk %27) (27) 25 20 Alt Grup (Son %27) (27) 15 15 Madde Güçlük Endeksi (p) Madde Ayırt Edicilik Endeksi (r)

Madde Ayırt Edicilik Endeksi (r) 0. 40 ve daha büyük Maddenin Değerlendirilmesi -Çok iyi bir madde (Ayırt etme gücü yüksek) -Oldukça iyi bir madde 0. 30 – 0. 39 arası 0. 20 – 0. 29 arası 0. 19 ve daha küçük -Üzerinde çalışılması ve düzeltilmesi gereken madde (Ayırt etme gücü orta derece) -Çok zayıf madde (Ayırt etme gücü düşük)

Madde Güçlük ve Ayırt edicilik İndekslerin Yorumu Madde ayırt güçlük edicilik Endeksi (p) endeksi (r) YORUM 0. 90 dan fazla Değer yok - Eğer etkili bir öğretim varsa tercih edilir 0. 60 -0. 90 r>0. 20 - Tipik iyi bir madde 0. 60 -0. 90 r<0. 20 - Üzerinde çalışılması gereken madde p<0. 60 r>0. 20 -Zor fakat ayırt edici bir madde (Eğer yüksek standartlara sahipseniz bu soru iyidir) p<0. 60 r<0. 20 -Zor ve ayırt edici olmayan madde (Bu madde kullanılamaz)

KAYNAKÇA Ø American Association for the Advancement of Science. (1993). Benchmarks for science literacy Ø (Project 2061). New York: Oxford University Press. Ø Anderson, C. W. , & Roth, K. J. (1989). Teaching for meaningful and self-regulated learning of science. In J. Brophy (Ed. ), Advances in research on teaching (vol. 1, pp. 35– 72) Greenwich, CT: JAI Press. Ø Bell, R. L. , Blair, L. M. , Crawford, B. A, & Lederman, N. G. (2003). Just do it? Impact of a science apprenticeship program on high school students’ understandings of the nature of science and scientific inquiry. Journal of Research in Science Teaching, 40(5), 487– 509.

KAYNAKÇA Ø Barab, S. , & Hay, K. (2001). Doing science at the elbows of experts: Issues related to the science apprenticeship camp. Journal of Research in Science Teaching, 38(1), 70– 102. Ø Bazler, J. , Spokane, A. , Ballard, R. , & Fugate, M. (1993). The Jason Project experience and attitudes toward science as an enterprise and career. Journal of Career Development, 20, 101– 112

KAYNAKÇA v v

KAYNAKÇA v v v

KAYNAKÇA v v v