TIP ETMNDE DR BELDE KASAP DEMR LME DEERLENDRME
TIP EĞİTİMİNDE DR. BELDE KASAP DEMİR
ÖLÇME - DEĞERLENDİRME • ÖLÇME: Herhangi bir niteliği gözlemek ve gözlem sonuçlarını sayı ya da başka sembollerle ifade etmektir. • DEĞERLENDİRME: Ölçme sonuçlarını bir ölçüt ile karşılaştırarak ölçülen nitelik hakkında bir değer yargısına varma sürecidir. Özellik Uygun ölçme aracı Ölçüm sonucu Ölçüt Uzunluk Metre 160 cm >150 cm olma Kütle Terazi 80 kg <90 kg olma Sıcaklık Termometre 23 C >25 C olma Başarı testleri 75 puan >60 puan olma
Tıp Eğitiminde Ölçme ve Değerlendirmenin Amaçları: • Önceden belirlenmiş öğrenme hedeflerine ulaşılıp ulaşılamadığının saptanması, • Öğrenmenin desteklenmesi, • Sertifikasyon ve yeterlilikler hakkında karar verilmesi, • Öğretim programının geliştirilmesi ve değerlendirilmesi, • Öğrenme sürecinin anlaşılması, • Gelecekteki performans hakkında öngörüde bulunması Amin & Khoo, 2004 Newble, 1998
Sınavların Risk Dereceleri • Biçimlendirici (formatif) değerlendirme düşük risk • Sürekli Ölçme-Değerlendirme düşük/orta risk • Karar verdirici (sumatif) değerlendirme yüksek risk Düşük Riskli Sınavlar Yazılı Yoklama Yüksek riskli sınavlar Geleneksel uzun vaka sınavı Çok sayıda kısa cevaplı sorular Çok istasyonlu OSKE
Ölçme İlkeleri – Geçerlik – Güvenirlik – Ayırdedebilirlik – Nesnellik – Kullanışlılık
Geçerlik • Bir ölçme aracının ölçmeyi amaçladığı özelliği başka herhangi bir özellik karıştırmadan doğru ölçebilme derecesidir (uygunluk ve güvenirlik) – Bir yazılı sınav yüksek okuma gücü ve kelime bilgisi gerektirecek şekilde hazırlanmışsa ve öğrencinin bu yetenekleri düşükse, konuyu iyi bilse bile zayıf alır.
Geçerlik Türleri • Görünüş Geçerliği: Niteliğin ölçüldüğünün öğrenciler ve eğiticiler tarafından kabul görmesi. • Kapsam Geçerliği: Öğrenim hedeflerinin ne ölçüde temsil edildiğini gösterir. • Ölçüt Bağıntı Geçerliği: Gelecekteki performansı öngörebilme yetisi • Yapı Geçerliği: Ölçme değerlendirme aracının amaç ile uyumu (ör. İletişim becerileri yazılı olarak ölçülemez)
Geçerliği Arttırmak İçin Öneriler: • Soruları belirlemek için belirtke tablosu* kullanın. • Önemli konulara odaklanın (ör. Çekirdek müfredat konuları) • İçerik ve öğrenme alanlarına yönelik (bilgi, beceri, tutum) geniş bir örneklem belirleyin. • Bir doktorun gerçekte yapmak zorunda kalacağı herhangi bir performans ile en çok örtüşen ölçme değerlendirme aracını seçin. • Çeşitli sınav yöntemlerini bir arada kullanın.
“Belirtke Tablosu” geçerli bir ölçme değerlendirme aracı geliştirmenin en can alıcı aşamasıdır ve atlanmamalıdır.
Geçerliği Arttırmak İçin Öneriler: • Soruları belirlemek için belirtke tablosu* kullanın. • Önemli konulara odaklanın (ör. Çekirdek müfredat konuları) • İçerik ve öğrenme alanlarına yönelik (bilgi, beceri, tutum) geniş bir örneklem belirleyin. • Bir doktorun gerçekte yapmak zorunda kaldığı herhangi bir performans ile en çok örtüşen ölçme değerlendirme aracını seçin. • Çeşitli sınav yöntemlerini bir arada kullanın.
Güvenirlik • Güvenirlik türleri: • Değerlendiriciler arası güvenirlik • Olgular arası güvenirlik • Test-tekrar test güvenirliği: Bir testi değişik zamanlarda alan kişilerin o testten aldıkları puan ya da puanlara göre aynı kişilerin grup içindeki sıraları değişmiyorsa söz konusu test güvenilirdir. • Güvenirlik için bazı kılavuz kaysayılar: • 0. 90= yüksek güvenirlik • 0. 80= orta güvenirlik • 0. 70= düşük güvenirlik
Ayırdedebilirlik • Bilenle bilmeyeni ayırt edebilme yeteneğidir.
Kullanışlılık • Ölçüm aracının geliştirilmesi, uygulanması ve puanlamasının da kolay ve masrafsız olması beklenir.
Nesnellik
r ec er ile fb og ni ti ak M et Does (yapar) Shows how Davranış alanı (gösterir) Knows how (nasıl oyapıldığını bilir) Knows (ne olduğunu bilir) Bilişsel alan Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S 63 -S 7.
SINAV SEÇENEKLERİ 10/30/2020
"Ne olduğunu bilir" ve "Nasıl yapıldığını bilir" basamaklarında ölçme değerlendirme 1. Sözlü Sınav 2. Yazılı Yoklama 3. Kısa Cevaplı Sorular 4. Çoktan Seçmeli Sorular 5. Çok Seçenekli Eşleştirme Soruları 6. Kilit Noktalar Testi Does (yapar) Shows how Davranış alanı (gösterir) Knows how (nasıl yapıldığını bilir) Knows (ne olduğunu bilir) Bilişsel alan
1. SÖZLÜ SINAV 10/30/2020
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Sözlü sınavlar yüksek riskli sınavlarda kullanılmamalı Güvenilir değil ve geçerliği düşük Sözlü sınavlar sınırdaki adayların geçme/kalma değerlendirmelerinde kullanılmamalı Daha güvenilir ölçme değerlendirme araçları kullanılmalıdır 10/30/2020
Yapılandırılmış Sözlüler • Klinik durum ya da olay açıkça tanımlanır. • Başlangıç soruları hazırlanır. • Her bir başlangıç sorusu için derinleştirici sorular ve ayrıntı soruları hazırlanır. • Verilecek cevapların nasıl skorlanacağı tanımlanıp gözlemci formuna yazılır.
Yapılandırılmış Sözlüler için Öneriler • Birden fazla gözlemci (sayı arttıkça güvenilirlik artıyor) • Sınavdan önce gözlemciler arası uzlaşma ve netlik • Soru sayısını sabit tutmak • İpucu ya da yönlendirici soru sormamak • Olası tüm doğru yanıtların gözlemci formunda var olması
Soru 1. • Hastanın kan basıncını ölçünüz. 1. Tansiyon arteriyel ile ilgili olarak hastaya bilgi verme 2 2. Hastanın TA ölçmeden önce 15 dk istirahati 7 3. Hasta kolu çıplak ve giysi sıkmamalı 2 4. Tansiyon aletinin manşonu dirsek üstü 2 cm’ye yerleştirilmeli ve kolu kavramalı 12 5. Civa basıncının 0 mm. Hg da olduğun emin olunmalı 1 6. Ölçmeden önce brakiyal arter palpe edilmeli ve steteskop yerleştirilmeli 11 7. Steteskop kulağa takılmalı ve manşon yavaş şişirilmeli 2 8. Manometre kalp seviyesinde olmalı 3 9. Sistololik basıncın ses duyuluncaya kadar yükseltilmesi 3 10. Manşonun havası saniyede 2 -3/mm indirilerek ölçülmesi 4 11. Sistolik ve diastolik basıncın ölçülmesi 2 12. TA ölçümünün yorumlanması ve HT tanımı yapılması 1 13. TA yüksek saptanırsa ölçümün tekrarlanması 1 14. Her iki koldan ölçüm yapılması 3 15. Yatarak ve ayaktan ölçülmesi 4
SORU 2: TA: 150/110 mm. Hg saptanan hastada hangi hastalıkları düşünürsünüz? 1. İdiyopatik ve esensiyel hipertansiyon 8 2. Kronik böbrek yetmezliği 8 3. Renovasküler HT 5 4. Primer Hiperaldestronizm 3 5. Kardiyovasküler HT 3 6. Diabetik nefropati 3 7. Feokromasitoma 3
2. YAZILI YOKLAMA 10/30/2020
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Uzun yazılı yoklama soruları, geçme kalma Güvenirliği zayıf ve kapsam geçerliği düşük sınavları gibi yüksek riskli sınavlarda kullanılmamalı Yerine çok sayıda kısa cevaplı sorular kullanılmalı Kapsam geçerliğini yükseltir Klinik senaryo temelli yazılı sınav soruları kuıllanılmalı Daha üst bilgi seviyesini ölçer Her soruda sadece birkaç önemli öğrenme Daha odaklanmıştır, güvenirliği daha hedefinin değerlendirilmesine yönelik yüksektir, puanlama daha kolaylaşır yazılı sınav soruları hazırlanmalı Yapılandırılmış ve önceden oluşturulmuş puanlama tablosu kullanılmalı 10/30/2020 Puanlamanın güvenirliğini arttırır
Mutlaka kullanılacaksa. . • ODAKLANMAMIŞ YAZILI YOKLAMA SORUSU (ÖNERİLMEYEN). . . • Aydınlatılmış onam ve onun mediko-legal yönlerini sağlık hizmetleri bağlamında tartışınız. . • ODAKLANMIŞ YAZILI YOKLAMA SORUSU (ÖNERİLEN). . . • a. Doktorun aydınlatılmış onam almadaki rol ve sorumluluklarını anlatınız. • b. Aydınlatılmış onamın rutin olarak istenmediği durumlara örnekler (en fazla 3 örnek) veriniz. . . • c. Aydınlatılmış onamın geçersiz sayılabileceği durumlara örnekler (en fazla 3 örnek) veriniz. . . 10/30/2020
3. KISA CEVAPLI SORULAR 10/30/2020
Örnek • Olgu Sunumu Bir saat önce doğan, takipne ve subkostal çekilmeleri olan bir bebeğin 35. haftada C/S ile, annenin kontrol edilemeyen kan basıncı yüksekliği nedeni ile doğurtulduğu, annede gestasyonel diyabet ve preeklampsi saptanmış olduğu öğrenildi. Soru 1: Bu vaka için olası tanılarınız nelerdir? (2 tanı yeterli) Soru 2: Her bir tanınız için birer primer patofizyolojik mekanizma yazınız. Soru 3: Bu durumda yapılabilecek tetkikler neler olmalıdır? (3 tetkik yeterli) Cevap 1: Hyalen membran hastalığı, yenidoğanın geçici taşipnesi (2 puan) Cevap 2: Sürfaktan eksikliği, akciğer sıvısının geri emiliminin yetersizliği (2 puan) Cevap 3: Tam kan sayımı, akciğer grafisi ve arteryel kan gazları 10/30/2020
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Uzun cevaplı klasik yazılı soruların alternatifi olarak kullanılmalı Gerek kapsam geçerliliği, gerekse de sınavın güvenirliği daha da yükselir Sınav için belirtke tablosu oluştur Değerlendirilmesi gereken içerik daha iyi temsil edilir; diğer soru şekilleriyle örtüşme ihtimali azalır Geniş bir bilgi alanından sınav yapılıyorsa çoktan seçmeli sorular kullanılmalıdır Çoktan seçmeli sınavlar geniş bir bilgi alanını test etmek için daha uygundur Yapılandırılmış ve önceden belirlenmiş puanlama tablosu kullan Puanlamanın güvenirliğini arttırır Sorular olgu senaryoları üzerinden olmalıdır Klinik yeterlilik daha iyi ölçülür 10/30/2020
4. ÇOKTAN SEÇMELİ SORULAR 10/30/2020
5. ÇOK SEÇENEKLİ EŞLEŞTİRME SORULARI (ÇES) 10/30/2020
İÇERİK • Yeni bir nesnel değerlendirme yöntemidir. • Tek bir konu hakkındadır. • Ezberi önler. • Uzun bir seçenek listesi sunar. • "Seçenekli eşleştirme konuları" olarak da bilinir 10/30/2020
Örnek • Konu: boğaz ağrısı olan olgular • Aşağıdaki her bir senaryo için olası etkeni seçiniz. • • Senaryo 1: 18 yaşındaki bir erkek çocuğu aile hekimine boğaz ağrısı şikayeti ile başvurur. Aynı zamanda 4 gündür devam eden ateş ve halsizlik şikayetleri de vardır. Muayenesinde servikal lenf bezlerinin büyümüş olduğu saptanır. Kız arkadaşında da benzer belirtiler vardır. Periferik yaymasında atipik lenfositler saptanır. Senaryo 2: 7 yaşında erkek çocuk, ani başlayan boğaz ağrısı ve ateş yüksekliği nedeni ile getirilir. Muayenesinde tonsilllerinin şiş ve beyaz eksüda ile kaplı olduğusaptanır. Lenf bezleri şiş ve ağrılıdır. Sınıf arkadaşlarının çoğunda da benzer bulgular saptanmıştır. Tam kan sayımı sonucunda beyaz küre sayısı: 18. 000/mm 3 ve %84 nötrofil mevcuttur. a. b. c. d. e. Adenovirus Corynebacterium diphteria Coxsackie virus Cytomegalovirus Ebstein-Barr virus Cevaplar: Soru 1: e, Soru 2: i 10/30/2020 f. g. h. i. j. Haemophilus influenza Influenza virus Mycoplasma pneumoniae Streptococcus pyogenes Rhinovirus
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Hem temel hem klinik bilim sınavlarında kullanılabilir. “Nasıl yapıldığını bilir” basmağını değerlendirir. Madde analizi (zorluk ve ayrıt ettiricilik) uygun olur. Kalitenin sağlanmasında önemli 10/30/2020
6. KİLİT NOKTALAR TESTİ 10/30/2020
İÇERİK • Kanada Tıp Konseyi tarafından lisans sınavları için geliştirilmiştir. • Senaryo temelli, yazılı bir sınavdır. • Öğrencinin verilen senaryoya göre önceden belirlenen kilit noktalara ulaşması için sorular sorulur. 10/30/2020
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Klinik karar verme becerisini “Nasıl olduğunu bilir” basmağını değerlendirmek için ÇSS ve ÇES ile beraber değerlendirir. kullanın. Orta derecede riskli sınavlarda daha kısa KNT kullanın 10/30/2020 Daha az emek ile kabul edilebilir geçerlik sağlar.
"Nasıl yapıldığını gösterir" basamağında ölçme değerlendirme 1. Uzun Vaka 2. Kısa Vaka 3. Objektif Yapılandırılmış Klinik Sınav (OSCE) Does (yapar) Shows how Davranış alanı (gösterir) Knows how (nasıl olduğunu bilir) Knows (ne olduğunu bilir) Bilişsel alan
7. UZUN VAKA 10/30/2020
İÇERİK • Standardize olmayan gerçek bir olgu kullanılır. • Aday hastayı muayene ederken gözlenebilir. • İki vaka ile yapılan sınavların güvenirliği 0. 50. En düşük kabul edilebilir güvenirlik 0. 85 10 vaka ve 200 dk gerekiyor. 10/30/2020
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Bitirme sınavı gibi yüksek riskli sınavlarda tek bir uzun vaka kullanmaktan kaçının. Uzun vakayı biçimlendirici değerlendirme ve geribildirim için kullanın. Uzun vaka ile yapılan sınavlarda geçerlik ve güvenirliğin arttırılması için: • Vaka sayısı arttırılmalı • Değerlendirilen yeterliliklerin sayısı arttırılmalı • Her istasyonda birden fazla değerlendirici bulunmalı “Nasıl olduğunu bilir” basmağını değerlendirir. Öğrenciler gerçek hastalar ile öğrenmeye devam ederler. Sınavdan daha güçlü ve genellenebilir sonuçlar alınabilir. 10/30/2020
8. KISA VAKA 10/30/2020
İÇERİK • Standardize olmayan üç ya da dört gerçek hasta ve bir ya da iki değerlendiriciyi içerir. • Genellikle tüm vakalar için ortak bir puanlama tablosu kullanılır. • Başarılı ve zayıf öğrencilerin ayırt edilmesinde uzun vakalara göre daha iyidir. 10/30/2020
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi PACES veya OSKE’nin içinde standardize kısa vakalar kullanın. Daha yüksek güvenirlik ve standardizasyon sağlar. Farklı yeterlilikler ve farklı klinik problemlerin test edilebileceği benzer olmayan vakalar seçin. Daha yüksek geçerlilik ve daha çok genellenebilirlik sağlar. . 10/30/2020
9. OBJEKTİF YAPILANDIRILMIŞ KLİNİK SINAV (OSCE) 10/30/2020
• • OSCE (Objective structured clinical examination) OSPE (Objective structured practical examination) GOSCE(group objective structured clinical examination) YOKS (Yapılandırılmış objektif klinik sınav) NYKS (Nesnel yapılandırılmış klinik sınav) NÖKS (Nesnel örgün klinik sınav) YKS (Yapılandırılmış klinik sınav) 47
İstasyon 1 İstasyon 2 İstasyon 3 • Belirli sayıda durak • Her durakta önceden belirlenmiş yeterliklerin değerlendirilmesi • Duraklar için önceden belirlenmiş süre • Her adayın aynı duraklardan geçmesi • Zil ile uyarı-durak değiştirme • Her oda kapısında ve içeride adaydan istenenlerin yazılı olması
Örnek - 1 • Öğrenci Yönergesi: • Bu durakta ; • Tanımlanan hastaya yönelik fizik muayene yapma beceriniz daha önce öğretilen özelleştirilmiş genel beceri basamakları üzerinden değerlendirilecektir. • İstenen fizik muayeneyi yaparken ne yaptığınızı eğiticinize açıklayınız ve bulduğunuz patolojik bulguları tanımlayınız. • Açıklama yaparken değerlendirici / gözlemci eğiticinizin size tepki vermesini, yaptıklarınızın ve açıklamalarınızın doğrulanmasını/red edilmesini beklemeyiniz. • OLGU: 25 yaşındaki Ahmet Yıldırım halı sahada futbol oynarken diz travması geçirmiştir. Bağ yaralanması olup olmadığını anlamak için hastanın diz muayenesini yapınız. 10/30/2020
İÇERİK • Çeşitli test yöntemlerini kapsayan bir ölçme-değerlendirme organizasyonu • Çok sayıda yeterliğin sınanmasını sağlar. • Güvenirlik ve kapsam geçerliği yüksektir. • Neleri ölçer: • İletişim becerileri • Öykü alma • Fizik muayene • El becerileri • Veri değerlendirme • Tedavi planlama • Tutumlar (bilgi verme, açıklama yapma) 10/30/2020
DEĞERLENDİRME FORMU Yeterli Kısmen yeterli Y etersiz Hastaya ilk yaklaşım (kendini tanıttı, ne yapacağını açıkladı) 2 1 0 İnspeksiyon yaptı (sağlam taraf ile karşılaştırma, şişlik ve renk değişikliği, defromite) 2 1 0 Palpasyon yaptı (Patella mobilizasyonu, balltoman, bağ trasesi palpasyonu) 2 1 0 Özel testler: Ön çapraz bağ • Lachman • Öne çekme 4 2 0 10/30/2020
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Bir OSKE en az 14 -18 istasyondan oluşmalıdır. Kabul edilebilir bir güvenlik seviyesine ulaşmak için gerekir. Bütüncül değerlendirme ölçeği kullanın ve Bütüncül değerlendirme ölçeği de yoğun değerlendiricileri eğitin. emek gerektiren kontrol listeli notlandırma tablosu kadar başarılıdır. Hastalar da değerlendirmeci olarak puan versinler 10/30/2020 Uzman gözlemci ihtiyacını azaltır, eşdeğer sonuçlara ulaşılır
"Yapar" basamağında ölçme değerlendirme 1. Mini Klinik Değerlendirme Sınavı (Mini-KEDS) 2. Uygulama Becerilerinin Doğrudan Gözlemlenmesi 3. Klinik Çalışmaların Değerlendirilmesi (KÇD) 4. Kontrol Listesi 5. 360 Derece Değerlendirme 6. Karne (Seyir Defteri) 7. Gelişim Dosyası (Portfolyo) Does (yapar) Shows how Davranış alanı (gösterir) Knows how (nasıl olduğunu bilir) Knows (ne olduğunu bilir) Bilişsel alan
9. MİNİ KLİNİK DEĞERLENDİRME SINAVI (MİNİ-KEDS) 10/30/2020
İÇERİK • Farklı zamanlarda, farklı ortamlarda, farklı hastalarla, farklı değerlendiricilerin gözetiminde gerçek klinik durumda hasta-doktor görüşmesini 15 -20 dk izlemesi ve geribildirim vermesi sürecidir. • Kabul edilebilir güvenirlik için 4 -6 uygulama gereklidir. • Güvenirlik ve tekrar edilebilirliği yüksektir. • Amerikan İç Hastalıkları Yeterlik Kurulu tarafından UZMANLIK EĞİTİMİ ALMAKTA OLAN DOKTORLARIN 6 temel yeterliliği değerlendirmek üzere geliştirilmiştir. • • • Tıbbi görüşme becerileri Fizik muayene becerileri İnsani yaklaşım / profesyonellik Klinik karar verme Organize ve etkin olabilme
Mini-KEDS nasıl yapılır? • Hastadan öğrencinin görüşmesi için onay alınır. • Öğrenci hastayla görüşür. • Değerlendirici görüşmeyi; • İzler • Skorlandırır • Geribildirim verir • Mini-KEDS formunun bir nüshasını öğrenciye, bir nüshasını fakülteye verir. 56
10/30/2020
10. 360 derece değerlendirme 10/30/2020
İÇERİK • Sorular doğrudan yapılan performansla ilgili olmalı Öğretim üyesi • 15 -25 dakika soru cevaplama süresi olmalı Akran kendisi • Genellikle 15 -30 soru olmalı • Açık uçlu sorular önerilmektedir Sağlık çalışanları Uzmanlar
360 derece değerlendirmede iletişim ve profesyonellik yeterlilik alanları için değerlendiricilerin vermiş oldukları ortalama puanların sıralaması (Akdeniz üniversitesi, 2007) 60
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi 360 -derece değerlendirmenin adayların yataklı servis görevleri sırasında uygulanması Öğrencilerin gerçek performanslarını gerçek ortamlarda değerlendirmek 360 -derece değerlendirmeyi meslektaşları Bu özelliklerin diğer mevcut araçlar ile çalışma uyumu, ulaşılabilirlik, iletişim ölçülmesi zordur. ve profesyonel davranış gibi ölçümü zor olan özelliklerin değerlendirmesinde kullan 10/30/2020
11. Portfolyo/ öğrenci karnesi
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Öğrenci karnesini adayların yataklı servis görevleri sırasında uygulanması Öğrencilerin gerçek performanslarını gerçek ortamlarda değerlendirmek Başarı hedefini (görülmesi gereken vaka sayısı, yapılması gereken işlem) uzman kişilerin fikir birliği ile sağlayın. Gelecekte gerçek performansın geçerliğinin sağlanması için gerekli Portfolyoyu biçimlendirici değerlendirmenin bir parçası olarak kullanın. Öğrenmeyi destekler. 10/30/2020
Başarılı Uygulamalar İçin Öneriler: Ö-D öğrenme hedeflerine uygun olarak planlanmalıdır. Ö-D ile anlamlı ve geçerli sonuçlar elde edilmelidir. Ö-D yöntemleri güvenilir ve genellenebilir sonuçlar sağlamalıdır. Ö-D amaca yönelik olmalıdır. Miller piramidindeki her basmağı içerecek şekilde çok çeşitli Ö-D yöntemi kullanılmalıdır. • En yüksek kapsam geçerliliği öğrenme hedeflerini içeren uygun belirtke tabloları oluşturulması ile sağlanabilir. • Kabul edilebilir güvenirliğe ulaşabilmek için öğrencilere çeşitli vaka örnekleri ve senaryolar içeren sınavlar yapılmalıdır. • Sınavlar mutlak ölçüt temelli olacak şekilde oluşturulmalıdır. • • • 10/30/2020
2015 -16 PEDİATRİ STAJ SINAVLARI 1. Mini-KEDS 2. Uygulama becerilerinin doğrudan değerlendirilmesi 3. 360 -derece değerlendirme 4. Portfolyo/öğrenci karnesi ? ? 1. OSKE 2. Çok sayıda kısa vaka ve değerlendiriciden oluşan yapılandırılmış sınavlar 1. Klinik durumların temel alındığı çoktan seçmeli sorular 2. Çok Seçenekli Eleştirme Soruları 3. Kısa cevaplı sorular 30 40 Does (yapar) 30 Shows how Davranış alanı (gösterir) Knows how (nasıl olduğunu bilir) Knows (ne olduğunu bilir) Bilişsel alan
10/30/2020
ÇOKTAN SEÇMELİ SORULAR 10/30/2020
İÇERİK • Yanıtın seçenekler ile sınırlandırıldığı objektif bir Ö-D aracıdır. • 4 saatlik ÇSS için güvenirlik >0. 90 (ihtiyacın çok üzerinde, Val Wass et al. , 2001) • 90 soruluk ÇSS'ın tekrarlanabilirlik değeri 0. 88 (Norcini, 2002) • Eğiticilerin eğitimi soru kalitesini arttırır. • Çoktan seçmeli bir sorunun bileşenleri: • Problemin tanımlanması • Soru cümlesi • Cevap 10/30/2020
ÇSS Türüne Özgü Temel Terimler • Test maddesi: Bir testte bağımsız olarak kendi başına puanlanabilen en küçük birimdir. • Test maddesi, madde kökü ile doğru cevap ve çeldiricilerden oluşan seçeneklerden oluşur. • Örnek: Sindirim kanalı gelişirken primitif bağırsağın vitellus kanallı ile bağlantısı tam kapanmazsa hangi anomali oluşur? a. b. c. d. e. Test maddesi 10/30/2020 Özofagus atrezisi Pilor stenozu Meckel divertikülü Gastroşizis Omfalosel Seçenekler (doğru cevap ve çeldiriciler) Madde kökü
AVANTAJLARI • Kapsamlı olarak bilgi sınanabilir. • Nispeten kısa bir zaman dilimi içinde büyük miktarda bilginin ölçme ve değerlendirmesine olanak sağlar. • Sorularda klinik durum veya senaryo kullanılarak sınavın geçerliği arttırılabilir. • Güvenirlik ve objektifliği yüksektir. • Puanlandırmanın bilgisayar ortamında yapılması mümkündür. • Sonuçlar kısa sürede alınır. 10/30/2020
DEZAVANTAJLARI • İyi kalitede çoktan seçmeli soru hazırlamak güç olabilir. • İstemeden ipucu verme riski vardır. • Teknik yanlışlara eğilim yüksektir. • İyi-doğru/yanlış soruları geliştirmek zordur ve daha düşük seviyedeki bilgiyi test etmeye yöneliktir. • Üst öğrenmenin (analiz, sentez, değerlendirme) sınanması güçtür. 10/30/2020
Tavsiye Edilen Uygulamalar Etki ve Gerekçesi Belirtke tablosu kullanın Kapsam geçerliliğini yükseltir ÇSS'ları hasta hikayesi veya klinik bir senaryo üzerinden oluşturun "Nasıl olduğunu bilir" basamağındaki daha üst düzey bilginin değerlendirilmesini sağlar ÇSS'ları kullanmadan önce her bir soru için Eğer varsa soru içindeki yanlışlığın standart kontrol listesi* ile soruyu saptanmasını kolaylaştırır ve etkin geri değerlendirin bildirim sağlar Sizinle aynı düzeyde birinin soruları gözden geçirmesini isteyin Fark edilmemiş olası yanlışların saptanmasını sağlar ÇSS'de madde (zorluk ve ayırt edicilik) analizi yapın* Kaliteyi güvence altına alır Doğru/yanlış tipindeki sorulardan kaçının Sınavın öğrenme üzerindeki negatif etkilerini azaltır 10/30/2020
ÇOKTAN SEÇMELİ SORU HAZIRLAMA KILAVUZU 10/30/2020
ÇSS Hazırlarken Kaçınılması Gereken Terimler • Soruda belirsizlik yaratması, anlaşılmayı zorlaştırması ya da ipucu vermesi nedeniyle kaçınılması gereken terimler: • • • 10/30/2020 Asla Her zaman Bazen Genellikle Yaygın olarak Çoğunlukla Benzer şekilde Olabilir Olma ihtimali vardır Görülebilir Mümkündür (belki)
Çoktan Seçmeli Madde Türleri I. Tek bir doğru cevap isteyen maddeler II. En doğru cevabı isteyen maddeler III. Bileşik yanıtlı maddeler IV. Kökü eksik cümle olan maddeler
IV KÖKÜ EKSİK CÜMLE OLAN MADDELER Kökü eksik cümle olan maddelerde, madde kökü ile seçeneklerin her biri birleştirildiğinde dilbilgisi ve anlam bakımından tan bir cümle ortaya çıkmalıdır. Toplum bazlı çalışmalar otozomal resesif durumların otozomal dominant durumlardan daha nadir olduğunu göstermiştir. Bu sıklık farkının nedeni: a. Popülasyonda resesif genlerin nadir olmasıdır. b. Bir etki oluşturmak için 2 gene ihtiyaç duyulmasıdır. c. Resesif gen ürününde tam supresyon olmasıdır. d. Cinse bağlı gen ekspresyonunun olmasıdır. e. Genomik imprinting olmasıdır.
ÇSS Hazırlarken Uyulması Gereken Genel Kurallar
ÇSS Hazırlarken Uyulması Gereken Kök ile İlgili Kurallar
ÇSS Hazırlarken Uyulması Gereken Kurallar Soru kökü olumsuz ise: • • Kökü olumsuz yapan ifadenin altı çizilerek ya da büyük harfle yazılarak belirtilmelidir. Görece düşük güçlük düzeyinde olur. Cevaplayıcının doğru cevabı vermiş bulmuş olması istenilen bilgiye sahip olduğunun güvencesi olmaz. Seçeneklerde olumsuz sözcük ya da ifade bulunmamalıdır (Aksi halde soru kelime oyununa dönüşür).
ÇSS Hazırlarken Uyulması Gereken Kurallar • Birçok soru yazarı maddeyi güçleştirmenin onun anlatımını belirsizleştirmek ile mümkün olduğunu düşünür. • Oysa, bir soru(madde)nun güçlüğü, üst düzeydeki bir davranışı ölçmesi ya da çeldiricilerin doğru cevaba yakın olması ile ilişkilidir.
Özetle soru kökü: 1. Daha seçenekleri okumadan fark edilen tek ve temel bir fikir içermelidir. 2. Yoruma açık, belirsiz ifadeler içermemelidir. 3. Yalın, açık ve basit bir dille ifade edilmelidir. Ortalama bir öğrencinin anlayabileceği dille yazılmış olmalıdır. 4. İlgisiz ve gereksiz ifadeler ile kalabalıklaştırılmamalıdır. 5. Mümkünse maddenin büyük bir kısmını oluşturmalıdır Aksi takdirde sözcük/sözcükler seçeneklerde tekrarlanır. 6. Şıklar kapatılsa bile yanıtlanabilmelidir.
ÇSS Hazırlarken Uyulması Gereken Seçenekler ile İlgili Kurallar
Özetle seçenekler: 1. “HEPSİ”, “HİÇBİRİ” gibi seçenekler içermemelidir. 2. Eşanlamlı, karşıt anlamlı ifadeler içermemelidir. 3. Benzer yapı ve uzunlukta olmalıdır. 4. Birbirlerini içermemelidir. 5. Sayısal ise sıralı olmasına özen gösterilmelidir. 6. Gereksiz sözler ile uzatılmamalıdır.
10/30/2020
10/30/2020
ÇSS’de Değerlendirme • Test puanlarının analizi • • En yüksek ve en düşük puan arası fark Aritmetik ortalama, ortanca Standard sapma Çarpıklık- basıklık • Ortanca > ortalama test öğrencilere kolay gelmiş
Madde Analizi • Madde güçlüğü: • Soruya verilen doğru cevap oranıdır. • 0 -1 arasında değer alır. • Herkesin yanıtladığı sorularda güçlük indeksi “ 1”, kimsenin yanıtlayamadığı sorularda indeks “ 0”dır. Madde güçlüğü (pj) Anlamı 0. 00 -0. 20 Çok zor bir madde 0. 21 -0. 40 Zor bir madde 0. 41 -0. 60 Ortalama güçlükte bir madde 0. 61 -0. 80 Kolay bir madde 0. 81 -1. 00 Çok kolay bir madde
• Madde ayırıcılık gücü indeksi: • Soru puanları ile test puanları arasındaki korelasyondur. • (-1)-(+1) arasında değer alır. Madde ayırıcılık gücü indeksi (rjx) (-) Anlamı Kullanılmaz 0. 00 -0. 20 Ayırt edici olmayan bir madde 0. 21 -0. 30 Düzeltilerek kullanılabilir bir madde 0. 31 -0. 40 Kabul edilebilir bir madde 0. 41 -0. 55 Ayırt edici, iyi bir madde 0. 56 ve üstü Çok iyi bir madde
10/30/2020
Kaynaklar 1. Eğiticilerin Eğitimi Kursu Ders slideları (Ocak 2014). 1. Dr. Ayşen Melek Aytuğ Koşan 2. Dr. Nazan Karaoğlu 2. Tıp Eğitiminde Ölçme Değerlendirme için Pratik Rehber. Amin Z, Seng CY, Eng KH 3.
Teşekkür ederim
- Slides: 122
