Bab 24 Metrik dan Kalibrasi Metrik dan Kalibrasi

  • Slides: 55
Download presentation
Bab 24 Metrik dan Kalibrasi

Bab 24 Metrik dan Kalibrasi

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Bab 24 METRIK DAN KALIBRASI A. Parameter Kemampuan dan Butir

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Bab 24 METRIK DAN KALIBRASI A. Parameter Kemampuan dan Butir 1. Pendahuluan Estimasi dilakukan terhadap parameter kemampuan dan parameter butir Parameter kemampuan a, b, c Parameter butir

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Metrik pada parameter (a) Parameter butir diketahui • Jika

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Metrik pada parameter (a) Parameter butir diketahui • Jika parameter butir diketahui, maka parameter butir berada pada metrik tertentu • Estimasi parameter kemampuan akan terletak pada metrik tertentu itu (b) Parameter kemampuan diketahui • Jika parameter kemampuan diketahui, maka parameter kemampuan berada pada metrik tertentu • Estimasi parameter butir a, b, dan c, akan terletak pada metrik tertentu itu

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Analogi • Untuk memahami metrik, sebagai analogi kita melihat ukuran

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Analogi • Untuk memahami metrik, sebagai analogi kita melihat ukuran panjang • Ukuran panjang dapat dinyatakan dalam inci dan cm • Jika parameter yang diketahui dinyatakan dalam inci maka parameter yang diestimasi ikut dinyatakan dalam inci Di sini, metrik yang digunakan adalah inci • Jika parameter yang diketahui dinyatakan dalam cm maka parameter yang diestimasi ikut dinyatakan dalam cm Di sini, metrik yang digunakan adalah cm

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 3. Indeterminasi • Jika parameter kemampuan dan parameter butir kedua-duanya

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 3. Indeterminasi • Jika parameter kemampuan dan parameter butir kedua-duanya tidak diketahui, maka estimasi mereka menjadi indeterminasi • Jika 1 dan a 1, b 1 pada a( – b) adalah hasil estimasi, maka 2 = k 1 + d b 2 = kb 1 + d a 2 = a 1 / k juga merupakan hasil estimasi • Melalui substitusi, kita peroleh kesamaan mereka a 2 ( 2 – b 2) = (a 1 / k)(k 1 + d – kb 1 – d) = (a 1 / k) k ( 1 – b 1) = a 1 ( 1 – b 1)

---------------------------------------Metrik dan Kalibrasi --------------------------------------- • Analogi • Untuk memahami metrik, sebagai analogi kita melihat

---------------------------------------Metrik dan Kalibrasi --------------------------------------- • Analogi • Untuk memahami metrik, sebagai analogi kita melihat ukuran panjang • Ukuran panjang dapat dinyatakan dalam inci dan cm • Pada estimasi indeterminasi, hasil ukurnya boleh dalam inci dan boleh juga dalam cm (tidak ditentukan) • Jika kita menentukan metrik cm, maka estimasi dalam inci dapat diubah menjadi cm melalui, misalnya b 2 (inci) = kb 1 (cm) dengan k = 2, 54 • Ubahan ini dinamakan kalibrasi yakni metrik inci dikalibrasikan ke metrik cm

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 4. Penentuan metrik • Pada dasarnya, kita bebas memilih suatu

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 4. Penentuan metrik • Pada dasarnya, kita bebas memilih suatu metrik tertentu sebagai patokan • Salah satu pilihan adalah metrik dengan nilai baku (rerata dan simpangan baku) tertentu, misalnya, salah satu di antara Parameter b Nilai baku = 0 = 1 b = 0 b = 1 • Pada nilai baku, bentangan nilai teoretis adalah dari – sampai + tetapi pada umumnya yang digunakan adalah negatif, nol, positif dari – 4 sampai + 4

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 5. Kalibrasi • Transformasi suatu hasil estimasi ke metrik yang

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 5. Kalibrasi • Transformasi suatu hasil estimasi ke metrik yang sudah ditentukan dikenal sebagai kalibrasi • Kalibrasi dapat dilaksanakan melalui penyetaraan hasil estimasi ke metrik yang ditentukan (sebagai analogi: inci ke cm, foot ke m, atau cm ke inci) • Penyetaraan yang banyak digunakan adalah penyetaraan dengan responden gandeng atau butir gandeng • Responden gandeng terdapat pada kalibrasi butir sedangkan parameter butir gandeng terpada kalibrasi parameter kemampuan • Dikenal sejumlah metrik beserta skala yang digunakannya

---------------------------------------Metrik dan Kalibrasi --------------------------------------- B. Metrik pada Hasil Estimasi 1. Macam Metrik • Ada

---------------------------------------Metrik dan Kalibrasi --------------------------------------- B. Metrik pada Hasil Estimasi 1. Macam Metrik • Ada sejumlah metrik dan skala yang digunakan pada estimasi parameter indeterminasi • Metrik ini pada umumnya ditentukan melalui transformasi (kalibrasi) dalam bentuk 2 = k 1 + d b 2 = kb 1 + d a 2 = a 1 / k dengan bermacam nilai k dan d • Beberapa metrik di antara macam metrik itu dikemukakan dibahas di sini

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Skala Logit pada Model Rasch oleh Hambleton dan Swaminathan

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Skala Logit pada Model Rasch oleh Hambleton dan Swaminathan • Logit adalah logaritma terhadap karakteristik butir yang memiliki fungsi eksponensial ln e( – b) sehingga skala yang digunakan adalah e Jarak e 1 = 2, 718 Satuan = logit Dengan demikian skala logit adalah skala interval

---------------------------------------Metrik dan Kalibrasi --------------------------------------- • Satuan ini berasal dari log-odd sukses pada model Rasch

---------------------------------------Metrik dan Kalibrasi --------------------------------------- • Satuan ini berasal dari log-odd sukses pada model Rasch • Untuk dua responden dengan 1 dan 2 ln Os 1 = 1 – b 1 ln Os 2 = 2 – b 2 Selisih kemampuan mereka pada butir sama yakni pada b 1 = b 2 adalah 2 – 1 = ln Os 2 – ln Os 1 = ln (Os 2 / Os 1) Jika 2 – 1 = 1 maka ln (Os 2 / Os 1) = 1 yakni (Os 2 / Os 1) = e 1 = 2, 718 Jarak 1 logit adalah sebesar e 1 atau 2, 718 • Hal yang sama berlaku untuk parameter b

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 3. Skala RIT • Salah satu skala pada kemampuan dan

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 3. Skala RIT • Salah satu skala pada kemampuan dan taraf sukar butir adalah RIT (Rasch un. IT) • Besaran RIT adalah 10 RIT = 1 logit 1 RIT = 0, 1 logit • Dengan demikian maka 1 RIT = 0, 2718 • Dikembangkan oleh NWEA (Northwest Evaluation Association) RIT = 200 + 10 logit RIT

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh Hasil estimasi memiliki satuan logit Misal logit = 2

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh Hasil estimasi memiliki satuan logit Misal logit = 2 logit maka RIT = 200 + 10 logit RIT = 200 + (10)( 2) RIT = 180 RIT Misal lain logit = 2, 5 logit maka RIT = 200 + 10 logit RIT = 200 + (10)(2, 5) RIT = 225 RIT NWEA menyusun dan merinci Learning Continuum untuk bahasa dan matematika untuk sekolah dari 150 RIT sampai 300 RIT

---------------------------------------Metrik dan Kalibrasi --------------------------------------- § Skala RIT pada NWEA Dari log odd sukses ditemukan

---------------------------------------Metrik dan Kalibrasi --------------------------------------- § Skala RIT pada NWEA Dari log odd sukses ditemukan untuk model Rasch dalam satuan logit Dengan 1 logit = 10 Rit serta menggunakan dasar 200, NWEA menetapkan

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh Seorang siswa mengerjakan butir dengan taraf sukar butir b

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh Seorang siswa mengerjakan butir dengan taraf sukar butir b = – 4 dengan probabilitas jawaban betul 0, 75 Kemampuan siswa ini adalah Pada NWEA, siswa tingkat 2 sampai 10 mencapai kemampuan 150 sampai 300 Rit

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 4. National Reference Scale (NRS) dari Rentz dan Bashaw Dengan

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 4. National Reference Scale (NRS) dari Rentz dan Bashaw Dengan tujuan agar rentangan menjadi lebar serta tidak terdapat niliai negatif, metrik ini menetapkan rerata (d) = 200 simpangan baku (k) = 10 Kalibrasi dilakukan melalui 10 + 200 Untuk nilai dari – 4 sampai + 4, rentangan menjadi rerata : 200 rentangan : 160 sampai 240

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 5. Skala W pada model Rasch oleh Woodcok-Johnson pada Psycho-Educational

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 5. Skala W pada model Rasch oleh Woodcok-Johnson pada Psycho-Educational Battery Kalibrasi yang digunakan adalah Karena maka W = 0, 455 C 1 + C 2 Untuk C 1 = 20 dan C 2 = 500 diperoleh W = 9, 1 + 500 Dengan cara sama diperoleh juga Wb = 9, 1 b + 500

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 6. Skala WIT pada model Rasch ubahan W oleh Wright

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 6. Skala WIT pada model Rasch ubahan W oleh Wright Benjamin Wright mengubah skala W serta memberikannya satuan WIT Ubahan Wright adalah Perhitungan lebih lanjut menghasilkan skala WIT W = 9, 1 + 100 Dengan cara yang sama, skala WIT pada parameter b adalah Wb = 9, 1 b + 100

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh 1 Kemampuan pada beberapa metrik – 2, 40 –

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh 1 Kemampuan pada beberapa metrik – 2, 40 – 1, 12 – 0, 14 0, 84 2, 12 NRS 176, 0 188, 8 198, 6 208, 4 221, 2 W WIT 478, 160 489, 808 498, 726 507, 644 107, 644 519, 292 119, 292 Contoh 2 Taraf sukar butir pada beberapa metrik b – 2, 28 – 1, 07 – 0, 25 1, 31 2, 52 NRS 177, 2 189, 3 197, 5 213, 1 225, 2 Wb WIT 479, 252 490, 263 497, 725 511, 921 111, 921 522, 932 122, 932

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 7. Skala Ujian Akhir Nasional tahun 2004 • UAN (Ujian

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 7. Skala Ujian Akhir Nasional tahun 2004 • UAN (Ujian Akhir Nasional) tahun 2004 menggunakan skala di antara 0 sampai 10 • Parameter kemampuan pada UAN diubah menjadi 0 < kemampuan < 10 • Sementara itu, keberhasilan pada ujian yakni proporsi jawaban betul diubah juga menjadi 0 < keberhasilan < 10 N 10 1, 0 0, 5 0 4 0 0 +4 10 n

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 8. Satuan Lexile (L) Penggunaan Khusus digunakan pada bacaan. Kemampuan

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 8. Satuan Lexile (L) Penggunaan Khusus digunakan pada bacaan. Kemampuan membaca dinyatakan dalam satuan Lexile. Kesukaran bacaan juga dinyatakan dalam satuan Lexile. Level Skala Satuan Lexile memiliki level skala interval Rentangan Kemampuan membaca serta kesukaran bacaan merentang dari Di bawah 200 L sampai di atas 1700 L

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Kriteria Kemampuan Membaca dan Kesukaran Bacaan Berdasarkan kecocokan di antara

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Kriteria Kemampuan Membaca dan Kesukaran Bacaan Berdasarkan kecocokan di antara kemampuan membaca dan kesukaran bacaan dengan pengertian ada 75% pemahaman Sumber Satuan Lexile Merupakan kombinasi dari kesukaran semantik dan kompleksitas sintaktik Persamaan Lexile Bacaan dipecah dalam irisan; melalui persamaan Lexile diperoleh ukuran Lexile. Melalui model Rasch, diperoleh ukuran Lexile untuk seluruh bacaan

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Beberapa contoh • Buku Harry Porter • Buku Little Women

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Beberapa contoh • Buku Harry Porter • Buku Little Women • Buku Don Quixote 880 L sampai 950 L 1300 L 1410 L Keterbacaan dalam batas kesukaran 100 L di atas dan 100 L di bawah kemampuan Tingkat di Sekolah (berbeda-beda), contoh Tingkat 1 Tingkat 2 Tingkat 3 Tingkat 4 Tingkat 5 Tingkat 6 200 L sampai 400 L 300 L sampai 500 L sampai 700 L 650 L sampai 850 L 750 L sampai 950 L 850 L sampai 1050 L

---------------------------------------Metrik dan Kalibrasi --------------------------------------- C. Kalibrasi Sekor 1. Pendahuluan • Kalibrasi sekor dilakukan melalui

---------------------------------------Metrik dan Kalibrasi --------------------------------------- C. Kalibrasi Sekor 1. Pendahuluan • Kalibrasi sekor dilakukan melalui penyetaraan sekor parameter ke metrik yang telah ditentukan • Kalibrasi ini dapat disusun ke dalam tabel sebagai tabel konkordansi di antara metrik yang akan dikalibrasi dengan metrik kalibrasi • Rumus kalibrasi mencakup translasi dan rotasi 2 = k 1 + d b 2 = kb 1 + d a 2 = a 1 / k • Ada beberapa cara kalibrasi yang serupa dengan cara penyetaraan sekor (Bab 15)

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Dasar Kalibrasi • Kalibrasi melibatkan paling sedikit dua sekor

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Dasar Kalibrasi • Kalibrasi melibatkan paling sedikit dua sekor yakni Sekor X yang akan dikalibrasi Sekor Y yang menjadi patokan kalibrasi • Melalui penyetaraan, kalibrasi ini menyebabkan sekor X disetarakan ke sekor Y • Besaran yang dikalibrasi adalah parameter kemampuan dan parameter butir meliputi X menjadi *Y b. X menjadi b*Y a. X menjadi a*Y Dengan catatan bahwa c tidak dikalibrasi, artinya, c kalibrasi sama dengan c sebelum kalibrasi

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 3. Koefisien Kalibrasi • Hubungan di antara sekor yang telah

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 3. Koefisien Kalibrasi • Hubungan di antara sekor yang telah dikalibrasi Y dengan sekor yang belum dikalibrasi X adalah *Y = k X + d b*Y = kb. X + d a * Y = a. X / k • Di sini koefisien kalibrasi adalah k dan d. Jika k dan d dihitung maka kalibrasi ini dapat disusun ke dalam tabel kalibrasi • Perhitungan koefisien kalibrasi k dan d melibatkan penyetaraan sekor yakni Rancangan penyetaraan Metoda penyetaraan • Mereka adalah sama dengan penyetaraan sekor tersebut pada Bab 15

---------------------------------------Metrik dan Kalibrasi --------------------------------------- • Koefisien kalibrasi pada L 1 P dan L 2

---------------------------------------Metrik dan Kalibrasi --------------------------------------- • Koefisien kalibrasi pada L 1 P dan L 2 P Pada model L 1 P hanya memiliki satu parameter butir yakni parameter taraf sukar b, sehingga a*Y = a. X = 1 sehingga k=1 Di sini hanya diperlukan translasi dan tidak diperlukan rotasi sehingga k=1 Koefisien kalibrasi menjadi *Y = X + d b * Y = b. X + d

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Pada model L 2 P memiliki dua parameter butir yakni

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Pada model L 2 P memiliki dua parameter butir yakni parameter taraf sukar b dan daya beda a, sehingga terdapat translasi dan rotasi Koefisien kalibrasi menjadi *Y = k X + d b*Y = kb. X + d a * Y = a. X / k Dalam hal ini, k dan d merupakan koefisien kalibrasi yang berkaitan k dengan rotasi d dengan translasi

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 4. Rancangan Kalibrasi Ada sejumlah rancangan yang dapat digunakan pada

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 4. Rancangan Kalibrasi Ada sejumlah rancangan yang dapat digunakan pada kalibrasi sekor, melibatkan sekor dan kelompok responden, meliputi • Dua kelompok responden (K 1 dan K 2) yang unik dan gandeng • Dua pengukuran (X dan Y) dengan butir yang unik dan gandeng • Kelompok responden gandeng (KG) • Kelompok butir gandeng (Z) Sekor adalah sekor X dan Y Kelompok responden adalah K 1 dan K 2 Seperti halnya pada penyetaraan sekor, lima macam rancangan ini dapat diilustrasikan sebagai berikut

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Macam Rancangan A K 1 K 2 X Y Macam

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Macam Rancangan A K 1 K 2 X Y Macam Rancangan B K 1 K 2 X Y

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Macam Rancangan C (Gandeng Internal) K 1 KG X K

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Macam Rancangan C (Gandeng Internal) K 1 KG X K 2 Y Macam Rancangan C (Gandeng Eksternal) K 1 X KG K 2 Y

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Macam Rancangan D (Gandeng Internal) K 1 X K 2

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Macam Rancangan D (Gandeng Internal) K 1 X K 2 Z Y Macam Rancangan D (Gandeng Eksternal) K 1 X K 2 Z Y

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 5. Metoda kalibrasi Ada sejumlah metoda kalibrasi untuk menghitung koefisien

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 5. Metoda kalibrasi Ada sejumlah metoda kalibrasi untuk menghitung koefisien kalibrasi k dan d, meliputi Metoda regresi Metoda rerata dan simpangan baku Metoda tegar rerata dan simpangan baku Metoda lengkungan karakteristik 6. Rancangan dan Metoda yang Digunakan Cara hitung koefisien kalibrasi di sini menggunakan rancangan dan metoda rerata dan simpangan baku Rancangan D Metoda rerata dan simpangan baku

---------------------------------------Metrik dan Kalibrasi --------------------------------------- D. Penentuan Koefisien Kalibrasi 1. Koefisien Kalibrasi pada Model L

---------------------------------------Metrik dan Kalibrasi --------------------------------------- D. Penentuan Koefisien Kalibrasi 1. Koefisien Kalibrasi pada Model L 1 P • Terdapat butir X, butir Y, dan butir gandeng Z dengan rancangan Kelompok K 1 dengan butir X + Z Kelompok K 2 dengan butir Y + Z • Butir Z terdapat pada kelompok K 1 dan juga terdapat pada kelompok K 2 , sehingga penyetaraan dapat dilakukan melalui butir gandeng Z • Kelompok K 1 berkaitan dengan X dan kelompok K 2 berkaitan dengan Y sehingga melalui butir gandeng Z diperoleh penyetaraan di antara X dan Y

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Hasil dari bagian Z pada K 1 Sekor responden Estimasi

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Hasil dari bagian Z pada K 1 Sekor responden Estimasi parameter b Rerata Simpangan baku AZX b. ZX Hasil dari bagian Z pada K 2 Sekor responden Estimasi parameter b Rerata Simpangan baku AZY b. ZY

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Dari penyetaraan untuk L 1 P diperoleh k =1 b.

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Dari penyetaraan untuk L 1 P diperoleh k =1 b. ZY = k b. ZX + d = b. ZX + d sehingga b. ZY = b. ZX + d b. ZY = b. ZX Dari persamaan ini diperoleh d = b. ZY – b. ZX Dengan nilai d ini dapat dilakukan kalibrasi untuk mengubah parameter b. X ke b*Y b * Y = b. X + d *Y = X + d

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh 3 Hasil estimasi parameter b pada model L 1

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh 3 Hasil estimasi parameter b pada model L 1 P melalui penilaibakuan adalah Butir 1 2 X 3 4 5 b. X+ZX 2, 70 1, 20 – 0, 85 0, 46 – 1, 63 b. ZY+Y b*Y 1, 95 0, 45 – 1, 60 – 0, 29 – 2, 38 b. ZX = 0, 70 b. ZY = – 0, 05 6 7 Z 8 9 10 11 12 Y 13 14 15 1, 50 2, 35 – 0, 75 – 0, 20 0, 60 0, 75 1, 60 – 1, 50 – 0, 95 – 0, 15 0, 64 – 0, 23 – 1, 42 0, 38 1, 43 d = – 0, 05 – 0, 70 = – 0, 75 b*Y = b. X – 0, 75

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Koefisien Kalibrasi pada Model L 2 P • Terdapat

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Koefisien Kalibrasi pada Model L 2 P • Terdapat butir X, butir Y, dan butir gandeng Z dengan rancangan Kelompok K 1 dengan butir X + Z Kelompok K 2 dengan butir Y + Z • Butir Z terdapat pada kelompok K 1 dan juga terdapat pada kelompok K 2 , sehingga penyetaraan dapat dilakukan melalui butir gandeng Z • Kelompok K 1 berkaitan dengan X dan kelompok K 2 berkaitan dengan Y sehingga melalui butir gandeng Z diperoleh penyetaraan di antara X dan Y

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Hasil dari bagian Z pada K 1 Sekor responden Estimasi

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Hasil dari bagian Z pada K 1 Sekor responden Estimasi parameter b Rerata Simpangan baku AZX b. ZX Hasil dari bagian Z pada K 2 Sekor responden Estimasi parameter b Rerata Simpangan baku AZY b. ZY

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Dari penyetaraan pada butir gandeng Z diperoleh hubungan b. ZY

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Dari penyetaraan pada butir gandeng Z diperoleh hubungan b. ZY = kb. ZX + d dan selanjutnya b. ZY = k b. ZX + d b. ZY = k b. ZX Dari hubungan ini diperoleh sehingga b * Y = k b. X + d a * Y = a. X / k *Y = k X + d

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh 4 Hasil estimasi b dan a pada model L

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh 4 Hasil estimasi b dan a pada model L 2 P melalui penilaibakuan Butir 1 2 3 4 X 5 6 7 8 9 10 b. X+ZX 0, 70 1, 85 2, 25 2, 75 1, 83 – 0, 93 – 1, 15 – 2, 35 0, 59 0, 93 11 12 Z 13 14 15 1, 25 1, 15 2, 15 1, 80 2, 35 – 1, 30 – 1, 50 – 1, 75 – 1, 90 16 17 18 19 Y 20 21 22 23 24 25 b. Y+XY 1, 10 1, 80 – 0, 90 – 1, 30 1, 40 1, 35 1, 25 0, 50 0, 75 – 1, 95 b *Y 0, 45 …… …… …… a. X+ZX 1, 65 1, 90 1, 95 1, 70 0, 88 0, 67 0, 45 0, 70 0, 68 0, 90 0, 95 1, 20 1, 90 0, 60 0, 45 a. Y+ZY 1, 02 1, 28 2, 05 0, 75 0, 49 1, 07 1, 28 0, 95 0, 77 1, 30 1, 45 1, 17 0, 80 0, 96 0, 68 a *Y 1, 74 …… ……. …….

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Dari sekor ini dapat dihitung b. ZX = 0, 63

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Dari sekor ini dapat dihitung b. ZX = 0, 63 b. ZY = 0, 38 b. ZX = 1, 83 b. ZY = 1, 74 sehingga k = b. ZY / b. ZX = 1, 74 / 1, 83 = 0, 951 d = b. ZY – k b. ZX = 0, 38 – (0, 951(0, 63) = – 0, 219 Kalibrasi menjadi b*Y = 0, 951 b. X – 0, 219 a*Y = a. X / 0, 951

---------------------------------------Metrik dan Kalibrasi --------------------------------------- E. Keberhasilan 1. Pendahuluan Keberhasilan adalah sekor yang diperoleh dari

---------------------------------------Metrik dan Kalibrasi --------------------------------------- E. Keberhasilan 1. Pendahuluan Keberhasilan adalah sekor yang diperoleh dari hasil pada suatu pengukuran atau ujian Keberhasilan dapat dinyatakan melalui sejumlah cara mencakup A = jumlah sekor jawaban = rerata jawaban 2 = variansi jawaban Pada ujian, keberhasilan ditentukan oleh jawaban betul sehingga A = jumlah jawaban betul = rerata jawaban betul 2 = variansi jawaban betul

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Keberhasilan pada Teori Klasik Pada teori klasik, keberhasilan yang

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 2. Keberhasilan pada Teori Klasik Pada teori klasik, keberhasilan yang diperoleh responden ke-g dapat dinyatakan dalam beberapa bentuk Untuk sekor dikotomi, rerata sama dengan proporsi sehingga selain jumlah sekor, digunakan juga proporsi sekor Untuk responden ke-g pada N butir ujian Keberhasilan terletak di antara 0 dan 1

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 3. Keberhasilan pada Teori Responsi Butir Teori responsi butir melakukan

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 3. Keberhasilan pada Teori Responsi Butir Teori responsi butir melakukan estimasi pada paramater kemampuan dan parameter butir Hasil ukur pada teori responsi butir adalah kemampuan dan bukan keberhasilan Di sini kita coba mencari hubungan di antara keberhasilan pada teori klasik dengan kemampuan pada teori responsi butir Dalam hal ini kita coba mencari hubungan di antara Ag pada teori klasik, dengan g pada teori responsi butir P( ) pada teori responsi butir

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 4. Kaitan di antara A dan P( ) Pada teori

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 4. Kaitan di antara A dan P( ) Pada teori klasik A=T+K A = sekor amatan T = sekor tulen K = sekor keliru Dari asumsi E(K) = 0 E(A) = T + E(K) sehingga T = E(A) = E[ (Xi)] = [E(Xi)]

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Pada skala dikotomi Jawaban betul Xi = 1 Jawaban salah

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Pada skala dikotomi Jawaban betul Xi = 1 Jawaban salah Xi = 0 E(XI) = 1. P( ) + 0. Q( ) = P( ) sehingga T = [E(Xi)] = P( ) Pada model karakteristik butir logistik, P( ) berbentuk logistik dan tidak linier Hubungan di antara T atau A dengan P( ) adalah hubungan yang tidak linier (seperti pada ujian akhir nasional UAN)

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Dengan T sebagai keberhasilan, diperoleh Sekor dikenal juga sebagai sekor

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Dengan T sebagai keberhasilan, diperoleh Sekor dikenal juga sebagai sekor wilayah (domain score) Bentangan skala terletak di antara 0 sampai 1 –∞ sampai +∞ Kaitan dengan butir dependen kepada butir yang dipilih independen kepada butir yang dipilih

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 5. Transformasi Untuk evaluasi, ada kalanya, parameter kemampuan ditransformasi ke

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 5. Transformasi Untuk evaluasi, ada kalanya, parameter kemampuan ditransformasi ke sekor tulen atau sekor wilayah T = [E(Xi)] = P( ) =T/N Dari sekor wilayah dapat ditentukan nilai sesuai dengan skala yang digunakan Misalkan = 0, 75 sedangkan skala adalah 0 sampai 100, maka nilai menjadi 75 Selanjutnya jika ada kriteria kelulusan, baik pada skala wilayah atau nilai, maka dapat ditentukan kelulusan atau ketidaklulusannya

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh 5 Tiga butir ujian dikerjakan oleh sejumlah responden. Karakteristik

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Contoh 5 Tiga butir ujian dikerjakan oleh sejumlah responden. Karakteristik butir L 3 P adalah Butir 1 2 3 a b c 0, 80 – 2, 00 0, 00 1, 00 – 1, 00 0, 00 1, 20 0, 00 0, 10 Hasil estimasi parameter responden dan transformasi sekor ke T dan – 3 – 2 – 1 0 1 2 P 1( ) 0, 20 0, 50 0, 80 0, 94 0, 98 0, 99 P 2( ) 0, 03 0, 15 0, 50 0, 85 0, 97 0, 99 P 3( ) 0, 10 0, 11 0, 20 0, 55 0, 90 0, 99 T 0, 33 0, 76 1, 50 2, 34 2, 85 2, 97 0, 11 0, 25 0, 50 0, 78 0, 95 0, 99

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 6. Tabel Konkordansi TOEFL • TOEFL (Test of English as

---------------------------------------Metrik dan Kalibrasi --------------------------------------- 6. Tabel Konkordansi TOEFL • TOEFL (Test of English as a Foreign Language) memiliki dua macam ujian • Ujian dengan kertas dan pinsil menghasilkan keberhasilan dengan transformasi sekor dari 200 sampai 677 • Ujian adaptif melalui komputer menghasilkan kemampuan dengan transformasi sekor dari 0 sampai 300 • Penyetaraan di antara sekor keberhasilan dan sekor kemampuan menghasilkan tabel konkordansi mencakup bentangan sekor keberhasilan 310 sampai 677 kemampuan 40 sampai 300

---------------------------------------Metrik dan Kalibrasi ---------------------------------------Tabel Konkordansi TOEFL Kemam- Hasil puan Ujian 677 300 673 297

---------------------------------------Metrik dan Kalibrasi ---------------------------------------Tabel Konkordansi TOEFL Kemam- Hasil puan Ujian 677 300 673 297 670 293 667 290 663 287 660 287 657 283 653 280 650 280 647 277 643 273 640 273 637 270 633 267 630 267 627 263 623 263 620 260 617 260 613 257 610 253 607 253 603 250 600 250 • Kemam- Hasil puan Ujian 597 247 593 243 590 243 587 240 583 237 580 237 577 233 573 230 570 230 567 227 563 223 560 220 557 220 553 217 550 213 547 210 543 207 540 207 537 203 533 200 530 197 527 197 523 193 520 190 Kemam- Hasil puan Ujian 517 187 513 183 510 180 507 180 503 177 500 173 497 170 493 167 490 163 487 163 483 160 480 157 477 153 473 150 470 150 467 147 463 143 460 140 457 137 453 133 450 133 447 130 443 127 440 123

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Kemam- Hasil puan Ujian 437 123 393 90 433 120

---------------------------------------Metrik dan Kalibrasi --------------------------------------- Kemam- Hasil puan Ujian 437 123 393 90 433 120 390 90 430 117 387 87 Kemam- Hasil puan Ujian 350 63 347 63 343 60 427 423 420 417 413 410 407 403 400 397 340 337 333 330 327 323 320 317 313 310 113 110 107 103 100 97 97 93 380 377 373 370 367 363 360 357 353 83 83 80 77 77 73 73 70 70 67 60 57 57 53 50 50 47 47 43 40

--------------------------------------Metrik dan Kalibrasi --------------------------------------- • 6. Tabel Konkordansi pada TOEFL Kemam- Hasil puan jian

--------------------------------------Metrik dan Kalibrasi --------------------------------------- • 6. Tabel Konkordansi pada TOEFL Kemam- Hasil puan jian puan Ujian 677 300 623 263 570 230 673 670 667 663 660 657 653 650 647 643 640 637 633 630 627 623 620 617 613 610 297 293 290 287 283 280 277 273 270 267 263 260 257 253 620 617 613 610 607 603 600 597 593 590 587 583 580 577 573 260 257 253 250 247 243 240 237 233 230 407 403 400 397 393 390 387 383 380 377 373 370 367 363 360 100 97 97 93 90 90 87 83 83 80 77 77 73 73 70

---------------------------------------Metrik dan Kalibrasi --------------------------------------- • • Kemam- Hasil Ujian puan Ujian • • •

---------------------------------------Metrik dan Kalibrasi --------------------------------------- • • Kemam- Hasil Ujian puan Ujian • • • • 517 563 560 557 553 550 547 543 540 537 533 530 527 523 520 187 223 220 217 213 210 207 210 200 197 193 190 463 510 507 503 500 497 493 490 487 483 480 477 473 470 467 143 180 180 177 173 170 167 163 160 157 153 150 147 410 460 457 453 450 447 443 440 437 433 430 427 423 420 417 413 103 140 137 133 130 127 123 120 117 113 110 107 103