ANALISIS ITEM DAN TES SECARA KUANTITATIF DENGAN PROGRAM

ANALISIS ITEM DAN TES SECARA KUANTITATIF DENGAN PROGRAM SPSS © a. Sup 2009 © a. Sup-2009

Reliabilitas © a. Sup-2009

RELIABILITY …the consistency of score obtained by the same persons when they are reexamined with the same test on different occasions, or with different sets of equivalent, or under other variable examining conditions (Anastasi & Urbina, 1997) © a. Sup-2009 3

Teknik Pengukuran Reliabilitas dikaitkan dengan Jumlah Form dan Pengambilan Testing Session Required One Two © a. Sup-2009 Test-Forms Required One Two Split-Half, KR, Cronbach Alpha Alternate-Form (Immediate) Test-Retest Alternate-Form (Delayed) 4

TIPE-TIPE RELIABILITAS § Test-Retest Reliability § Alternate-Form Reliability § Split-Half Reliability § Kuder-Richardson Reliability and Coefficient Alpha § Scorer Reliability © a. Sup-2009 5

TIPE-TIPE RELIABILITAS yang ada di SPSS § Alpha (Cronbach). This is a model of internal consistency, based on the average inter-item correlation. § Split-half. This model splits the scale into two parts and examines the correlation between the parts. § Guttman. This model computes Guttman's lower bounds for true reliability. § Parallel. This model assumes that all items have equal variances and equal error variances across replications. § Strict parallel. This model makes the assumptions of the parallel model and also assumes equal means across items. © a. Sup-2009 6

Sebelum melakukan perhitungan… § Apabila jawaban peserta tes masih berbentuk pilihan jawaban (misal tes menggunakan bentuk pilihan ganda) maka harus dicoding terlebih dahulu, yaitu apabila peserta tes: ○ menjawab sesuai dengan kunci jawaban maka diberi coding 1, dan ○ menjawab tidak sesuai kunci jawaban atau tidak menjawab diberi coding 0. § Ubah tipe variabel (di variable view): String Numeric © a. Sup-2009 7

Sebelum melakukan perhitungan… § Apabila tes berbentuk Likert Scale (misal dengan skala 1 s. d. 6) maka item unfavorable harus dicoding terlebih dahulu, yaitu 1 6; 2 5, 3 4; 4 3; 5 2; dan 6 1 © a. Sup-2009 8

Melakukan Coding Into Same Variables… hasil coding diberikan di kolom yang sama. Into Different Variables… hasil coding diberikan di kolom yang berbeda, di kolom paling kanan dari data. © a. Sup-2009 9

Melakukan Coding Dari menu pilih: Transform Recode Into Same/Different Variables. . . Pilih variabel (item) yang akan di-coding Klik Old and New Values Ketik Old Value dan New Value sesuai kunci jawaban >> Klik Add Klik Continue >> OK © a. Sup-2009 10

Melakukan Coding © a. Sup-2009 11

Melakukan Coding § Untuk pilihan Into Different Variables perlu dilakukan pemberian nama dan label dari output variable (hasil coding) Change Pilih variabel (item) yang akan di-coding Klik Old and New Values Ketik Old Value dan New Value sesuai kunci jawaban >> Klik Add Klik Continue >> OK © a. Sup-2009 12

Melakukan Coding © a. Sup-2009 13

Warning!! § Tidak ada menu UNDO untuk proses recode, sehingga perlu file awal (raw data) untuk disimpan. Untuk keperluan Analisis Item kelak, file awal yang akan digunakan © a. Sup-2009 14

TEST-RETEST RELIABILITY, ALTERNATE -FORM RELIABILITY, dan SPLIT HALF RELIABILITY Sebelum melakukan penghitungan koefisien korelasi terlebih dahulu dibuat skor untuk: § Skor Tes ke-1 dan Tes ke-2 § Skor Tes Form-1 dan Form-2 § Skor Tes Half-1 dan Half-2 (dapat juga Odd dan Even) © a. Sup-2009 15

TEST-RETEST RELIABILITY dan ALTERNATE-FORM RELIABILITY Koefisien reliabilitas (rtt) dengan tipe ini secara sederhana adalah korelasi antara skor tes yang didapatkan oleh orang yang sama pada dua kali pengadministrasian tes. Dari menu pilih: Analyze Correlate Bivariate. . . Pilih dua variabel (skor tes) Klik OK © a. Sup-2009 16

SPLIT HALF RELIABILITY § Pada dasarnya mirip dengan tipe Test-Retest dan Alternate-Form Reliability, yaitu korelasi antara skor tes yang didapatkan oleh orang yang sama pada dua belahan tes. Dari menu pilih: Analyze Correlate Bivariate. . . Pilih dua variabel (skor belahan tes) Klik OK © a. Sup-2009 17

Alpha (Cronbach) § This is a model of internal consistency, based on the average inter-item correlation (SPSS. com) Dari menu pilih: Analyze Scale Reliability Analysis. . . Pilih item-itemnya Klik OK © a. Sup-2009 18

Alpha (Cronbach) © a. Sup-2009 19

Analisis Item © a. Sup-2009

Sebelum melakukan perhitungan… § Apabila jawaban peserta tes masih berbentuk pilihan jawaban (misal tes menggunakan bentuk pilihan ganda) maka harus dicoding terlebih dahulu, yaitu apabila peserta tes: ○ menjawab sesuai dengan kunci jawaban maka diberi coding 1, dan ○ menjawab tidak sesuai kunci jawaban atau tidak menjawab diberi coding 0. § Kemudian ubah tipe variabel (di variable view): String Numeric © a. Sup-2009 21

Sebelum melakukan perhitungan… § Apabila tes berbentuk Likert Scale (misal dengan skala 1 s. d. 6) maka item yang unfavorable harus dicoding terlebih dahulu, yaitu 1 6; 2 5, 3 4; 4 3; 5 2; dan 6 1 © a. Sup-2009 22

Melakukan Coding Into Same Variables… hasil coding diberikan di kolom yang sama. Into Different Variables… hasil coding diberikan di kolom yang berbeda, di kolom paling kanan dari data. © a. Sup-2009 23

Melakukan Coding Dari menu pilih: Transform Recode Into Same/Different Variables. . . Pilih variabel (item) yang akan di-coding Klik Old and New Values Ketik Old Value dan New Value sesuai kunci jawaban >> Klik Add Klik Continue >> OK © a. Sup-2009 24

Melakukan Coding © a. Sup-2009 25

Melakukan Coding § Untuk pilihan Into Different Variables perlu dilakukan pemberian nama dan label dari output variable (hasil coding) Change Pilih variabel (item) yang akan di-coding Klik Old and New Values Ketik Old Value dan New Value sesuai kunci jawaban >> Klik Add Klik Continue >> OK © a. Sup-2009 26

Melakukan Coding © a. Sup-2009 27

Warning!! § Tidak ada menu UNDO untuk proses recode, sehingga perlu file awal (raw data) untuk disimpan. Untuk keperluan Analisis Item kelak, file awal yang akan digunakan © a. Sup-2009 28

Dalam contoh perhitungan analisis item ini digunakan dua file § File Career Decision – Self Efficacy. sav Berdasarkan tingkah laku yang diukur, jenis tesnya adalah Typical Performance Test Respon jawaban dalam bentuk skala Likert 1 sampai 1 § File Tes Pengetahuan Umum. sav Berdasarkan tingkah laku yang diukur, jenis tesnya adalah Optimum Performance Test Respon jawaban dalam bentuk pilihan jawaban (pilihan ganda) a, b, c, atau d. © a. Sup-2009 29

ITEM ANALYSIS § Items can be analyzed qualitatively, in term of their content and form, and quantitatively, in terms of their statistical properties (Anastasi and Urbina, 1997) § Dalam panduan ini hanya akan dibahas analisis item secara kuantitatif saja © a. Sup-2009 30

ITEM DIFFICULTY § … the difficulty of an item is defined in terms of the percentage (or proportion) of persons who answer it correctly. § The easier the item, the larger this percentage will be © a. Sup-2009 31

Kunci Jawaban Tes Career Decision - Self Eficacy § Item Favorable 1, 3, 4, 5, 7, 11, 12, 14, 15, 16, 17, 18, 19, 20, 21, 22, 24, 25, 26, 27, 29, 30, 31, 32, 34, 35, 37, 39, 40, 41, 42, 44, 45, 46, 47 § Item Unfavorable 2, 6, 8, 9, 10, 13, 28, 33, 36, 38, 43, 48 © a. Sup-2009 32

Item Difficulty pada Optimum Performance Test Dari file Tes Pengetahuan Umum. sav: § Ubah jawaban peserta tes dari huruf (string) ke angka (numeric) sesuai dengan kunci jawaban © a. Sup-2009 33

Kunci Jawaban Tes Pengetahuan Umum No No No 1. B 11. B 21. C 31. A 41. D 2. A 12. D 22. B 32. B 42. A 3. D 13. B 23. D 33. C 43. D 4. B 14. A 24. C 34. C 44. B 5. C 15. A 25. C 35. D 45. D 6. C 16. A 26. B 36. A 46. C 7. C 17. C 27. C 37. D 47. B 8. C 18. B 28. D 38. A 48. C 9. D 19. B 29. C 39. D 49. B 10. B 20. A 30. B 40. C 50. D © a. Sup-2009 34

Menghitung DIFFICULTY INDEX Analyze >> Descriptive Statistics >> Frequencies masukkan semua itemnya >> OK © a. Sup-2009 35

Menghitung DIFFICULTY INDEX Dari output SPSS, dificulty index adalah persentase yang menjawab 1 (kunci jawaban) nb: persentase dijadikan proporsi © a. Sup-2009 36

Menghitung DIFFICULTY INDEX pada Typical Performance Test (proportion of endorsement) § Ubah (coding) jawaban peserta tes dengan aturan yang menyetujui (endorse) menjadi 1 dan yang tidak menyetujui menjadi 0 § Apabila pilihan jawaban skalanya berjumlah ganjil, misal 5, maka pilihan yang berada di tengah (pilihan 3) tidak dihitung nb: coding hanya menghasilkan skala nominal © a. Sup-2009 37

Menghitung DIFFICULTY INDEX pada Typical Performance Test (proportion of endorsement) § Setelah dicoding, hitung proporsi peserta tes yang meng-endorse (menyetujui) item tersebut (dengan cara yang sama dengan menghitung difficulty index) © a. Sup-2009 38

DIFFICULTY INDEX § Untuk menentukan apakah suatu item memiliki difficulty index yang tinggi atau memiliki proportion endorsement yang tinggi gunakan referensi. © a. Sup-2009 39

ITEM DISCRIMINATION § Fungsi item pada dasarnya sama dengan fungsi tes, yaitu membedakan individu yang memiliki kemampuan tinggi (atau karakteristik kuat) dengan individu yang memiliki kemampuan rendah (atau karakteristik lemah) § Untuk itu perlu diketahui kriteria dalam membedakan kemapuan/karakteristik individu © a. Sup-2009 40

Cara Menghitung ITEM DISCRIMINATION … dapat dilakukan dengan dua cara: § Extreme group method, dan § Correlation indices method © a. Sup-2009 41

EXTREME GROUP METHOD § Peserta tes dibagi menjadi (setidaknya) dua kelompok yaitu upper dan lower § Pembagian kelompok ini didasarkan pada total skor § Anastasi &Urbina (1997) menyarankan pembagian kelompoknya antara 25% s. d. 33% (dengan demikian sebenarnya ada kelompok ‘middle’) © a. Sup-2009 42

Membuat Extreme Group § Bila jumlah subyek besar (>350) dapat digunakan 25%-33% ○ Misal kalau akan diambil 25% maka: Persentil 25 ke bawah merupakan lower group Persentil 75 ke atas merupakan upper group § Bila jumlah subyek sedikit bisa digunakan nilai median dalam membagi kelompoknya © a. Sup-2009 43

Masalah dalam pembagian Upper dan Lower § Apabila ada sejumlah subyek mendapatkan nilai yang sama dengan nilai median, (misal dalam data Tes Pengetahuan Umum. sav a setelah diurutkan nilainya orang ke-41 sampai ke-55 (15 orang) sama mendapatkan skor 55) solusi: umumnya digunakan randomisasi untuk menempatkan 10 orang ke lower group dan 5 orang ke upper group. © a. Sup-2009 44

Menghitung Item Discrimination D D = p. U - p. L Dimana: D = item discrimination p. U = proportion correct di upper group p. L = proportion correct di lower group © a. Sup-2009 45

Menghitung D di SPSS § Buat satu variabel (kolom) yang isinya pengelompokkan (upper dan lower) misal: beri coding 1 untuk lower group dan coding 2 untuk upper group © a. Sup-2009 46

Menghitung D di SPSS § Mencari p. U Data >> Select Cases>> If condition is satisfied>> Klik IF Masukkan variabel pengelompokkan ketik coding upper group>> Continue>> OK © a. Sup-2009 47

Menghitung D di SPSS § Perhatikan nomor subjek yang bukan merupakan bagian dari upper group dicoret, artinya pengolahan berikutnya hanya dari nomor yang tidak dicoret (selected) § Kemudian cari proportion correct Analyze >> Descriptive Statistics >> Frequencies masukkan semua itemnya >> OK § Difficulty Index yang dihasilkan adalah p. U © a. Sup-2009 48

Menghitung D di SPSS § Mencari p. L Data >> Select Cases>> If condition is satisfied>> Klik IF Masukkan variabel pengelompokkan ketik coding lower group>> Continue>> OK © a. Sup-2009 49

Menghitung D di SPSS § Perhatikan nomor subjek yang bukan merupakan bagian dari lower group dicoret, artinya pengolahan berikutnya hanya dari nomor yang tidak dicoret (selected) § Kemudian cari proportion correct Analyze >> Descriptive Statistics >> Frequencies masukkan semua itemnya >> OK § Difficulty Index yang dihasilkan adalah p. L © a. Sup-2009 50

Menghitung D di SPSS § Hitung D (secara manual) dengan rumus D = p. U - p. L © a. Sup-2009 51

Menghitung Item Discrimination dengan Internal Consistency (r. IT) § Analisis item discrimination dengan teknik internal consistency dilakukan dengan mengkorelasikan skor item dengan skor total yang sudah dikurangi dengan skor item yang akan dilihat diskriminasinya (corrected item-total correlation) © a. Sup-2009 52

Item Discrimination dengan r. IT Dari menu pilih: Analyze>> Scale>> Reliability Analysis. . . Pilih item-itemnya Klik Statistics pilih Scale dan Scale if item deleted Klik Continue>> OK © a. Sup-2009 53

Item Discrimination dengan r. IT § Dari output, kolom corrected item-total correlation merupakan item discrimination denga menggunakan r. IT © a. Sup-2009 54

DISTRACTOR POWER § Data yang akan digunakan adalah dat original dimana pilihan jawaban belum dicoding menjadi jawaban benar (1) atau salah (0) § Analyze>> Descriptive Statistics>> Frequencies kemudian masukkan seluruh itemnya kemudian Klik OK © a. Sup-2009 55

DISTRACTOR POWER § Output yang muncul adalah Actual Distractor Power(ADP) dalam bentuk frekuensi dan persentase © a. Sup-2009 56