COMPUTER BASED ASSESSMENT Moh Khairudin Topik Pemanfaatan Kendali
COMPUTER BASED ASSESSMENT Moh. Khairudin Topik Pemanfaatan Kendali Logika Fuzzy Pada Pengembangan Sistem Penilaian Berbasis Computer Based Assessment
COMPUTER BASED ASSESSMENT Mengembangkan system penilaian berbasis Computer Based Assessment (CBA) Sistem penilaian dengan Computerized Adaptive Testing (CAT) dengan menggunakan kendali logika fuzzy
COMPUTER BASED ASSESSMENT üSistem penilaian merupakan salah satu alternatif upaya untuk mengukur kemampuan dan potensi peserta didik pada suatu hal terkait dengan bidang ilmu tertentu. üPengembangan suatu tes yang berbasis CBA secara umum lebih banyak mengarah pada tes kognitif yaitu kemampuan siswa dalam berpikir, mengetahui dan memecahkan masalah
COMPUTER BASED ASSESSMENT Dengan kemajuan teknologi informasi (TI) saat ini, maka sangat memungkinkan untuk menyelenggarakan suatu tes dengan memanfaatkan bantuan computer (CBA) yang bersifat adaptif sesuai kemampuan peserta test
COMPUTER BASED ASSESSMENT Keuntungan CBA üMengurangi waktu untuk pekerjaan penilaian tes dan laporan tertulis, üMenghilangkan pekerjaan logistik seperti mendistribusikan, menyimpan dan memperbanyak soal. üKomputerisasi menjadikan penilaian individu lebih efisien dan akurat dibanding penilaian menggunakan kertas dan pensil üSistem koreksi objektif dan akurat karena otomatis computerized
COMPUTER BASED ASSESSMENT Keuntungan lain CBA (1) meningkatkan standarisasi, (2) meningkatkan keamanan tes, (3) meningkatkan kemampuan tampilan tes, (4) memperkecil error of measurement, dan (5) mempercepat pemberian skor dan interpretasi.
COMPUTER BASED ASSESSMENT Tetapi sebenarnya CBA = PPT üPeserta tes menerima seperangkat butir tes yang sama. üPrinsip kerja CBT hanya memindahkan paradigma PPT ke dalam layar komputer. üEstimasi kemampuan peserta tes dalam CBT dilakukan secara klasik yaitu dengan menghitung jumlah soal yang dapat dijawab dengan benar dibandingkan dengan semua soal yang dikerjakan peserta tes. üKemampuan peserta tes, umumnya dibuat skala antara 0 sampai dengan 100 sesuai dengan porsentase jawaban benar dari peserta tes
COMPUTER BASED ASSESSMENT Alternatif motel CBA : (1) karakteristik butir tidak tergantung kepada kelompok peserta tes yang dikenai butir soal tersebut, (2) skor yang menyatakan kemampuan peserta tes tidak tergantung pada tes, (3) model yang dinyatakan dalam tingkatan (level) butir soal, tidak dalam tingkatan tes, (4) model tingkat ridak memerlukan tes paralel untuk menghitung koefisien reliabilitas, dan (5) model menyediaka ukuran yang tepat untuk setiap skor kemampuan
COMPUTER BASED ASSESSMENT ü Model alternatif yang dapat mempunyai ciri-ciri tersebut adalah model pengukuran yang disebut teori respon butir (Item Response Theory). ü Salah satu pengujian berbasis komputer yang menerapkan model pengukuran Item Response Theory (IRT) adalah Computerized Adaptive Testing (CAT).
COMPUTER BASED ASSESSMENT üArtifical Intelegence (AI) menggambarkan mengenai upaya membuat mesin komputer agar dapat belajar sehingga menjadi cerdas dan dapat melakukan pekerjaan dengan baik seperti yang dilakukan manusia. üKomponen terpenting dalam AI adalah adanya basis pengentahuan (knowledge base) dan mesin inferensi (inference engine)
COMPUTER BASED ASSESSMENT üBasis pengetahuan yakni mengandung pengetahuan yang diperlukan untuk memahami, memformulasikan dan menyelesaikan masalah. üMesin inferensi akan memandu proses penalaran terhadap suatu kondisi berdasarkan basis pengetahuan yang ada.
Tujuh metode yang digunakan mewujudkan sistem artificial intellegence 1. 2. 3. 4. 5. 6. 7. Knowledge Based system Fuzzy Logic (FL) Automatic knowledge acquisition Neutral networks Genetic alghorithms Case based reasoning Ambient-intellegence
COMPUTER BASED ASSESSMENT üFLC atau sistem logika fuzzy adalah sistem logika yang dalam penerapannya menggunakan knowledge base logika fuzzy. üFL memiliki ciri spesifik dibanding sistem pakar yang lain karena dalam FL terdapat pengkaburan penilaian lingustik. üPenilaian lingustik dimaksudkan adalah penamaan suatu kelompok yang mewakili suatu keadaan atau kondisi tertentu dengan menggunakan bahasa alami, seperti rendah , sedang dan tinggi.
COMPUTER BASED ASSESSMENT üFLC banyak diterapkan untuk keperluan pengambilan keputusan terhadap suatu pemasalahan yang memiliki sifat kualitatif ataupun kuantitatif. üPemilihan FLC digunakan sebagai pendekatan dalam analisis butir tes, üFL cocok dan sesuai untuk solusi permasalahan yang memetakan nilai-nilai kualitatif mengenai kemampuan kognitif seseorang (rendah, sedang, dan tinggi) ke dalam nilai-nilai kuantitatif
COMPUTER BASED ASSESSMENT Pemanfaatan FLC dalam pengembangan CBA adalah untuk membantu para pengambil keputusan seperti üPimpinan lembaga pendidikan, üCarier center, dan üPendidik bidang akademik dalam memutuskan prestasi bagi peserta didik
COMPUTER BASED ASSESSMENT üPerangkat tes dalam mengukur kemampuan siswa, terbagi dalam tiga kelompok berdasarkan indeks kesukaran butir soal, yaitu mudah, sedang dan sukar. üIndeks kesukaran butir soal pada teori test klasik (atau classical test theory, CTT) dapat diketahui dari proporsi individu yang dapat menjawab benar pada seluruh kelompok sampel pengujian, sehingga kesukaran suatu tes dipengaruhi oleh kelompok sampel yang diambil.
COMPUTER BASED ASSESSMENT üHal inilah yang menjadi salah satu kelemahan CTT, sehingga hasil pengukurang merefleksikan kemampuan peserta tes yang sebenarnya. üKetika tes yang sukar diberikan kepada kelompok peserta tes yang pandai, maka butir soal seolah-olah menjadi mudah. üSebaliknya jika butir soal mudah diberikan kepada kelompok peserta tes yang kurang pandai, maka butir soal tersebut menjadi sukar.
COMPUTER BASED ASSESSMENT • Kelemahan lain dari pendekatan CTT adalah semua peserta tes akan menerima sekumpulan butir tes yang sama atau setara. • Pengukuran yang sedemikian menjadi tidak efisien karena setiap butir yang disajikan banyak dan tidak mampu memberikan informasi yang cukup untuk membedakan skala kemampuan peserta tes. • Peserta tes yang memiliki kemampuan tinggi mendapatkan beberapa butir soal mudah sehingga mereka memiliki peluang kecil menjawab salah
COMPUTER BASED ASSESSMENT üMengatasi kelemahan dari pendekatan CTT dapat dilakukan dengan pendekatan CAT. üCAT merupakan kasus khusus dari CBT dengan penyajian tes tergantung pada level kemampuan peserta, sehingga sangat memungkinkan setiap peserta tes mengerjakan tes dengan jumlah butir yang tidak sama karena kemampuan peserta yang berbeda
COMPUTER BASED ASSESSMENT üPemilihan soal berikutnya berdasarkan atas jawaban peserta ujian terhadap soal yang saat itu diberikan, üjika jawaban benar maka selanjutnya akan diberikan soal yang memiliki tingkat kesulitan lebih tinggi, akan tetapi üjika jawaban salah maka soal berikutnya memiliki tingkat kesulitan yang lebih rendah.
COMPUTER BASED ASSESSMENT üCAT merupakan media yang berbasis adaptif sehingga peserta test akan menerima soal test sesuai dengan kemampuannya. üPenilaian berbasis CAT dapat meningkatkan efisiensi dan keakuratan serta kepraktisan dalam pelaksanaannya.
COMPUTER BASED ASSESSMENT Kelebihan CAT (1) akurasi yang tinggi baik dari jumlah soal yang lebih sedikit, (2) efisiensi dan kualitas tes, (3) waktu pemeriksaan yang lebih singkat, dan (4) kerjasama antar peserta tes dapat dihindari karena masing-masing peserta tes belum tentu mendapatkan soal yang sama. peserta tes juga dapat mengetahui kemampuan secara dini.
COMPUTER BASED ASSESSMENT Inisiasi kemampuan awal
COMPUTER BASED ASSESSMENT CAT berbasis FLC üTingkat kesulitan memiliki rentang -4 sampai dengan+4, üTingkat kesulitan diklasifikasikan menjadi tiga yaitu sulit, sedang, dan mudah. üTingkat kesulitan untuk kategori mudah terletak pada rentang nilai -4 sampai dengan -1, üTingkat kesulitan kategori sedang pada rentang nilai diatas -1 sampai dengan 0. 7, dan üTingkat kesulitan kategori sulit pada rentang nilai diatas 0. 7
COMPUTER BASED ASSESSMENT Klasifikasi Tingkat Kesulitan Butir Nilai Proporsi Tingkat Kesulitan Sulit Sedang Mudah
COMPUTER BASED ASSESSMENT •
COMPUTER BASED ASSESSMENT üDaya beda untuk kategori rendah jika ai terletak pada rentang nilai 0 sampai dengan 0. 7, ükategori sedang jika ai berada pada rentang diatas 0. 7 sampai dengan 1. 4, dan ükategori tinggi jika ai berada pada rentang nilai diatas 1. 4 sampai dengan 2.
COMPUTER BASED ASSESSMENT Klasifikasi Daya Beda Butir Nilai Proporsi Tingkat Kesulitan Tinggi Sedang Rendah
COMPUTER BASED ASSESSMENT üTes Adaptif mengambil butir soal dari bank soal untuk diberikan kepada peserta tes. üKetersediaan butir-butir soal yang cukup dengan kualitas butir-butir soal yang baik pada bank soal sangat menentukan kualitas tes adaptif.
COMPUTER BASED ASSESSMENT Tiga komponen yang memberikan kontribusi terhadap kualitas bank soal, yaitu: üukuran bank soal, üparameter butir soal, dan üstruktur isi
COMPUTER BASED ASSESSMENT Pemilihan Butir CAT dengan Algoritma Logika Fuzzy
COMPUTER BASED ASSESSMENT üProses pemilihan butir CAT FLC dengan algoritma logika fuzzy dimulai dengan memilih butir soal pertama dari bank soal. üSetelah butir soal dipilih, selanjutnya butir soal diberikan kepada peserta tes. Setelah peserta merespons (benar atau salah) butir soal, kemudian tingkat kemampuan peserta diestimasi kembali.
COMPUTER BASED ASSESSMENT üBerdasarkan inputan kesulitan butir soal, daya beda butir dan respons jawaban peserta tes, maka parameter tesebut diproses melalui fungsi keanggotaan himpunan fuzzy. üOutput dilakukan dengan mekanisme sistem inferensi yang didasarkan pada algoritma fuzzy berupa butir tes selanjutnya yang akan diberikan kepada peseta tes. Proses ini terus berlangsung dan diberhentikan setelah sebanyak butir soal yang ditentukan sudah diberikan atau setelah presisi estimasi tingkat kemampuan atau tingkat kesalahan baku pengukuran yang diinginkan telah dicapai.
COMPUTER BASED ASSESSMENT Prosedur Pemilihan Butir Awal (Starting Rule) üProsedur untuk memulai pelaksanaan tes oleh peserta tes dinamakan dengan starting rule. üPemilihan butir awal menggunakan asumsi bahwa peserta tes tidak diketahui kemampuan awal sehingga diambil butir dengan tingkat kesukaran menengah atau sedang. üJika tidak ada performance awal mengenai kemampuan awal peserta tes maka CAT dapat dimulai dengan memilih butir soal dengan kategori sedang, misalnya dengan tingkat kesulitan 0, 0 sehingga peserta tes dengan kemampuan ekstrim kurang pandai tidak terlalu lama mencapai stoping rule.
COMPUTER BASED ASSESSMENT Prosedur Pemilihan Butir Awal (Starting Rule) üDemikian juga dengan peserta tes yang memiliki kemampuan ekstrim pandai juga tidak terlalu singkat mencapai stoping rule. Hal inilah yang menjadi salah satu kelebihan CATyaitu bahwa peserta tes tingkat kemampuan tinggi tidak bosan dengan item uji mudah, sementara kemampuan rendah tidak dihadapkan pada butir tes yang sulit üSetiap peserta tes akan menjawab butir soal tersebut dan komputer akan memberikan skor kemampuan (θ). üRespon peserta tes akan menentukan butir soal berikutnya.
COMPUTER BASED ASSESSMENT Algoritma Pemilihan Butir üSalah satu hal penting yang perlu diperhatikan dalam penyusunan dan pengembangan tes adalah prosedur analisis dan seleksi butir soal. üHal ini merupakan bagian yang penting karena kualitas instrumen tes juga ditentukan oleh kualitas butir-butir soal di dalamnya.
COMPUTER BASED ASSESSMENT Algoritma Pemilihan Butir üKendali pemilihan butir, meminimalkan Test-Overlap, dan penggunaaan kelompok butir yang efisien adalah sebagian dari isu yang penting di dalam mendesain pengujian secara CAT. üMetode pemilihan butir yang digunakan adalah Sympson. Hetter (SH), secara parsial telah memberikan solusi yang baik melalui prosedur probabilistik yang mencoba untuk pengendalian dengan hasil high-discrimination materi yang efektif di dalam meningkatkan pemanfaatan keseluruhan kelompok butir, tanpa mengorbankan efisiensi dan efektivitas penilaian kemampuan.
COMPUTER BASED ASSESSMENT üProsedur seleksi butir berdasarkan data empiris (data hasil uji coba butir pada sekelompok subjek yang karakteristiknya setara dengan subjek yang hendak dikenai pengujian) dengan melakukan analisis kuantitatif terhadap parameter butir. üPada tahap ini setidaknya dilakukan seleksi butir berdasarkan daya pembeda dan tingkat kesulitan butir. üSeleksi butir yang lengkap meliputi analisis validitas dan reliabilitas tes, distribusi jawaban, aplikasi analisis faktor, bias butir, fungsi informasi, dan lain-lain
COMPUTER BASED ASSESSMENT üInput untuk algoritma ini adalah kesulitan butir soal, daya beda butir dan respon jawaban peserta tes. üParameter tersebut selanjutnya diproses melalui fungsi keanggotaan himpunan fuzzy. üOutput yang dihasilkan adalah kepastian pemilihan butir tes yang memiliki daya beda dan tingkat kesulitan butir yang sesuai dengan respon peserta tes. üOutput ini dihasilkan melalui mekaisme inferensi fuzzy berupa butir tes selanjutnya yang akan diberikan kepada peserta tes.
COMPUTER BASED ASSESSMENT Estimasi kemampuan peserta test Dapat dilakukan dengan berbagai cara, antara lain (1)menggunakan estimasi maksimum likelihood (maximum likelihood estimation, MLE) secara langsung maupun numerik, dan (2)menggunakan metode Bayesian. Pada penelitian ini akan digunakan metode estimasi dengan MLE.
COMPUTER BASED ASSESSMENT Prosedur Mengakhiri Tes (Stopping Rules) üSalah satu langkah yang penting dalam menjalankan CAT adalah keputusan untuk mengakhiri atau menghentikan tes. üJika tes ini terlalu pendek, maka estimasi kemampuan peserta tes akan menjadi tidak akurat, dan sebaliknya jika terlalu panjang maka akan banyak waktu dan biaya yang terbuang sehingga menyebabkan hasil tes tidak valid.
COMPUTER BASED ASSESSMENT Prosedur Mengakhiri Tes (Stopping Rules) Ada beberapa stopping criterion yang dapat digunakan dalam CAT seperti : (1) butir soal telah habis diberikan kepada peserta tes, (2) kemampuan peserta tes menuju nilai θ tertentu (konvergen) atau selisih standar error yang digunakan ≤ 0. 01, (3) setiap kompetensi tes telah dikerjakan dengan benar, dan (4) hasil estimasi kemampuan jauh dari kriteria lulus-gagal.
COMPUTER BASED ASSESSMENT Fuzzy Logic Controller (FLC) Empat tahapan yang harus dilakukan yaitu: (1)pembentukan himpunan fuzzy (fuzzifikasi), (2)Aplikasi fungsi implikasi (aturan), (3)Inferensi, dan (4)Defuzzifikasi.
COMPUTER BASED ASSESSMENT Pembentukan himpunan fuzzy üLangkah awal dari algoritma logika fuzzy adalah membentuk himpunan fuzzy untuk menentukan nilai keanggotaan suatu nilai dari varibel. üVariabel himpunan fuzzy dalam penelitian ini adalah tingkat kesulitan butir soal (X 1), daya beda butir (X 2), respon jawaban peserta tes (R), dan kemampuan peserta tes (X 3).
COMPUTER BASED ASSESSMENT Representasi fungsi keanggotaan dari tingkat kesulitan butir soal, daya beda butir, respon jawaban, dan kemampuan peserta tes MF Variabel Tingkat Kesulitan MF Variabel Daya Beda MF Variabel Respon Jawaban
COMPUTER BASED ASSESSMENT Pembentukan aturan-aturan (rules) Aplikasi fungsi implikasi (aturan) yaitu penerapan fungsi basis aturan yang didasarkan pada basis pengetahuan dalam bentuk If-Then. Basis pengetahuan yang terbentuk dalam penelitian ini adalah sebagai berikut : üIF kesulitan butir turun DAN daya beda turun THEN Kemampuan rendah üIF kesulitan butir turun DAN daya beda naik THEN Kemampuan rendah üIF kesulitan butir Naik DAN daya beda turun THEN Kemampuan tinggi üIF kesulitan butir Naik DAN daya beda naik THEN Kemampuan tinggi
COMPUTER BASED ASSESSMENT Inferensi, üProses untuk mengubah input fuzzy menjadi output fuzzy dengan cara mengikuti aturan-aturan (rules) yang telah terbentuk pada tahap implikasi. üAda beberapa metode yang digunakan (Mamdani, Tsukamoto, Sugeno) üMetode Tsukamoto, yaitu fungsi implikasi menggunakan Min (nilai terkecil).
COMPUTER BASED ASSESSMENT Defuzzifikasi üUntuk mengubah output fuzzy yang diperoleh dari mesin inferensi menjadi nilai tegas menggunakan fungsi keanggotaan yang sesuai dengan saat dilakukan fuzzifikasi. üOutput tahap ini dilakukan dengan menggunakan metode rata-rata (average)
COMPUTER BASED ASSESSMENT Flowchart CBA CAT
COMPUTER BASED ASSESSMENT TERIMA KASIH khairudin 95@gmail. com Khair Din Yogya Khair WA : 085878754037
- Slides: 50