Bab 9 Penilaian Pengguna 1 Objektif n n

Bab 9 Penilaian Pengguna 1

Objektif n n Menerangkan konsep dan istilah penting dalam penilaian Menerangkan paradigma dan teknik penilaian yang digunakan Membincangkan isu-isu konseptual, praktikal dan etika yang mesti dipertimbangkan Memperkenalkan rangkakerja DECIDE 2

Dua Jenis Penilaian n n Penilaian formatif – dilakukan pada tahap pembangunan yang bebeza untuk memastikan bahawa produk memenuhi kehendak pengguna Penilaian sumatif – menganggar / menjangka kualiti suatu produk yang telah dihasilkan Fokus adalah kepada penilaian formatif 3

Apa yang Dinilai Rekabentuk iteratif dan penilaian adalah suatu proses yang berterusan yang menguji: n Ide awal untuk model konseptual n Prototaip awal suatu sistem baru n Prototaip-prototaip yang lebih lengkap kemudiannya Perekabentuk perlu menyemak samada mereka faham keperluan pengguna 4

Bila Dinilai n n Di sepanjang proses merekabentuk Bermula dari penerangan pertama, lakaran dll (mengenai kehendak pengguna ) sehinggalah ke produk akhir Rekabentuk melalui proses kitaran iteratif ‘rekabentuk-uji-rekabentuk semula’ Penilaian adalah elemen utama untuk menjamin rekabentuk yang berjaya 5

Paradigma Penilaian Setiap jenis penilaian dipandu secara eksplisit (tak tersirat) atau implisit (tersirat) oleh suatu set andaian atau ‘kepercayaan’, yang biasanya berdasarkan kepada teori tertentu. Andaian / ‘kepercayaan’ dan kaedah yang berkaitan dengannya inilah yang dikenali sebagai ‘paradigma penilaian’ 6

Kajian Pengguna Kajian pengguna (user studies) melibatkan proses melihat bagaimana kelakuan manusia dalam persekitaran tabii mereka, atau di dalam makmal, samada menggunakan teknologi baru atau lama 7

Paradigma Penilaian Ada empat jenis paradigma penilaian n ‘Cepat dan kotor’ (‘quick and dirty’) n Ujian kebolehgunaan n Kajian Lapangan (field studies) n Penilaian ramalan (predictive evaluation) 8

‘Cepat dan Kotor’ n n n Penilaian ‘cepat dan kotor’ : amalan-amalan secara tidak formal yang biasa dilakukan oleh perekabentuk untuk mendapatkan maklumbalas daripada pengguna atau konsultan untuk memastikan yang ide mereka adalah selari dengan kehendak pengguna Penilaian ini boleh dilakukan pada bila-bila masa Penekanan adalah kepada input yang pantas untuk proses merekabentuk, dan bukan hasil yang didokumenkan dengan teliti 9

Ujian Kebolehgunaan n n Melibatkan proses merekodkan persembahan (performance) pengguna semasa melaksanakan tugas tipikal dalam persekitaran yang dikawal. Kajian lapangan juga boleh digunakan Kelakuan pengguna direkodkan & ‘keypress’ disimpan dalam log 10

Ujian Kebolehgunaan n n Data digunakan untuk mengira masa, kenalpasti kesilapan dan membantu menerangkan kenapa pengguna melakukan apa yang dilakukan Soalselidik kepuasan pengguna dan temubual digunakan untuk mendapatkan pandangan pengguna 11

Kajian Lapangan n n Kajian lapangan dilakukan dalam persekitaran tabii (natural settings) Matlamatnya untuk memahami apa yang biasa dilakukan oleh pengguna dan bagaimana teknologi memberi kesan kepada mereka 12

Kajian Lapangan n Dalam merekabentuk produk, kajian lapangan boleh digunakan untuk: n n Mengenalpasti peluang suatu teknologi baru Menentukan keperluan rekabentuk Memutuskan bagaimana cara yang terbaik untuk memperkenalkan suatu teknologi baru Menilai teknologi yang sedia ada digunakan 13

Penilaian Ramalan n n Pakar menggunakan pengetahuan mereka tentang pengguna tipikal, yang selalunya dibantu oleh penilaian heuristik, untuk meramal masalah kebolehgunaan Pendekatan lain melibatkan model yang berasaskan teori tertentu 14

Penilaian Ramalan n n Kriteria utama penilaian ramalan adalah - pengguna tidak perlu hadir semasa penilaian dilakukan Lebih cepat dan murah berbanding kebanyakan paradigma lain 15

Teknik-teknik Penilaian n n Memerhatikan (observe) pengguna Mendapatkan pandangan pakar Menguji persembahan (performance) pengguna Memodelkan persembahan pengguna mengikut tugas tertentu 16

Rangkakerja DECIDE n n n Determine the goals the evaluation addresses Explore the specific questions to be answered Choose the evaluation paradigm and techniques to answer the questions Identify the practical issues Decide how to deal with the ethical issues Evaluate, interpret and present the data 17

D – Menentukan Matlamat n n Apakah matlamat penilaian Siapa yang mahukannya dan kenapa? Matlamat mempengaruhi paradigma yang digunakan Beberapa contoh matlamat: n n Kenalpasti metafora yang terbaik Menyemak samada antaramuka yang terhasil konsisten dengan yang dirancang Menyiasat bagaimana teknologi mempengaruhi amalan kerja Memperbaiki kebolehgunaan produk sedia ada 18

E – Explore Soalan n n Matlamat dan soalan menjadi panduan supaya masa tidak terbuang Contohnya, matlamat adalah untuk mengetahui berapa ramai pelanggan yang menggemari tiket kapalterbang biasa berbanding dengan e-tiket. 19

E – Explore Soalan n Soalan boleh dipecahkan kepada: n n n Apakah atitud pelanggan terhadap e-tiket? Adakah mereka prihatin terhadap isu keselamatan? Adakah antaramuka yang digunakan sekarang lemah? 20

C – Memilih paradigma dan teknik n n Paradigma penilaian mempunyai pengaruh yang kuat ke atas teknik yang digunakan, bagaimana data dianalisa dan dipersembahkan Contoh: kajian lapangan tidak melibatkan pengujian atau permodelan 21

I – Kenalpasti Isu Praktikal Sebagai contoh: bagaimana hendak : n Memilih pengguna n n Stay on budget Staying on schedule Mencari penilai Memilih peralatan 22

D – Menentukan Isu Etika n Membangunkan borang akuan pemberitahuan (informed consent form) n Peserta / responden mempunyai hak untuk : n Mengetahui matlamat kajian Mengetahui apa yang berlaku kepada hasil kajian Privacy dalam maklumat peribadi n Not to be quoted without their agreement n n Menamatkan penilaian bila-bila masa yang disukai Dilayan dengan hormat dan sewajarnya 23

E – Menilai, menterjemah & Mempersembah data n n Bagaimana data dianalisa dan diterjemah bergantung kepada paradigma dan teknik yang digunakan Hal-hal berikut juga perlu dipertimbangkan: n n n Reliability : bolehkah kajian yang sama diulang / direplika? Validity : Adakah ia mengukur apa yang dikehendaki? Biases : Adakah proses menyebabkan bias? Scope : Bolehkah hasil di’am’kan (generalised)? Ecological validity : adakah persekitaran mempengaruhi? 24

Kajian Awal (Pilot Studies) n n n Suatu percubaan kecil tentang kajian Matlamat – untuk memastikan bahawa perancangan adalah sesuai Pilot Studies boleh memastikan bahawa: n n Prosedur yang dirancang boleh dilaksanakan Skrip temubual, soal-selidik, ujikaji, dll sesuai digunakan dan berfungsi dengan baik Boleh dilakukan beberapa kali untuk menyelesaikan masalah yang timbul Boleh gunakan rakan sekerja 25

Poin Penting n Penilaian dan rekabentuk berkait rapat dalam Rekabentuk Berpusatkan Pengguna n n Paradigma penilaian adalah pendekatan yang dipengaruhi oleh teori dan falsafah tertentu Lima kategori teknik penilaian: pemerhatian pengguna, pandangan pakar, pengujian pengguna, dan permodelan pengguna 26

Poin Penting n Rangkakerja DECIDE mempunyai 6 bahagian: n n n D – Menentukan Matlamat E – Explore Soalan C – Memilih paradigma dan teknik I – Kenalpasti Isu Praktikal D – Memutuskan Isu Etika E – Menilai, menterjemah & Mempersembah data n Lakukan pilot study 27