Critical Appraisal 2 3 Februari 2016 Pro Di

Critical Appraisal (2) 3 Februari 2016 Pro. Di S 3 FK UGM http: //rossisanusi. wordpress. com

Critical Appraisal (CA)? • CA menilai apakah kesimpulan Penelitian Empirik (PE) valid. • Kesimpulan Penelitian Empirik (PE) menyatakan hipotesis penelitian didukung/tidak didukung. • Hipotesis penelitian menyatakan Effect Size (r, d atau OR) bermakna. • Kesimpulan PE valid jika: 1. Kerangka konsep valid. 2. Rancangan penelitian kokoh (robust). 3. Pelaksanaan penelitian seksama (high fidelity).

1. Kerangka Kosep Valid? Definisi operasional konstruk 2 valid menurut para ahli dan hasil penelitian sebelumnya. Mediator? (Mengapa, Bagaimana) Prediktor? (Intervensi) Kriterion? (Hasil) Moderator? (Ciri-ciri & keadaan Unit Analisis 3

2. Rancangan Penelitian Kuat? a. Rancangan Pengumpulan Data: • Menggunakan alat atau prosedur yang valid? (berdasarkan hasil penelitian sebelumnya dan hasil validasi penelitian sekarang). • Alat/prosedur digunakan secara konsisten? (berdasarkan hasil uji reliabilitas intra- dan inter- pengumpul data) • Unit pengamatan & unit analisis tepat? (jenis dan jumlah? Total atau sample? ).

b. Rancangan Pengolahan data: • Menggunakan metoda statistik diskriptif dan statistik inferensial yg tepat? (memenuhi syarat-syarat penggunaan metoda yg bersangkutan) c. Rencangan Penafsiran data: • Validitas Dalam rendah? (Effect Size kebetulan karena sampling error besar; Effect Size semu karena moderator 2 spesifik dan variabel 2 confounding diabaikan). • Validitas Luar rendah? (banyak moderator 2 spesifik dikendalikan)

• CA dilakukan pada saat telaah pustaka sebaiknya secara sistematis (Systematic Review/SR). • SR Sebelumnya dilakukan oleh peneliti sebelumnya. SR Selanjutnya dilakukan oleh Mahasiswa S 3 (dan pembimbing). • CA makalah 2 PE terkini pd SR Selanjutnya mengidentifikasi Masalah 2 Penelitian (= masalah pd Kerangka Konsep, Rancangan Penelitian atau Pelaksanaan Penelitian). • Keterbaruan/Keaslian Penelitian = upaya utk mengatasi masalah 2 penelitian tsb. = mereplikasi (menanggapi) PE 2 terkini yg masih bermasalah.

Sumber: http: //www. openmedicine. ca/images/3/e 123/figure 1. png

“Check List” Hal yang Dinilai Memenuhi Syarat Y Kerangka Konsep • Validitas pakar? • Validitas empirik? Rancangan Penelitian 1. Pengumpulan Data • Alat/Cara valid? • Penggunaan Alat/cara reliabel? • U Pengamatan & U Analisis tepat? 2. Pengolahan Data • Penggunaan statistik deskriptif tepat? • Penggunaan statistik inferensi tepat? T ? Keterangan

Hal yang Dinilai Memenuhi Syarat Y 3. Penafsiran Data • Validitas Dalam – moderator 2 diamati/dikendalikan/dimanipulasi? • Validitas Dalam – variabel 2 perancu dikendalikan? • Validitas Luar? Pelaksanaan Penelitian • Sesuai metoda pengumpulan data? • Sesuai metoda pengolahan data? • Sesuai metoda penafsiran data? Gaya & Format Penulisan • Lugas? • Tata Bahasa? • Sesuai aturan tata tulis? T ? Keterangan

3. Pelaksanaan Penelitian Seksama? (penggunaan sumberdaya sesuai dengan metoda pengumpulan, pengolahan dan penafsiran data yang dirancang)

Contoh Makalah SR: Bergs, J. , Hellings, J. , Cleemput, I. , Zurel, O. , De Troyer, V. , Van Hiel, M. , Demeere, J. -L, Claeys, D. , & Vandijck, D. (2014). Systematic review and meta-analysis of the effect of the World Health Organization surgical safety checklist on postoperative complications. British Journal of Surgery, 101: 150 -158.

Masalah penelitian (awal): Apakah penerapan SSC WHO pada pembedahan mayor menurunkan komplikasi dan kematian pasca operasi? Karena diperlukan bukti yg lebih kuat, maka Tujuan Penelitian (awal): Melakukan RCT – pembedahan mayor ditempatkan secara acak ke Kelompok SSC dan ke kelompok kendali (prosedur biasanya/tanpa SSC atau checklist yg lain).

Untuk telaah makalah 2 PE selanjutnya peneliti melacak dan meng. CA makalah 2 PE yg terbit setelah makalah PE terakhir yg direview penulis 2 SR tsb. Contoh: Molina, G. , Jiang, W. , Edmondson, L. , Gibbons, L. , Huang, L. C. , Kiang, M. V. , . . . & Singer, S. J. (2016). Implementation of the Surgical Safety Checklist in South Carolina Hospitals Is Associated with Improvement in Perceived Perioperative Safety. Journal of the American College of Surgeons.

Background Prior research suggests surgical safety checklists (SSCs) are associated with reductions in postoperative morbidity and mortality as well as improvement in teamwork and communication. These findings stem from evaluations of individual or small groups of hospitals. Studies with more hospitals have assessed the relationship of checklists with teamwork at a single point in time. The objective of this study was to evaluate the impact of a large-scale implementation of SSCs on staff perceptions of perioperative safety in the operating room.

Study Design As part of the Safe Surgery 2015 initiative to implement SSCs in South Carolina hospitals, we administered a validated survey designed to measure perception of multiple dimensions of perioperative safety among clinical operating room personnel before and after implementation of an SSC.

Results Thirteen hospitals administered baseline and follow-up surveys, separated by one to two years. Response rates were 48. 4% at baseline (929/1921) and 42. 7% (815/1909) at follow-up. Results suggest improvement in five of the five dimensions of teamwork (relative percent improvement ranged from +2. 9% for coordination to +11. 9% for communication). These were significant after adjusting for respondent characteristics, hospital fixedeffects, and multiple comparisons, and clustering robust standard errors by hospital (all p<0. 05). More than half of respondents (54. 1%) said their surgical teams always used checklists effectively; 73. 6% said checklists had averted problems or complications.

Conclusions A large-scale initiative to implement SSCs is associated with improved staff perceptions of mutual respect, clinical leadership, assertiveness on behalf of safety, team coordination and communication, safe practice, and perceived checklist outcomes. Kesimpulan ini Valid/Logis? Periksa Kerangka Konsep, Rancangan Penelitian & Pelaksanaan Penelitian

Kerangka Konsep Landasan Teori? Cara Penggunaan SSC Persepsi SS Ciri 2 demografis, Peran Petugas, lama bertugas, Ciri 2 RS 18

Hal yang Dinilai Memenuhi Syarat Y T Keterangan ? Kerangka Konsep • Validitas pakar? • Validitas empirik? Landasan teori? H 16, Ref 30, 31.

• DO (Cara) Penggunaan SSC: 1. Pembacaan SSC sebelum memulai anestesi, sebelum insisi kulit dan sebelum pasien meninggalkan kamar operasi. 2. (Mengundang RS peserta melakukan survei sebelum dan sesudah pelaksanaan program. 3. Rangkaian webinar, bahan pelatihan dan alat evaluasi). • DO Persepsi SS: penilaian ttg teamwork (respect, clinical leadership, assertiveness, coordination & communication), supportive context , kepatuhan safe pratice. Pre-intervensi: + Readiness. Post-intervensi: + proses & keberhasilan penggunaan SSC.

Hal yang Dinilai Memenuhi Syarat Y T Keterangan ? Rancangan Penelitian 1. Pengumpulan Data • Alat/Cara valid? Validasi sebelum survei lihat Ref 14. Diujicoba setelah dimodifikasi? Validasi setelah survei tidak ada. Versi pendek utk dokter & klinisi. • Penggunaan Alat/cara reliabel? Cetak, e-mail atau hibrid. Post-intervention survei antara 1 -2 setelah menelai telah melaksanakan SS. • U Pengamatan & U Analisis tepat? Response-rate rendah

Hal yang Dinilai Memenuhi Syarat Y T Keterangan ? 2. Pengolahan Data • Penggunaan statistik deskriptif tepat? • Penggunaan statistik inferensi tepat? Kemaknaan statistik tidak diperlukan.

Hal yang Dinilai Memenuhi Syarat Y T Keterangan ? 3. Penafsiran Data • Validitas Dalam – moderator 2 diamati/dikendalikan/dimanipulasi? • Validitas Dalam – variabel 2 perancu dikendalikan? • Validitas Luar? Pelaksanaan Penelitian • Sesuai metoda pengumpulan data? • Sesuai metoda pengolahan data? • Sesuai metoda penafsiran data? Gaya & Format Penulisan • Lugas? • Tata Bahasa? • Sesuai aturan tata tulis? Menggunakan rancangan pre-exp. Moderator 2 diamati & dianalisis.