Peer review online wat werkt Janneke van der

Peer review online: wat werkt? Janneke van der Hulst Onderwijscentrum VU j. vanderhulst@ond. vu. nl Ineke van den Berg IVLOS UU b. a. m. vandenberg@uu. nl

Programma n n Peer review: wat, waarom, hoe? Keuze voor systemen: selectie-criteria Twee systemen: voorbeelden Evaluaties

Wat is peer review n Studenten van gelijk niveau Peer (iemand die je als je gelijke beschouwt) ¨ geen statusverschil, geen (groot) kennisverschil ¨ n Onderwijsvorm (samenwerkend leren) Peer feedback ¨ er moet genoeg afstand zijn ¨ n Toetsvorm Peer assessment/evaluation ¨ meestal i. s. m. docent = co-assessment ¨ n Peer review: overkoepelende term

Waarom peer review (1) n Leertheorie ¨ ‘Peers’ spreken elkaars taal ¨ Tussenstap zelfstandig leren ¨ Toepassing criteria verinnerlijking ¨ Actief met de stof bezig zijn diepteverwerking ¨ Belang tussentijdse feedback

Waarom peer review (2) n Praktisch ¨ Schaarse docenttijd (weinig tijd voor feedback) ¨ Groter volume aan feedback tijdens leerproces

4. evt. herhaling van peer review op verbeterd product/vaardigheid/samenw. Algemene werkwijze peer review 0. studenten stellen (mede) criteria op, reflecteren op criteria of oefenen zich in het leren beoordelen 1. maken van (concept) product, uitvoeren vaardigheid of samenwerken in groep 2. uitvoeren van peer review adhv criteria 3. evt. verbeteren van product/ vaardigheid/ samenw. 3 a. evt. reactie op review, verzoek om toelichting op beoordeling 5. beoordelen van eindproduct/ vaardigheid/ samenwerking door docent/coassessment

Best complex… De docent heeft veel keuzemogelijkheden: n Doel: formatief of summatief? n Wat: product, vaardigheid, samenwerking? n Hoe: wie beoordeelt wie? ¨ Anoniem of juist niet? ¨ Criteriumgerichte of open feedback? ¨ n Begeleiden: monitoren of niet? Hamvraag: hoe hou ik het efficient en effectief ? ? ?

Dus…peer review online Voordelen o. a. ¨ Logistiek ¨ Tijd- en plaatsonafhankelijk ¨ Tekstgemedieerd: tijd voor reflectie, verbalisatie ¨ Archiveerfunctie (ook van de interactie) ¨ Gelijkwaardige(r) discussie ¨ Monitoring van proces

Keuze van systemen Onderwijskundige criteria (bron: literatuurstudie) Functionele criteria (bron: interviews gebruikers + technische randvoorwaarden en eisen organisatie) Relevante thema’s bij selectie peer review systemen • Doel: formatief / summatief • Wat : bv. schrijfproduct, samenwerking, vaardigheidsdemonstratie • Soort peer feedback: • Gesloten (schaalvragen, cijfers, ja/nee) • Open (toelichting op criteriageleide beoordeling of zonder criteria) • Algemeen of specifiek commentaar • Interactief of eenzijdig • Monitoringsmogelijkheden • Gebruikersgemak • Beheer: kosten, continuïteit leverancier, etc. (zie www. proof-project. nl)

Inventarisatie bestaande peer review systemen

Keuze VU Wensen uit interviews: ¨ Schrijfproducten ¨ Formatieve en summatieve inzet ¨ Kwalitatieve en kwantitatieve feedback ¨ Bruikbaar in grote groepen Turnitin

Keuze UU Wensen uit interviews: ¨ Schrijfproducten ¨ Formatieve inzet ¨ Kwalitatieve feedback ¨ Interactie over feedback belangrijk Annotatiesysteem

Voorbeeld 1 (Turnitin) n n n www. turnitin. com Demonstratie Turnitin in cursus `Qualitative Research Methods’ Wat, waarom, hoe van peer review. . n n n Formatief, beoordelingscriteria leren hanteren 3 Individuele opdrachten 2 Reviewers per opdracht Anoniem Criteriageleide kwalitatieve feedback

Turnitin

Voorbeeld: Qualitative Research Methods

Voorbeeld 2 (Annotatiesysteem) n n www. annotatiesysteem. nl Wat, waarom, hoe van peer review. . n n n Formatief Schrijfproduct Groepen van 3 Niet-anoniem Criteriageleide kwalitatieve feedback Demonstratie annotatiesysteem in cursus BMW http: //www. annotatiesysteem. nl/index. php? m= document. view&id=1578

Het Annotatiesysteem Jakko van der Pol n Wat is het? ¨ feedback in context n n ¨ interactie feedbackgever(s)-ontvanger n n n specifiek betere verwerking efficiente communicatie door minder coordinatie toelichting op feedback vergroot leereffect rating feedback motiveert feedbackgever Hoe werkt het? Webgebaseerd ¨ Log in procedure ¨ Scherm: tekst en discussiedraad ¨ j. vanderpol 1@uu. nl

Voorbeeld Biomedische wetenschap( F-S-Gr 3 -n. A-Cr) n http: //www. annotatiesysteem. nl/index. p hp? m=document. view&id=1578

Evaluatie van gebruik computer n Studenten Positief over het geven en krijgen van online peer feedback (av. 3, 0 - 4, 0) ¨ >80% zou vaker met peer review willen werken, maar… ¨ ¨ n n Docent feedback blijft nodig Meer face-to-face discussie gewenst om peer feedback toe te lichten (Turnitin) (Meer) tijd om peer feedback te verwerken Docenten ¨ Proces is beter te volgen, maar…. ¨ Kwaliteit van de peer feedback moet beter Aanbevelingen ¨ ¨ Peer review is uitstekend online te ondersteunen Blended learning: online en face-to-face bijeenkomsten versterken elkaar

Feedback kwaliteit § Uitkomsten evaluatie (in beide systemen) § Docenten § Varieert sterk § Meer tijd besteden aan monitoring en training studenten § Duidelijker criteria opstellen § Studenten § Veel vertrouwen in eigen feedbackkwaliteiten § Kritisch t. a. v. de ontvangen feedback § Aanbeveling § Neem tijd voor instructie aan studenten en docenten (hoe geef je goede feedback? Hoe monitoren? ) § Besteed tussentijds regelmatig aandacht aan de kwaliteit van de peer feedback

Kortom: n n n Goede begeleiding bij peer review is van groot belang, maar hoe doe je dat? Kwaliteit van peer feedback is zorgenkindje Tips: implementatie draaiboek

Conclusie n n Twee goed functionerende systemen, keuze afhankelijk van wensen Online peer review is stap vooruit in organiseren van het proces en begeleiden

Meer info n n www. proof-project. nl Emailadressen: ¨ b. a. m. vandenberg@uu. nl ¨ j. vanderhulst@ond. vu. nl