Peer feedback in schrijfgroepen voorwaarden voor effectieve inzet
Peer feedback in schrijfgroepen: voorwaarden voor effectieve inzet 21 mei 2016 BVNT 2/Amsterdam Angeniet Kam / ITAV
Even voorstellen: het Instituut voor Talen en Academische Vaardigheden 9/4/2021 2
Stellingen: herkenbaar? • Ik laat studenten geen peer feedback geven, want dan geven ze alleen maar commentaar op spelling. • Ik laat studenten geen peer feedback geven, want ze vertrouwen elkaars adviezen niet en dat leidt alleen maar tot meer onzekerheid. • Ik laat studenten wel peer feedback geven, want ik heb geen tijd/te veel studenten om iedereen feedback te kunnen geven en zo krijgen ze in elk geval nog wat suggesties voor verbetering. 9/4/2021 3
Uitgangspunten voor dit praatje • Het gaat hier niet over feedback op taalfouten • Het gaat wel over peer feedback op geschreven teksten • Speciale focus: structuur en genreconventies 9/4/2021 4
Wat komt er aan bod vandaag? Aan welke voorwaarden moet het geven van peer feedback in schrijfgroepen voldoen om goede feedback te verkrijgen waar studenten wat aan hebben? • Wat weten we over de voorwaarden om peer feedback in te zetten voor schrijfonderwijs? • Hoe organiseren wij peer feedback in Delft en welke resultaten levert dat op? • Vragen/discussie September 4, 2021 5
Wat weten we over de inzet van (peer) feedback in (schrijf)onderwijs? • Organisatie: zeven punten om over na te denken • Opbrengsten: drie punten om over na te denken 9/4/2021 6
Docent of peers? (Brookhart, 2008; Jesnek, 2011)) 9/4/2021 7
Hoe serieus wordt feedback genomen? Vragenlijstonderzoek Gemiddelden (n=79, schaal 1 -7) SD Van studenten uit eigen groep 6, 1 . 7807 Van studenten uit andere groep 5, 1 . 9363 Van docent eigen faculteit 6, 2 1. 2064 Van docent schrijfvaardigheid 6, 3 . 9019 September 4, 2021 8
Hoe serieus werd feedback genomen? 9/4/2021 9
Timing (Brookhart, 2008) 9/4/2021 10
Blind of niet blind? (Xiao & Lucking, 2008) 9/4/2021 11
Gestructureerd/ongestructureerd 9/4/2021 12
Wel of geen cijfer? 9/4/2021 13
Differentiatie sterke/zich ontwikkelende schrijver (Jesnek, 2011) 9/4/2021 14
Feedback geven in T 1 of T 2 (Nelson & Carson 2006) In T 2 In T 1 over T 2? 9/4/2021 15
Lower order/higher order concerns 9/4/2021 16
Uptake: overnemen van suggesties voor verbetering (Nelson & Schunn, 2009; Ruegg, 2015) 9/4/2021 17
Reflectie (Lundstrom & Baker, 2009) 9/4/2021 18
Do’s en don’ts (Hattie & Timperley, 2007) Geef wel feedback over: Geef geen feedback over: • de taak; • de persoon • het proces waarin/waarmee de taak is uitgevoerd • eventueel: zelfregulering 9/4/2021 19
Grondregels voor peer feedback (Brookhart, 2008, p. 70) • Lees het werk van je medestudent zorgvuldig door. • Vergelijk het werk met de criteria in het formulier. • Maak opmerkingen over het werk, niet over de persoon. • Geef geen oordeel (bijvoorbeeld: dit is slecht), maar beschrijf wat goed is aan het werk en wat je mist of wat volgens jou beter zou kunnen (en waarom) • Geef concrete suggesties voor verbetering • Vertel wat jij ervan vindt en vraag dan wat de schrijver denkt. 9/4/2021 20
Twee modellen voor peer feedback in Delft Model 1: • Blind • Gestructureerd • Met instructie • Feedback krijgt een cijfer 9/4/2021 Model 2: • Niet-blind • Gestructureerd • Met instructie • Feedback krijgt geen cijfer 21
Model 1
Peer review: blind, gestructureerd, met instructie 9/4/2021 23
Instructie 9/4/2021 24
Feedback verwerken in versie 2 9/4/2021 25
Feedback van docent schrijfvaardigheid 9/4/2021 26
Feedback verwerken: definitieve versie DEF 9/4/2021 27
Model 2: niet-blind, gestructureerd, met instructie, geen cijfer 9/4/2021 28
Peer reviewing in four steps 1. Read the text 2. Identify reading problems 3. Explain the problem 4. Make concrete suggestions 29
Clarify where the problem occurred Clearly explain where in the text you encountered a problem: “The second sentence of the second paragraph (“The effect of … workload results”) lacks either commas or linking words, which makes the sentence difficult to read. ”
Clarify what the problem is Clearly explain what the problem is: “In section C, are the outliers ‘unavoidable due to imperfect experimental conditions’ or is there more at play, for example limitations in the PIV technology? I’d like to know a little more about that, so I can justify why you are replacing the outliers. ”
Clarify the solution Clarify a possible solution to the problem: “Both section C and D could be combined and called something like ‘Data processing’. Then the reader will first read about the physical setup, followed by an explanation of the method of data gathering, followed by the procedure to process all this data. ”
Add useful comments only “C Outlier detection and Replacement + Data Smoothing and Vortex Identification: - No comments on style were needed here. ”
Moderate your tone of voice Which one would you prefer? “The actual description of SPIV is quite good! It’s a very detailed description! This I could reproduce myself now!” Or “I would rephrase the 3 d sentence, it is too obvious and the words ‘lots of money’ do not seem very professional in my opinion. Give an approximation or leave it out. ”
Time for your preview: which text are you going to review? • • Please place your hard copy of your essay on the table Write your name and email address on a piece of paper Put the paper in the box Draw a paper from the box. If your own name is on the paper, put it back in the box and draw another one Find the paper of the person whose name is on your piece of paper Read and review Send your review by email to the person whose name is on the piece of paper.
Time for your peer review • Make your comments in the form • Questions? Raise your hand I come over to you • Deadline peer review: tonight, 23. 59 hrs
Samenvattend Voorwaarden voor effectieve peer feedback zijn afhankelijk van jouw specifieke onderwijscontext Factoren om over na te denken: - Niveau groep Docent/peers - Timing Tijd om feedback te verwerken - Blind of niet-blind Veiligheid - Gestructureerd of niet gestructureerd Duidelijkheid - Sterke/zwakke schrijver Opbrengst - Samenstelling groep Overleg in T 1 bevordert T 2 9/4/2021 37
Peer feedback in schrijfgroepen: voorwaarden voor effectieve inzet Meer informatie of vragen? a. e. kam@tudelft. nl 21 mei 2016 BVNT 2/Amsterdam Angeniet Kam/ITAV
Literatuur Brookhart, S. M. (2008). How to give effective feedback to your students? Alexandria, VA: Association for Supervision and Curriculum Development. Hattie, J. , & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 77(1), 81 -112. doi: 10. 3102/003465430298487 Jesnek, L. M. (2011). Peer Editing In The 21 st Century College Classroom: Do Beginning Composition Students Truly Reap The Benefits? Journal of College Teaching & Learning, 8(5), 17 -24. Hyland, K. & Hyland, F. (2012). Feedback in Second Language Writing. Context and Issues. Cambridge: Cambridge University Press (3 rd edition, first printed in 2006). Kluger, A. N. , & De. Nisi, A. (1996). The Effects of Feedback Interventions on Performance: A Historical Review, a Meta-Analysis, and a Preliminary Feedback Intervention Theory. Psychological Bulletin, 119(2), 254 -284. Lundstrom, K. , & Baker, W. (2009). To give is better than to receive: The benefits of peer review to the reviewer's own writing. Journal of Second Language Writing, 18, 30 -43. doi: 10. 1016/j. jslw. 2008. 06. 002 Min, H. -T. (2005). Training students to become successful peer reviewers. System, 33, 293 -308. doi: 10. 1016/j. system. 2004. 11. 003 Nelson, M. M. , & Schunn, C. (2009). The nature of feedback: how different kinds of peer feedback affect writing performance. Instr. Sci. , 375 -401. doi: 10. 1007/s 11251 -008 -9053 -x Nelson, S. (2000). Teaching collaborative writing and peer review techniques to engineering and technology undergraduates. 30 th ASEE/IEEE Frontiers in Education Conference (p. Session S 2 B). Kansas City, MO: IEEE. Pol, J. v. , Berg, B. v. , Admiraal, W. , & Simons, P. (2008). The nature, reception, and use of online peer feedback in higher education. Computers & Education, 51, 1804 -1817. doi: 10. 1016/j. compedu. 2008. 06. 001 Ruegg, R. (2015). Differences in the Uptake of Peer and Teacher Feedback. RELC journal, 46 (2), 131 -145. doi: 10. 1177/003368821452799 Steendam, E. v. , Rijlaarsdam, G. , Sercu, L. , & Bergh, H. v. (2010). The effect of instruction type and dyadic or individual emulation on the quality of higher-order peer feedback in EFL. Learning and Instruction, 20 , 316 -327. doi: 10. 1016/j. learninstruc. 2009. 08. 009 Xiao, Y. , & Lucking, R. (2008). The impact of two types of peer assessment on students' performance and satisfaction within a Wiki environment. Internet and Higher Education, 11, 186 -193. doi: 10. 1016/j. iheduc. 2008. 06. 005
Waardering cursus Gemiddelde waardering (n=218, schaal 1 -10 - rapportcijfer) SD 7 1, 1990 Docent scientific writing 8 1, 2236 Cursusmateriaal 1, 2954 Cursus September 4, 2021 6, 9 40
Nut schrijftaak Gemiddeld (n=218, schaal 1 -7) SD Belang schrijftaak 6, 3 . 9470 Nut schrijftaak 6, 3 . 8168 September 4, 2021 41
Kwaliteit en kwantiteit van de feedback Gemiddelde (n=79, Schaal 1 -7) Feedback was begrijpelijk SD 5, 6 . 7592 De feedback was motiverend geformuleerd 5, 4 1. 0222 Niet te veel feedback 4, 8 1. 3999 Niet te gedetailleerde feedback 5, 1 1. 2983 September 4, 2021 42
Samenhang kwaliteit en kwantiteit feedback Pearson’s r n=79 Motiverend geformuleerd Te veel feedback Begrijpelijk . 492** -. 192* Te veel Te gedetailleerde feedback. 655** *. Correlation is significant at the 0. 05 level (1 -tailed). **. Correlation is significant at the 0. 01 level (1 -tailed). September 4, 2021 43
- Slides: 43