Institut fr Medizinische Lehre Institute of Medical Education

Institut für Medizinische Lehre - Institute of Medical Education Didaktischer Mehrwert mit Formativen Assessments Stefan Minder: IML Michele Notari: PHBern

Take home message 1: Beim formativen Assessment ist Feedback relevant für den Lernprozess. Institut für Medizinische Lehre

Take home message 2: Beim formativen Assessment sind falsche Antworten der Lernenden auf gut gestellte Fragen der Leitung Indikatoren für die Qualität des Lernprozesses und der Lerneinheit. Institut für Medizinische Lehre

Summatives Assessment l Proben und Prüfungen heissen Summative Assessments. Sie haben das Ziel einer Bewertung mit Promotionsfolgen Institut für Medizinische Lehre

Formatives Assessment l Formative Assessments sind Tests, Selbsttests, Quizzes usw. , welche das primäre Ziel der Lernförderung haben. Eine Bewertung (Punktzahl) kann ein Nebeneffekt sein, aber ohne Promotionsfolgen. Institut für Medizinische Lehre

Wann ist ein «Test» Formatives Assessment Veralteter Fokus: Lernförderung durch Selbsttest Aktueller Fokus: Formatives Assessment als didaktisches Instrument Lernförderung Feedback Anpassung des Unterrichts Institut für Medizinische Lehre

Was ist Lernförderung (nach Black, 1993, Gibbs 1994) l The distinguishing characteristic of formative assessment is that the to modify their work in order to make it more effective. assessment information is used, by the teacher and pupils, l Formative assessment has been defined as the process of appraising, judging or evaluating students’ work or performance and to shape and improve students’ competence. Institut für Medizinische Lehre using this

Prägende ‘Köpfe’: Dylan William Paul Black P. , William D. , 2009. Developing theory of formative assessment. Educational Assessment, Evaluation and Accountability, Vol. 21, No. 1, pp 5 -31. Institut für Medizinische Lehre

WARUM Formatives Assessment Research indicates that an emphasis on formative assessment has the following effects: l Pupils learn more effectively l Some pupils feel more involved in the schooling process and become less disaffected l Teaching is focussed more effectively on the individual pupil l Positive effects may be particularly evident in the less able l Learning in the wider (not subject-specific) sense can be enhanced Institut für Medizinische Lehre

Formative Assessment (FA) - Schema Students Teacher Teaching Authoring FA b ed e F Consulting Results Giving Feedback Adapt Teaching Institut für Medizinische Lehre k ac Performing FA

Formative Assessment (FA) - Schema Students Teacher Teaching Authoring FA b ed e F Consulting Results Performing FA ILIAS Giving Feedback Adapt Teaching Institut für Medizinische Lehre k ac

Beispiel – eines kurzen Szenariums mit LMSUnterstützung Unterrichtssequenz FA Durchführung (z. B. als Hausaufgabe) Feedback im Plenum Automatische Korrektur nur bei Multiple Choice möglich. Soll nach der Durchführung des FA die Lösung ersichtlich werden? Institut für Medizinische Lehre

Formative Assessment in Education: Recommendation: “Use a wider range of assessment tasks (other than multiple choice tests, questions requiring short answers and essay questions[…]); for example, portfolios and performance-based assessment […]” Institut für Medizinische Lehre

Wasser predigen und Wein trinken? Institut für Medizinische Lehre

Beispiel - Szenarien – Exkurs: gute MC Antworten Im Feedback muss besonders auf die gewählten falschen Lösungen eingegangen werden, um Misskonzepte zu bereinigen Multiple Choice FA-Erstellung: «Gute» falsche Antworten (sogenannte Ablenker oder Distraktoren) sind für den formativen Effekt zentral. Institut für Medizinische Lehre

Analyse der falschen Antworten Die Markierungen sind in EINER dieser Abbildungen korrekt: in welcher? Institut für Medizinische Lehre

Analyse der falschen Antworten Institut für Medizinische Lehre

Analyse der falschen Antworten Jay C. Powell, James Bernauer and Vishnuteerth Agnihotri (2010) Institut für Medizinische Lehre

Analyse der falschen Antworten Wann sind MC-Antworten gut? 1. Die falschen Antworten (sog. Ablenker / Distraktoren) repräsentieren Fehlkonzepte, welche bei den Studierenden häufig vorkommen 2. Die falschen Antworten enttarnen sich nicht selbst. Institut für Medizinische Lehre

Probieren Sie es Bitte füllen Sie den UTC-Test aus: l http: //goo. gl/PAq. MG Oder : auf Papier: Deutsch / Englisch Institut für Medizinische Lehre

Ohne Sachwissen die richtige Antwort finden 1. Anter ist eine (A) Legierung (B) Konglomerat (C) Verbrennungsrückstand (D) Spaltprodukt (E) chemisches Element Alle Antworten müssen grammatikalisch zum Stamm passen Institut für Medizinische Lehre René Krebs 22

Ohne Sachwissen die richtige Antwort finden 2. Bei der Fermierung von Anter mit saurem Gor (A) findet eine Abkühlung statt (B) entsteht unter der Bedingung einer leichten Erwärmung Anterit im p. H-Bereich 2. 8 -3. 2 (C) wird Og. I 4 freigesetzt (D) entsteht Fermantin (E) bildet sich Gorantoxol Richtige Antwort nicht länger, differenzierter als Falschantworten Institut für Medizinische Lehre René Krebs 23

Ohne Sachwissen die richtige Antwort finden 3. Sie wollen mit Ihrem Ektator Gorantoxin lubrieren. Dies funktioniert nur, wenn (A) das LTC-Modul des Ektators ausgeschaltet ist (B) das LTC-Modul des Ektators eingeschaltet ist (C) der Ektator über einen OC-Detektor 2000+ verfügt (D) die -Frequenz während der Lubrierung konstant bleibt (E) das Gorantoxin vorgängig sterniert wird Hinweise vermeiden, welche die Aufmerksamkeit auf 2 -3 Antworten konzentrieren Institut für Medizinische Lehre René Krebs 24

Ohne Sachwissen die richtige Antwort finden 4. Die Abkürzung USL heisst ausgeschrieben (A) United States Laboratories (B) Uniform Source Language (C) Uniform Source Locator Konvergenz (D) Uniform Starting Label (E) Unique Spaceship Locator Konvergenzcue vermeiden Institut für Medizinische Lehre René Krebs 25

Ohne Sachwissen die richtige Antwort finden 5. Welches ist das Hauptmerkmal des KRS (Kognitives Rigiditäts-Syndrom)? (A) ein erhöhter Ferminspiegel im Plasma (B) zyklische postprandiale Alpträume (C) häufige Versteifungen der Nackenmuskulatur (D) eine reduzierte Beweglichkeit im kognitiven Bereich Denken (E) eine chronische Logo- und Skriptorrhö Verbale Assoziationen zwischen Stamm und richtiger Antwort vermeiden Institut für Medizinische Lehre René Krebs 26

Ohne Sachwissen die richtige Antwort finden 6. Warum ist bei trigoten Quergeln die Axosie. Auftretensrate erhöht? (A) Trigote Quergel sind nie berop. (B) Trigotie führt immer zu Enität. (C) Alle trigoten Quergel sind esophym. (D) Axosie ist ausschliesslich sequid bedingt. (E) Trigote Quergel sind gehäuft susmin. Keine absoluten Begriffe, um Falschantworten eindeutig falsch zu machen Institut für Medizinische Lehre René Krebs 27

Prinzip 7: ungewollte Lösungshinweise vermeiden l alle Antworten grammatikalisch zum Stamm passend l Falschantworten möglichst gleich lang und differen- ziert wie die richtige Antwort l keine Hinweise, welche die Aufmerksamkeit auf 2 -3 Antworten einschränken l keine Konvergenz-Cues l keine verbalen Assoziationen zwischen Stamm und richtiger Antwort l keine absoluten Begriffen wie 'nie', 'immer', um Aussagen eindeutig falsch zu machen l keine Reihungs- oder Positions-Cues Institut für Medizinische Lehre René Krebs 28

Erweiterte Szenarien Plenum Lektion FA Durchführung Individuell Schriftlich (z. B. im LMS) Autofeedback Automatische Auswertung (MC) Institut für Medizinische Lehre Peer. Korrektur

Erweiterte Szenarien Plenum Lektion FA Durchführung Individuell Schriftlich (z. B. im LMS) Autofeedback Automatische Auswertung (MC) Institut für Medizinische Lehre Peer. Korrektur

Erweiterte Szenarien Plenum FA Durchführung Goodie Lektion Individuell Schriftlich (z. B. im LMS) Autofeedback Automatische Auswertung (MC) Institut für Medizinische Lehre Peer-Korrektur

Take home message 1: Beim formativen Assessment ist Feedback relevant für den Lernprozess. Institut für Medizinische Lehre

Take home message 2: Beim formativen Assessment sind falsche Antworten der Lernenden auf gut gestellte Fragen der Leitung Indikatoren für die Qualität des Lernprozesses und der Lerneinheit. Institut für Medizinische Lehre

Slides und weiterführende Unterlagen http: //goo. gl/a. Ap. RI Beim letzten Buchstaben der URL handelt es sich um ein grosses ‘i’. . Die URL beginnt mitt goo. gl (wie googl(e). . ) es handelt sich hier um ein kleines ‘l’ Institut für Medizinische Lehre