Leistungssteigerung durch Notendruck Die Wirkung der Benotung auf
Leistungssteigerung durch Notendruck ? Die Wirkung der Benotung auf die Studierleistungen in einem Seminar Quellen: URN: urn: nbn: de: bsz: 291 -psydok-25299 URL: http: //psydok. sulb. uni-saarland. de/volltexte/2009/2529/ http: //www. phil. uni-sb. de/~jakobs/wwwartikel/extrinsische_motivierung/notendruck/notenanreiz. html Bernhard Jacobs 12. 5. 2011 1
Motivierung zum Lernen Intrinsische Lernmotivation Interesse am Lerngegenstand und Freude bei der Lernaktivität pädagogisch wertvoll tiefe Verarbeitung des Wissens viele theoretische Ergüsse (Selbstbestimmung, Flow, Interesse…) schwer im Schulalltag zu finden noch schwieriger pädagogisch zuverlässig anzuregen Extrinsische Lernmotivation (mehrere Facetten) Lernen nur wegen der erwarteten Konsequenzen pädagogisch bedenklich oberflächliche Verarbeitung ? theoretisch uninteressant: sehr nahe am common sense zuverlässig im Schulalltag zu finden bestimmt den größten Teil schulischer Motivierung Sehr wenige empirische Studien! Bernhard Jacobs 12. 5. 2011 2
Untersuchungsziel Quiz: benotet gegen Quiz: unbenotet, aber verpflichtend Ausgangsfrage Reicht das verpflichtende Angebot eines unbenoteten Online-Quiz mit vielfältigen Rückmeldungen aus, die Studierleistungen in einem durch Notenbedrohung analogen Ausmaß zu fördern ? Realistische Erwartung : nein Bernhard Jacobs 12. 5. 2011 3
Wichtige Forschungsfragen Kognitive Leistung • • Fällt die Leistung im benoteten Quiz besser aus? Bleibt der vermutete Leistungsvorteil länger erhalten? Impliziert der vermutete Leistungsvorteil auch ansatzweise einen Wissenstransfer? Verbessern auch unbenotete Quiz die Lernleistung? Motivationale Anreize bzw. Auswirkungen der Benotung • • • Erhöht sich die Bedeutsamkeit, im Quiz gut abzuschneiden? Verbessert sich die Vorbereitung auf das Quiz? Steigert Benotung die aktuelle Angst vor dem Quiz ? Bernhard Jacobs 12. 5. 2011 4
Hypothesen Höhere Bedeutsamkeit guter Leistungen Quizbenotung mehr aktuelle Angst vor Quiz Intensivere Vorbereitung auf das Quiz höhere Testmotivation Lehrstoff erlernbar Stabilität der Leistung ? Höhere Quizleistung Bernhard Jacobs 12. 5. 2011 5
Untersuchungseinheiten 4 Proseminare Pädagogische Diagnostik des WS 2008/2009 Dozent: für alle 4 Seminare gleich [Verfasser] Unterrichtsmethode: Lehrervortrag mit Powerpoint Lerngrundlage: Seminarsitzung, verfügbare Powerpoint-Folie Quiz 1 für alle: Aufgabentypen und Aufgabenformen 2 Seminare Diagnostik Grundlagen 2 Seminare Diagnostik Aufgaben Quiz 2 a : Skalen, Stichproben …… …… Quiz 5: Aufgabenanalyse Quiz 2 b: Aufgaben und Feedback Bernhard Jacobs 12. 5. 2011 6
Unabhängige Variable Für alle Bedingungen gilt: • Quiztermin angekündigt und lange bekannt • Quizteilnahme: verpflichtend • Quizfunktion: Überprüfung zuvor präsentierten Lehrstoffs; Vorbereitung ca. 7 Tage. • Quizlehrziele: sehr transparent, überwiegend Verständnis und Anwendung • Umfang der Quizlehrziele ca. 1 bis 2 Seminarsitzungen EG benotet Quizgewichtung für Seminarnote 25 -33 % Prüfungsform streng kontrolliert im Seminar frei, Beantwortung aller Aufgabenbearbeitung Aufgaben wurde angeregt. Testzeit relativ großzügig bemessen KCR after test im Seminar Feedback % korrekter Antworten nach einigen Wochen Bernhard Jacobs KG unbenotet 0% online zu Hause; ohne externe Kontrolle, alle Aufgaben waren zwingend zu beantworten beliebig lange KOR, KCR und EF after item; % korrekter Antworten unmittelbar nach Quiz 12. 5. 2011 7
Abhängige Variable Leistung im Quiz: Welchen Einfluss hat die Benotung auf das Quizergebnis ? Leistung im Parallelretest nach einer Woche Bleibt der erwartete Leistungsunterschied erhalten ? Leistung in der unbenoteten Abschlussklausur/quiz Ist ein Leistungsunterschied noch nach 4 -8 Wochen feststellbar ? Checkliste der Quiz Aufgabenformen: Quiz 1: Aufgabenformen : Aufgabenanzahl: 21 a Quiz: Retest/Kriterium : Aufgabenanzahl: 22 a Parallel-Retestreliabilität rtt Abschlussquiz Aufgabenformen : Aufgabenanzahl: 12 a Bernhard Jacobs 12. 5. 2011 = = . 78. 76. 64. 65 N=108 N=114 N=103 N=107 8
Aufgaben /Wissen, Verstehen, Anwenden Verschiedene Aufgabenformen, alle maschinell auswertbar Aufgaben in Quizwiederholungen 50% identisch 50% parallel naher Transfer Beispiel für Short Answer Aufgabe [Aufgabenformen] Wie hoch ist die Wahrscheinlichkeit, eine einfache MC-Aufgabe…. Aufgabe 3 [Quiz 1] mit 5 Antwortoptionen durch Zufall korrekt zu beantworten ? Aufgabe 3 [Retestquiz] mit 4 Antwortoptionen durch Zufall korrekt zu beantworten ? Aufgabe 3 [Abschlussquiz] mit 4 Distraktoren und einer korrekten Antwort durch Zufall korrekt zu beantworten ? Bernhard Jacobs 12. 5. 2011 9
Beispiel Zuordnungsaufgabe /Skala Bernhard Jacobs 12. 5. 2011 10
Untersuchungsvorgehen Diagnostik Grundlagen Diagnostik Aufgaben Seminar 1 2 3 4 R R B A B A A B Versuchsplan 10. 11. 2008 17. 11. 2008 1. 12. 2008 9. 2. 2009 Quiz 1 Parallel retest zu Quiz 1 Quiz 2 . . Abschlussquiz zu Quiz 1 und 2 R Gruppe A: benotet unbenotet R Gruppe B: unbenotet unbenotet Bernhard Jacobs 12. 5. 2011 11
Wirkung der Benotungsankündigung auf die Leistung im Quiz 1 Korrekte Lösungen [%] in Quiz 1 [Aufgabentypen] Quiz benotet: Quiz unbenotet: M s 80. 1 7. 5 14. 5 t(106): 4. 4 p : 0. 001 d : . 87 Bernhard Jacobs 12. 5. 2011 12
Auswirkung der Benotung von Quiz 1 auf das Behalten eine Woche nach dem Quiz Prozentsatz korrekter Lösungen im unbenoteten und unangekündigten Parallelretest Aufgabenformen: M s N t p d Quiz 1 benotet: 78. 5 9. 0 54 5. 3 0. 001 1. 04 Quiz 1 unbenotet: 66. 3 14. 0 49 Abschlussklausur, unangekündigt und unbenotet: 8 Wochen später Vorteil für benotetes Quiz bleibt weitgehend erhalten. Effektstärke im mittleren Bereich Zusammenfassung: Leistungsvorteile für benotetes Quiz in Effektstärke im Quiz 1 . 87 nach 1 Woche 1. 04 Bernhard Jacobs nach 8 Wochen . 53 12. 5. 2011 13
Replikation des Benotungseffektes bei Quiz 2 Bernhard Jacobs 12. 5. 2011 14
Replikation : Quiz 3 und 4 Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik Quiz 3 Quiz 4 Statistik R R Gruppe A: Gruppe B: Testgütekriterien . . benotet. . unbenotet Ergebnisse im Quiz d=. 59 Abschlussquiz unbenotet. . . unbenotet Ergebnisse im Abschlussquiz: d=. 99 Quiz 3 Quiz 4 benotet 76. 4 76. 7 unbenotet 69. 3 70. 0 d Bernhard Jacobs 12. 5. 2011 . 57* . 25 15
Unbenotete Quiz besser als gar nichts ? Versuchsplanerweiterung für die Seminare: Grundlagen der Diagnostik Abschlussquiz R R Gruppe A: . . . unbenotetes Quiz Gruppe B: . . . kein Quiz. . . unbenotetes Quiz unbenotet Ergebnis: Bei einem Quiz bessere Ergebnisse, beim anderen Quiz kein Leistungsvorteil im Abschlussquiz Kritik: Zu wenige Items im Kriteriumstests [Abschlussquiz] Bessere Überprüfung der Fragestellung siehe Leistungssteigerung ohne Notendruck ? -Die Wirkung verpflichtender , unbenoteter Quiz auf die Studierleistung Bernhard Jacobs 12. 5. 2011 16
Höhere Angst bei benotetem Quiz ? verstärkt Quizbenotung bewirkt Höhere Bedeutsamkeit guter Leistungen Bernhard Jacobs 12. 5. 2011 17
Höhere Bedeutsamkeit guter Leistungen ? Erhebung Es ist für mich sehr wichtig, in diesem Quiz gut abzuschneiden Das Ergebnis im Quiz hat für mich keine besondere Bedeutung. (-) "stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5). Ergebnis Quiz 4. 0 4. 4 3 4 benotet unbenotet M 3. 1 3. 0 4. 3 4. 1 M 1. 00 2. 18 3. 3 2. 8 Effektstärke d 2 a 2 b 1. 15 1. 85 Fazit Die benoteten Quiz erhöhten die Bedeutsamkeit guter Leistungen konsistent in einem praktisch sehr bedeutsamen Ausmaß Bernhard Jacobs 12. 5. 2011 18
Aktuelle Angst unmittelbar vor dem Quiz 1 und 2 d=. 55 Bernhard Jacobs d=. 73 12. 5. 2011 19
Angst unmittelbar vor dem Quiz 3 und 4 [Replikation] Gruppe A: erst benotet, dann unbenotet Gruppe B: erst unbenotet, dann benotet Aktuelle Prüfungsangst (SPA) d=. 69 d=1. 03 Quiz 4 Bernhard Jacobs 12. 5. 2011 20
Quizvorbereitung und Testmotivation Quizbenotung Intensivere Vorbereitung auf das Quiz Höhere Bedeutsamkeit guter Leistungen höhere Testmotivation subjektiv eingeschätzte Quizvorbereitung 1. ) Ich hatte mich vor dem Quiz wenig mit dem Thema Skalen und Stichproben befasst. (-) 4. ) Ich hatte die Folien des Seminars zu Skalen und Stichproben durchgearbeitet. 6. ) Ich hatte mich auf die Themen und Inhalte des Quiz gut vorbereitet. Zeit für Quizvorbereitung 16. ) Ich schätze die für das Quiz investierte Vorbereitungszeit auf ? Minuten. Investierte 2. ) Ich habe alle meine Kräfte eingesetzt, um das Quiz aufmerksam zu bearbeiten. Anstrengungsbereitschaft 5. ) Ich habe das Quiz voll konzentriert mit höchster Anstrengung bearbeitet. 7. ) Ich sah keine Veranlassung, mich im Quiz ganz besonders anzustrengen. (-) [Testmotivation] "stimmt überhaupt nicht" (=1) "stimmt ganz genau" (=5). Bernhard Jacobs 12. 5. 2011 21
Quizvorbereitung und Testmotivation benotet nicht Effektbenotet stärke d Quizvorbereitung 2 a 2 b 3 4 4. 1 4. 3 4. 0 3. 0 2. 9 3. 1 2. 4 1, 32 2. 00 0. 99 1. 82 Zeit für Quizvorbereitung in Minuten 2 a 2 b 3 4 135. 8 74. 8 78. 8 95. 7 35. 8 24. 2 28. 4 24. 2 1. 90 1. 31 1. 33 1. 60 Anstrengungsbereitschaft 1 2 a 2 b 3 4 4. 6 4. 4 4. 5 4. 6 4. 3 3. 8 3. 7 1. 13 1. 05 1. 24 1. 27 0. 70 Alle Ergebnisse stützen die Erwartungs-mal-Werttheorie deutlich und konsistent Bernhard Jacobs 12. 5. 2011 22
Resumé Bernhard Jacobs 12. 5. 2011 23
Resumé und einige Implikationen • Noten bewirken bessere Leistungen als keine Noten: trivial ? nicht trivial: Leistungsvorteil bleibt einige Zeit erhalten; kein rein oberflächliches Lernen. • Leistungsvorteil erzielt durch bessere und mehr Vorbereitung Lernleistung=(realisierte Lernzeit / benötige Lernzeit) [Caroll] • Mehr Leistung auch erkauft durch höhere Angst und Stress • Systemimmanente Rationalität der Studierenden. „Lerne wegen der instrumentellen Folgen, Bleib locker, wenn nicht prüfungsrelevant“ • Studienkonzeption zwingt zu nutzenorientiertem Studium, begünstigt extrinsische Haltung zur Arbeit und Leistung. Gute Vorbereitung für die „Erfolgsgesellschaft“ • Die bessere Leistung benoteter Quiz erzwingt keineswegs die verstärkte Anwendung benoteter Quiz. Denn aus dem Sein folgt bekanntlich nicht das Sollen. • Benotete Quiz führen nicht zwingend zu besseren benoteten Abschlussklausuren, weil die Notenerwartung der Klausur die Vorbereitung auf die Abschlussklausur intensiviert. • Auch unbenotete Quiz fördern die Leistung, wenn auch weniger stark und zuverlässig. Bernhard Jacobs 12. 5. 2011 24
- Slides: 24