3 SPSSAcademic Convention Weimar 16 17 Juni 2004

3. SPSS-Academic Convention Weimar – 16. /17. Juni 2004 Zur Wirksamkeit von Practice Tests am Beispiel der Klausur Deskriptive Statistik Michael Westermann und Bianca Krol Universität Duisburg-Essen – Campus Essen – FB Wirtschaftswissenschaften 16. Juni 2004

Agenda 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests

Situation 1. Bestandsaufnahme • 2. Practice Tests 3. Methodische Vorgehensweise • 4. Ergebnisse • 5. Fazit • 3. SPSS–Academic Convention Statistik als Pflichtveranstaltung für Studierende der Fächer Betriebswirtschaftslehre (BWL), Wirtschaftsinformatik (WIINF), Bachelor of Arts in Economics (BA) Inhalte sind Deskriptive Statistik, Induktive Statistik und Wirtschaftsstatistik Klausuren werden jeweils zu zwei Terminen gestellt (Haupttermin/Nachtermin) Konstant hohe Durchfallquoten sowohl in den Klausuren zur Deskriptiven Statistik als auch zur Induktiven Statistik Michael Westermann/Bianca Krol – Practice Tests

Punkteverteilung der Klausur Deskriptive Statistik 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit 3. SPSS–Academic Convention Anzahl ø Punkte Durchfallquote 442 308 99 35 43, 3 42, 7 48, 0 35, 3 59, 95 % 61, 69 47, 47 80, 00 Michael Westermann/Bianca Krol – Practice Tests Anmerkung: Insgesamt konnten 120 Punkte erzielt werden.

Weitere Fakten 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit 3. SPSS–Academic Convention Anzahl ø Punkte Durchfallquote m 291 43, 9 64, 23 % w 137 41, 8 58, 08 % deutsch 362 44, 7 56, 91 % andere 79 37, 1 73, 42 % HT 261 41, 2 66, 67 % NT 137 46, 2 50, 28 % Geschlecht Nationalität Termin Michael Westermann/Bianca Krol – Practice Tests

Practice Tests in der empirischen Sozialforschung 1. Bestandsaufnahme • - 2. Practice Tests 3. Methodische Vorgehensweise Methoden zur Steigerung des Lernerfolgs • Vorstellung einer teaching-testing-machine von Pressey (1926) - Probeklausuren - Dozentenreviews - permanente Lernerfolgskontrolle durch Übungsblätter Arten von Feedback 4. Ergebnisse - 5. Fazit - • Empirische Untersuchungen zur Auswirkung von Practice Tests und Feedbackformen auf die tatsächlichen Prüfungsleistungen - 3. SPSS–Academic Convention itemspezifisches Feedback (answer-untilcorrect)/Kennzahlen sofortiges Feedback/verzögertes Feedback Dempsey/Litchfield/Driscoll (1993), Bol/Hacker (2001), Epstein/Brosvic (2001), Jacobs (2001), Epstein et al. (2002), Dihoff/Brosvic/Epstein (2003) Michael Westermann/Bianca Krol – Practice Tests

Practice Tests im Fach Statistik 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit • Semesterbegleitende Ausgabe von Übungsblättern (5 Stück) • Korrektur der Übungsblätter durch Mitarbeiter des Lehrstuhls Rückgabe der korrigierten Übungsblätter (mit Musterlösung) • ® Den Studenten wird eine realistische Einschätzung der eigenen Leistung ermöglicht ® Lerndefizite werden aufgedeckt ® Die Motivation der Studenten, die Defizite bis zur tatsächlichen Prüfung zu beseitigen, wird angeregt Þ Erfolg versprechende Maßnahme 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests

Erste Ergebnisse 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit 3. SPSS–Academic Convention Anzahl ø Punkte Durchfallquote 442 43, 3 59, 95 % ja 108 49, 9 44, 44 % nein 334 41, 1 64, 97 % 1 34 44, 5 58, 82 % 2 25 52, 9 32, 00 % 3 19 49, 5 52, 63 % 4 14 50, 1 50, 00 % 5 16 57, 3 18, 75 % Insgesamt Practice Test Anz. der Übungsblätter Michael Westermann/Bianca Krol – Practice Tests

Methodische Vorgehensweise 1. Bestandsaufnahme • Deskriptive Analyse – Bestimmung von Odds und Odds-Ratios – c 2 -Test auf Unabhängigkeit 2. Practice Tests 3. Methodische Vorgehensweise • Regressionsrechnung zur Bestimmung der Determinanten des Klausurerfolgs – lineare Einfachregression – Logit-/Probit-Schätzung 4. Ergebnisse 5. Fazit 3. SPSS–Academic Convention • Berücksichtigung der Selektionsverzerrung Michael Westermann/Bianca Krol – Practice Tests

Schätzproblem bei Selbstselektion 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit • Teilnahme an der lernfördernden Maßnahme ist freiwillig • Selbstselektion führt bei Nichtberücksichtigung zu verzerrten Schätzergebnissen ® Selektionsmodell von Heckman (1976) berücksichtigt die Selektionsverzerrung Lösung 1. Bestimme die Wahrscheinlichkeit einer Teilnahme am Practice Test 2. Berücksichtigung dieser Wahrscheinlichkeit in der eigentlichen Schätzgleichung Þ 3. SPSS–Academic Convention Erwartungstreue Schätzung der Einflussfaktoren Michael Westermann/Bianca Krol – Practice Tests

Deskriptive Analyse 1. Bestandsaufnahme • Die Wahrscheinlichkeit, die Klausur zu bestehen beträgt nur ungefähr 2/3 der Wahrscheinlichkeit, die Klausur nicht zu bestehen. Chance=0, 4005/0, 5995=0, 6681 • Durch die Teilnahme am Practice Test steigt die Chance einer erfolgreichen Klausurteilnahme signifikant an. Odds. Ratio=1, 25/0, 54=2, 3188 (statistisch signifikant zum 1%Niveau) Die Chance einer erfolgreichen Teilnahme steigt mit der Anzahl der bearbeiteten Übungsblätter an. 0, 7 bei einem Blatt; 4, 33 bei allen bearbeiteten Blättern Die Nationalität und der Klausurerfolg sind nicht unabhängig. Odds-Ratio = 2, 0914 (statistisch signifikant zum 1%-Niveau) Kein signifikanter Zusammenhang zwischen Geschlecht und Klausurerfolg 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse • 5. Fazit • • 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests

Schätzergebnisse der Regressionsanalyse 1. Bestandsaufnahme Variable b 0 Logit -1, 8575*** Probit -1, 1454*** OLS 29, 9364*** (-4, 57) (-4, 31) (11, 12) 0, 2785** 0, 1679** 2, 4960** (2, 13) (2, 10) (2, 51) 0, 4282*** 0, 2594*** 3, 6812*** (4, 79) (5, 07) (5, 34) 0, 1259 0, 0739 0, 4967 (1, 22) (1, 15) (0, 71) -0, 0467 -0, 0278 -0, 2429 (-0, 81) (-0, 86) (-0, 59) -0, 6457** -0, 3836** -3, 7208* (-2, 41) (-2, 31) (-1, 88) 0, 8484** 0, 5325*** 7, 8821*** (2, 57) (2, 61) (3, 31) 0, 3307 0, 1962 2, 3369 (1, 35) (1, 37) (1, 41) NAT 0, 8790*** 0, 5480** 7, 7749*** Beob. (pseudo) R 2 (3, 00) 426 0, 1101 (2, 92) 426 0, 1103 (4, 35) 426 0, 1711 STUDIUM 2. Practice Tests 3. Methodische Vorgehensweise NR_UEB SEM ALTER 4. Ergebnisse 5. Fazit TERMIN VTERMIN GESCHLECHT Anmerkung: Abhängige Variable ist ERFOLG sowie PUNKTE. Die t-Werte sind in Klammern angegeben. ***/**/* bedeutet signifikant zum 1%/5%/10%-Niveau. Robuste Standardfehlerschätzung mittels Verfahren von Huber/White. 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests

Berücksichtigung der Selektionsverzerrung 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 1. Schritt: Selektionswahrscheinlichkeit 2. Schritt: Regressionsgleichung UEB Probit PUNKTE OLS STUDIUM -0, 3735*** NR_UEB 3, 5236*** (-9, 49) SEM -0, 1154* (2, 60) TERMIN (-1, 64) 4. Ergebnisse 5. Fazit ALTER 0, 0707** 4, 2317 (0, 79) VTERMIN (2, 22) 14, 2242*** (2, 22) GESCHLECHT 1, 670 (0, 45) NAT 12, 5953*** (2, 76) λ 19, 8020*** (4, 29) Beob. 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests 439

Vergleich der ermittelten Effekte 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit 3. SPSS–Academic Convention OLS Heckma n OLS NR_UEB 3, 6812 3, 5236 überschät zt TERMIN -3, 7208 4, 2317 VTERMIN 7, 8821 14, 2242 GESCHLECHT 2, 3369 1, 670 NAT 7, 7749 12, 5953 unterschät zt Michael Westermann/Bianca Krol – Practice Tests

Fazit 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit 3. SPSS–Academic Convention • Die Klausurergebnisse im Fach Statistik schwanken über die unterschiedlichen Studiengänge stark • Die Einführung von zu bearbeitenden Übungsblättern entspricht einer lernfördernden Maßnahme im Sinne von Practice Tests • Diese Maßnahme hat auf den ersten Blick einen positiven Effekt auf die Klausurergebnisse der Studierenden • Weitere Einflussfaktoren sind die Nationalität, eine wiederholte Klausurteilnahme sowie die Häufigkeit der Bearbeitung der Übungsblätter Michael Westermann/Bianca Krol – Practice Tests

Fazit 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit 3. SPSS–Academic Convention • Die Teilnahme an einer lernerfolgsfördernden Maßnahme unterliegt jedoch der Selbstselektion - Die Wahrscheinlichkeit einer Teilnahme am Practice Test wird vom Studiengang, dem Alter der Studierenden und von der Semesterzahl beeinflusst • Bei Berücksichtigung des Selektionsprozesses ändern sich die Ergebnisse nicht von der Tendenz, wohl aber in ihrer Intensität. – Der Effekt der Practice Tests wird leicht überschätzt – Der Effekt einer wiederholten Klausurteilnahme wird deutlich unterschätzt – Ausländische Studierende erreichen signifikant schlechtere Ergebnisse als deutsche Studierende Michael Westermann/Bianca Krol – Practice Tests

Kontakt Michael Westermann Anschrift Universität Duisburg-Essen – Campus Essen – Fachbereich Wirtschaftswissenschaften Universitätsstr. 12 45112 Essen e-Post westermann@vwl. uni-essen. de Homepage www. vwl. uni-essen. de/westermann/

Klausurerfolg – Chancen, Odds-Ratio und c 2 Test Bestanden Chance Odds-Ratio c 2 1. Bestandsaufnahme 2. Practice Tests 3. Methodische Vorgehensweise 4. Ergebnisse 5. Fazit Insgesamt 40, 05 % 0, 67 ja 55, 56 % 1, 25 nein 35, 03 % 0, 54 Practice Test 2, 32 14, 32*** Anz. der Übungsblätter 1 41, 18 % 0, 70 2 68, 00 % 2, 13 3 47, 37 % 0, 90 4 50, 00 % 1 5 81, 25 % 4, 33 m 35, 77 % 0, 56 w 41, 92 % 0, 72 deutsch 43, 09 % 0, 76 andere 26, 58 % 0, 36 HT 33, 33 % 0, 5 NT 49, 72 % 0, 99 23, 97*** Geschlecht 0, 7716 1, 47 2, 09 7, 36*** 0, 51 11, 96*** Nationalität Termin Anmerkung: *** bedeutet signifikant zum 1%-Niveau 3. SPSS–Academic Convention Michael Westermann/Bianca Krol – Practice Tests