Schulleistungsuntersuchungen Wie macht man PISA Eine Anleitung in

Schulleistungsuntersuchungen: Wie macht man PISA? Eine Anleitung in 9 Schritten Martin Brunner 8. 5. 2006 Max-Planck-Institut für Bildungsforschung brunner@mpib-berlin. mpg. de Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

1. Man lernt von den Vorgängerstudien 1958: internationale Pilotstudie 1967: FIMS (First International Mathematics Study) durchgeführt von der International Association for the Evaluation of Educational Achievement (IEA) 1985/86: Classroom Environment Study 1994 -96: TIMSS 2000: PISA durchgeführt von der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

2. Studienziele: Welche Fragen soll uns PISA beantworten? Basisindikatoren der Kenntnisse und Fähigkeiten von Jugendlichen Kontextindikatoren des Bildungssystems (demographischer, sozialer und wirtschaftlicher Hintergrund) Zusammenhänge zwischen individuellen Hintergrundmerkmalen, schulischen Kontextmerkmalen und Leistungsergebnissen Trendindikatoren Grenzen von PISA: Keine Kausalinterpretation zulässig! Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

3. Wer zahlt und wer macht´s? Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) Bundesministerium für Bildung und Forschung und Ständige Konferenz der Kultusminister der Länder PISA als politiknahe kulturvergleichende Bildungsforschung Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

4. Konstruktdefinition: Was genau wollen wir messen? PISA § normatives Grundbildungskonzept § Verzicht auf transnationale curriculare Validität Grundbildung in PISA § funktionalistische Anwendung von Basiskompetenzen in authentischen Situationen § Eröffnung von Lebenschancen Lesekompetenz als die Fähigkeit geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen Mathematische Grundbildung als die Fähigkeit, die Rolle zu erkennen und zu verstehen, die Mathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als konstruktivem, engagiertem und reflektierten Bürger entspricht Naturwissenschaftliche Grundbildung als die Fähigkeit, naturwissenschaftliches Wissen anzuwenden, naturwissenschaftliche Fragen zu erkennen und aus Belegen Schlussfolgerungen zu ziehen, um Entscheidungen zu verstehen und zu treffen, die natürliche Welt und die durch menschliches Handeln an ihr vorgenommen Veränderungen betreffen. Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

5. Welche Schüler machen mit? Populationsdefinition nach Schulalter (z. B. die Neuntklässler) PISA: Populationsdefinition nach Lebensalter - 15 -Jährige § Vorteil: zuverlässige Erfassung des kumulativen Bildungsertrags innerhalb einer definierten Lebensspanne § Nachteil: eingeschränkte Möglichkeit gefundene Unterschiede auf institutionelle Bedingungen zurückzuführen (z. B. bei gleichem Lebensalter Besuch unterschiedlicher Klassenstufe aufgrund unterschiedlicher Einschulungs- und Klassenwiederholungsregelungen) Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

5. Welche Schüler machen mit? PISA-2000: 32 Länder, 180. 000 Jugendliche PISA-2003: 41 Staaten (davon 30 OECD) und 250. 000 15 -jährige Jugendliche! Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

6. Wie kriegen wir eine Zufallsstichprobe der 15 -Jährigen? Proportional/disproportional stratifizierte Wahrscheinlichkeitsstichprobe von Schulen (mit 15 Jährigen) unabhängig von ihrer Trägerschaft § Ziehungswahrscheinlichkeit einer Schule war proportional zu ihrer Größe: 220 Schulen in Deutschland § Innerhalb einer Schule: zufällige Ziehung von 15 -Jährigen unabhängig von der besuchten Klassenstufe: 5073 15 -Jährige Ausschluß § Wenn aus geistig, emotionalen oder körperlichen Gründen nicht die Möglichkeit bestand, selbständig an den Testsitzungen teilzunehmen (z. B. Schüler an Schulen für geistig, körperlich und mehrfach Behinderte) § Waldorfschulen (in PISA-2000; aber in PISA-2003 dabei) Weltweit bei PISA-2000: etwa 180. 000 Schüler aus 32 Ländern Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

7. Wie konstruieren wir die Tests? Entwicklung und Sammlung von Testaufgaben auf Grundlage der Rahmenkonzeptionen der Basiskompetenzen durch internationale Expertengruppe Übersetzung der Testaufgaben § § § § Ausgangspunkt: Testaufgaben liegen in englischer und französischer Sprache vor Übersetzung beider Versionen durch zwei unabhängige Übersetzer in die Landesprachen Zusammenführung der zwei Landessprachenversionen durch dritten unabhängigen Übersetzer Überprüfung der zusammengeführten Version durch nationale Expertengruppen Überprüfung der zusammengeführten Version durch Übersetzer, die von der internationalen Expertengruppe geschult wurden Feldtest Überarbeitung der Testaufgaben auf Grundlage der Feldtestergebnisse Überprüfung durch Übersetzer der internationalen Expertengruppe Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

8. Wie führen wir PISA durch? Studienkoordinatoren § § § Management: OECD-Paris Wissenschaft: ACER Australien Nationale Projektmanager : MPI in Berlin (2000) / IPN in Kiel (ab 2003) PISA-Schulkoordinatoren Data-Processing Center in Hamburg: § § Stichprobenziehung geschulte Testleiter Einscannen der bearbeiteten Testhefte Kodierung der offenen Antworten Moderne methodische Verfahren: § Multi-Matrix Testadministrationsdesign § Item-Response-Theorie § complex sampling Modelle Testsicherheit und Datenschutz Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

9. Was kommt raus? Mittlere Länder-Leistungen in PISA-2000 Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner

9. Was kommt raus? Mittlere Länder-Leistungen in PISA-2003 Lesen Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner Mathematik

9. Was kommt raus? Sozialer Gradient in PISA-2000 Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) • Martin Brunner