Dortmunder Akademie fr pdagogische Fhrungskrfte Konsequenzen aus SchulleistungsstudienBildungsmonitoring
Dortmunder Akademie für pädagogische Führungskräfte Konsequenzen aus Schulleistungsstudien/Bildungsmonitoring und ihre Umsetzung auf der Ebene: Einzelschule/Unterricht Ein Input von Prof. Dr. H. G. Rolff Auf dem OECD/CERI Regionalseminar deutschsprachigen Länder in Potsdam, am 27. September 2007 Hans-Günter Rolff Potsdam 09/2007 1
Dortmunder Akademie für pädagogische Führungskräfte 1. Vom Datenloch zum Datenhoch Daten sind das eigentlich Neue Es sind kaum 10 Jahre her, da hatten Schulen und Schulbehörden so gut wie gar keine Daten Seit 10 Jahren ist eine unerwartete und ungeheure Datenfülle herangewachsen „Mir werden haufenweise Daten über den Zaun geworfen, ohne dass klar ist, was sich damit anfangen soll“ (Ein Schulleiter) Der Datenhunger kommt nicht aus den Schulen, sondern aus den Behörden Hans-Günter Rolff Potsdam 09/2007 2
Dortmunder Akademie für pädagogische Führungskräfte 2. Datenquellen 2. 1 System-Monitoring § TIMMS § PISA (1, 2 und im Dezember 3) § IGLU (1 und im Dezember 2) § DESI Merkmale: Stichprobenerhebungen Für Behörden gedacht; zur Entwicklung von Einzelschulen nicht geeignet, weil der Stichprobenfehler (Schätzfehler) zu groß ist Hans-Günter Rolff Potsdam 09/2007 3
Dortmunder Akademie für pädagogische Führungskräfte 2. 2 Lernstandserhebungen § Jahrgang 4, jetzt 3 (VERA) § Jahrgang 9, jetzt 8 (LSE) Merkmale: Vollerhebungen Für Schulen und Klassen valide, deshalb für Schulund Unterrichtsentwicklung geeignet. Für die Diagnose von einzelnen Schülern nicht geeignet, weil keine diagnostischen Tests benutzt werden Gute Handreichung des MSW-NRW zur Nutzung der Daten Hans-Günter Rolff Potsdam 09/2007 4
Dortmunder Akademie für pädagogische Führungskräfte 2. 3 Schulinspektion/Qualitätsanalyse Vorteil: „Breites“, umfassendes Qualitätsverständnis (gegen Trend zur „Drei-Fächer-Schule“) Problem: Wird häufig vor interner bzw. Selbst-Evaluation durchgeführt (wenn noch keine Evaluationskultur in der Schule entstanden ist) Wirksamer ist umgekehrte Reihenfolge Hans-Günter Rolff Potsdam 09/2007 5
Dortmunder Akademie für pädagogische Führungskräfte 2. 4 Service-Agenturen § IFS-Barometer § SEIS (Selbstevaluation in Schulen) § IQES (Schweiz) § andere Vorteil: Unaufwändig und preiswert Problem: Nicht schulgenau Hans-Günter Rolff Potsdam 09/2007 6
Dortmunder Akademie für pädagogische Führungskräfte 2. 5 Schuleigene, selbsterhobene Daten § Handreichungen zur Selbstevaluation der Ministerien § Evaluationshandbücher § Internetseite des IFS (www. ifs-dortmund. de – Link: Service – Link: Werkzeugkasten) § Andere „Instrumenten-Koffer“ Vorteil: Die Forschung sagt, selbsterhobene Daten sind am wirksamsten für Schul- und Unterrichtsentwicklung Problem: Aufwändig Hans-Günter Rolff Potsdam 09/2007 7
Dortmunder Akademie für pädagogische Führungskräfte 3. Datenreich und wissensarm? - Grundsätzliches Es gibt noch mehr Datenquellen: § Ergebnisse zentraler Prüfungen § Schulstatistik („Oktoberstatistik“) § Kostendaten § Sozialindex § usw. Aber was folgt aus ihnen? Zunächst nichts! Hans-Günter Rolff Potsdam 09/2007 8
Dortmunder Akademie für pädagogische Führungskräfte Juxtapositionsverhältnis von Datenrückmeldung und Nutzung – Rückmeldungen sind Interventionen „Das System, in das interveniert wird, entscheidet selbst, was es damit anfängt. “ Variationen von Datensätzen Variationen von Erläuterungen Beratung/Trainings Daten-Rückmeldungen ? an Auftraggeber: System Monitoring Lehrplan Programme Ressourcen Bildungspolitik Hans-Günter Rolff an Einzelschulen: Innerschulische Nutzung Schulleitung Fachkonferenzen Fachlehrer Schulentwicklung Potsdam 09/2007 9
Dortmunder Akademie für pädagogische Führungskräfte Zum Juxtapositionsverhältnis „Zwei-Welten-Theorie“ § Wissenschaftliches Wissen vs. praktisches bzw. Handlungswissen § Serienregelung vs. Einzelfallregelung § Diagnose vs. Therapie Zudem: Lehrpersonen haben eine „funktionale Vetostellung“ (Brüsemeister) Also: Nur „lose Kopplung“ von zentraler Steuerung (via Daten) und innerschulischer Nutzung Hans-Günter Rolff Potsdam 09/2007 10
Dortmunder Akademie für pädagogische Führungskräfte Lösungs-Perspektive Es handelt sich nicht um Unvereinbarkeit, aber um komplexe „Übersetzungsprozesse“, die über technische Lösungen oder Patentrezepte (z. B. „Druck machen“) weit hinausgehen. Auch Rekontextuierung genannt Sie setzen Kompetenz voraus (Datennutzung und Schulentwicklung) Sie setzen Vertrauen voraus. Überall, wo Menschen mit anderen kooperieren müssen, die sie nicht kennen, ist Vertrauen notwendig (Brüsemeister) Hans-Günter Rolff Potsdam 09/2007 11
Dortmunder Akademie für pädagogische Führungskräfte Wandel durch Datennutzung (nach Argyris) te er d n rä ve s Mentales Modell von Handlungen geschlossener Kreislauf implizite Gebrauchstheorie veränderte Handlung erweiterter Kreislauf explizite neues Handlungswissen Gebrauchstheorie ~ ~ Überprüfung der Handlung durch datengestützte Intervention Verlautbarte Theorie IFS- Rolff 06/02 Hans-Günter Rolff Potsdam 09/2007 12
Dortmunder Akademie für pädagogische Führungskräfte Umgang mit Daten ist Professionalisierung Professionalität verlangt traditionell nach einem akademischen Hintergrund, orientiert sich an Einzelfällen und setzt eine gewisse Autonomie der Berufsausbildung voraus. Zeitgemäße Professionalität hat zum Kern, § datengestützte und § zielorientierte Dialoge über die eigene Arbeit. engl. : evidence based (D. Schön) Hans-Günter Rolff Potsdam 09/2007 13
Dortmunder Akademie für pädagogische Führungskräfte 4. Dilemmata Wer bekommt die Daten? Nur die Schule? Auch die Schulaufsicht/Eltern? Neutrale Instanzen – wie z. B. Bildungsbüros? Presse? § Dilemma 1: Schulen sind öffentlich – aber: Bei uneingeschränkter Öffentlichkeit werden Daten in Watte gepackt (Daten, die etwas bewirken, müssen auch weh tun) § Dilemma 2: Wenn Personenschutz, dann Datenaggregation, dann gibt es keine Einzel-(Lehrer-)Rückmeldungen; wenn keine Einzelrückmeldung, dann entstehen Enttäuschungen (bei Inspektion, Peer-Review, SEIS usw. ) Hans-Günter Rolff Potsdam 09/2007 14
Dortmunder Akademie für pädagogische Führungskräfte 5. Zum Schluss einige Praxistipps Hans-Günter Rolff Potsdam 09/2007 15
Dortmunder Akademie für pädagogische Führungskräfte Auch „kleinere“ Datensätze können große Wirkung haben Selbsterhobene Daten sind am wirksamsten für Schulentwicklung, verstanden als Entwicklung der eigene Schule. Es gibt Daten, die jede Schule ohne viel Aufwand selbst erheben und auswerten kann: - Lernkreuz - Zielscheibe guten Unterrichts - Diagnoseblatt zum Unterricht - Schuldaten-Blatt Hans-Günter Rolff Potsdam 09/2007 16
Dortmunder Akademie für pädagogische Führungskräfte Lernkreuz Bitte notiert zwei bis drei Sachen, die beim Lernen Hans-Günter Rolff • • • Potsdam 09/2007 17
Dortmunder Akademie für pädagogische Führungskräfte Diagnose-Zielscheibe Hans-Günter Rolff Potsdam 09/2007 18
Dortmunder Akademie für pädagogische Führungskräfte Diagnoseblatt zum Unterricht Oben = Unten = Hans-Günter Rolff Potsdam 09/2007 19
Dortmunder Akademie für pädagogische Führungskräfte Schuldaten-Blatt § Anmeldezahlen für Eingangsklassen § Grundschulempfehlungen § Übergänge in andere Schulformen § Migranten-Anteile § Daten zur Lese- und Sprachförderung § Personalbestandsdaten § Schul-Abschlüsse § usw. Hans-Günter Rolff Potsdam 09/2007 20
Dortmunder Akademie für pädagogische Führungskräfte 6. Auswertungsdidaktik von Datensätzen Es bietet sich ein Dreischritt an: 1. 1. 2. 3. Gemeinsame Analyse der Daten (in Fach- oder Jahrgangskonferenzen bei Fachleistungsdaten, in Stufen- oder gesamtschulischen Konferenzen bei den übrigen Daten) Gemeinsame Bestimmung eines Entwicklungsschwerpunktes: Woran wollen wir primär weiterarbeiten? Umsetzung durch Schulentwicklungsprojekte Zu empfehlen ist Unterstützung durch eine Steuergruppe Hans-Günter Rolff Potsdam 09/2007 21
Dortmunder Akademie für pädagogische Führungskräfte Hinweise zur Reduzierung großer Datenmengen n Was überrascht? Wo sind die größten Diskrepanzen zwischen - Ist/Soll und - Schüler-Lehrer- (und vielleicht Eltern) Angaben und was bedeuten sie? Welches sind die drei oder vier bedeutsamsten Ergebnisse? Hans-Günter Rolff Potsdam 09/2007 22
Dortmunder Akademie für pädagogische Führungskräfte 7. Ein Beispiel aus NRW: Lernstandserhebungen Schulinternes Vorgehen - idealtypischer Ablauf Um das schulinterne Verfahren bei der Auswertung und Reflexion der Ergebnisse in der Lernstandserhebung zu erleichtern, empfehlen wir, die Vor- und Aufbereitung der Ergebnisse auf verschiedenen Ebenen anzugehen: 1. Auswertung auf der Ebene der unterrichtenden Fachlehrkraft 2. Auswertung auf der Ebene der Fachgruppe (Fachlehrkräfte der Jahrgangsstufe) – ggf. unter Mitarbeit der/ des Fachkonferenzvorsitzenden 3. Diskussion und Überlegungen zu Konsequenzen auf der Ebene der Fachkonferenz Hans-Günter Rolff Potsdam 09/2007 23
Dortmunder Akademie für pädagogische Führungskräfte Die vorgeschlagenen Beratungsebenen (2) und (3) können auch zusammengelegt werden. Dies gilt vor allem für Kollegien, die Lernstandserhebungen gemeinsam in der Fachgruppe korrigiert und ausgewertet haben. Für jede dieser Ebenen werden Hinweise aufgeführt. Diese sollen als Anregungen verstanden werden, nicht als vollständig abzuarbeitende Liste. Die Ergebnisse der Beratungen werden zu einer Information der Schulaufsicht zusammengestellt. Hans-Günter Rolff Potsdam 09/2007 24
Dortmunder Akademie für pädagogische Führungskräfte 1. Auswertung auf der Ebene der unterrichtenden Fachlehrkraft Zur Vorbereitung der Fachkonferenz empfiehlt es sich, dass die Kolleginnen und Kollegen ihre Erfahrungen und Eindrücke mit der Lernstandserhebung zunächst anhand folgender exemplarischer Fragen aufbereiten: A) Vorbereitung: • Sind angemessene Strategien zur Testbewältigung vorhanden (test wiseness)? • Sind Text- und Aufgabenformate bekannt bzw. wurden diese im Unterricht geübt? B) Bedingungen bei der Testdurchführung: • Gibt es Hinweise auf mangelnde Testbereitschaft oder mangelndes Instruktionsverständnis? • Gab es außergewöhnliche Umstände, die das Testergebnis u. U. negativ beeinflusst haben (z. B. aus dem Praktikum gerufen, Nichtteilnahme bestimmter Schülergruppen)? Hans-Günter Rolff Potsdam 09/2007 25
Dortmunder Akademie für pädagogische Führungskräfte C) Betrachtung der Ergebnisse … allgemein: § Welche Ergebnisse sind auffällig, unerwartet oder erklärungsbedürftig? § Sind die Schwierigkeiten offensichtlich grundsätzlicher Natur oder auf einen bestimmten Bereich/Aufgabentypus bezogen? § Lässt sich bei einzelnen Fehlerschwerpunkten eine Systematik erkennen? § In welchem Verhältnis stehen die Ergebnisse zu Zeugnisnoten, Parallelarbeiten, Klassenarbeiten? § Können die Ergebnisse auf Merkmale des eigenen Unterrichts bezogen werden? Lassen sich aus den Ergebnissen unmittelbare Konsequenzen für den eigenen Unterricht ableiten? § Welche Ergebnisse müssen in der Fachgruppe, welche in der Fachkonferenz besprochen werden? Hans-Günter Rolff Potsdam 09/2007 26
Dortmunder Akademie für pädagogische Führungskräfte . . . auf der Kompetenzebene: § In welchem Verhältnis stehen die Ergebnisse der eigenen Klasse/des eigenen Kurses zu den Ergebnissen in der eigenen Schulform bzw. in den jeweiligen Standorttypen? § Wie verteilen sich die Schülerinnen und Schüler meiner Klasse/meines Kurses auf die Kompetenzniveaus, wie verteilt sich hier die gesamte achte - bzw. im neuen Schuljahr neunte - Jahrgangsstufe meiner Schule? § Stimmen die Ergebnisse mit den eigenen Erwartungen überein? Hans-Günter Rolff Potsdam 09/2007 27
Dortmunder Akademie für pädagogische Führungskräfte . . . auf der Aufgabene: § Stimmen die Ergebnisse mit den eigenen Erwartungen überein? § Welche fachlichen Anforderungen stellen einzelne Aufgaben? § Bei welchen dieser fachlichen Anforderungen haben Schülerinnen und Schüler besondere Stärken oder Schwächen gezeigt? § Lässt sich bei einzelnen Fehlerschwerpunkten eine Systematik erkennen? § Welche Ergebnisse sollten in der Fachgruppe, welche in der Fachkonferenz besprochen werden? Hans-Günter Rolff Potsdam 09/2007 28
Dortmunder Akademie für pädagogische Führungskräfte 2. Auswertung auf der Ebene einer Fachgruppe (Fachlehrkräfte der Jahrgangsstufe) Die individuellen Erkenntnisse aus den kompetenz- und aufgabenbezogenen Rückmeldungen zu der eigenen Klasse/zum eigenen Kurs sollten in einer kleineren Fachgruppe (z. B. den Fachlehrkräften der Jahrgangsstufe 9, ggf. unter Mitarbeit der/des Fachkonferenzvorsitzenden) gewichtet und gebündelt werden. Dazu eignen sich u. a. folgende Verfahren: § Austausch von Erfahrungen bei der Vorbereitung, Durchführung und Auswertung der Lernstandserhebungen § Vergleichende Sichtung der Ergebnisse der Klassen/ Kurse vor dem Hintergrund des Jahrgangsstufenergebnisses bzw. der landesweiten Ergebnisse: Zeigen sich ähnliche Muster in allen Klassen/Kursen? Liegen die Ergebnisse im Bereich der eigenen Erwartungen? Hans-Günter Rolff Potsdam 09/2007 29
Dortmunder Akademie für pädagogische Führungskräfte § Suche nach Auffälligkeiten: Gibt es spezielle „Ausreißer“? § Inwieweit lassen sich Erklärungsmuster für die Ergebnisse finden? Welche möglichen Ursachen lassen sich benennen? Können diese Bedingungen (kurzfristig, mittelfristig) geändert werden? Wer sollte dafür angesprochen werden? Auf dieser Basis sollte eine Ergebnisvorlage für die Fachkonferenz erarbeitet werden, die folgende Punkte enthält: § Zusammenstellung zentraler Ergebnisse auf Kompetenz- und Aufgabene, § Reflexion der Ergebnisse vor dem Hintergrund des schulinternen Lehrplans, § Formulierung von Hypothesen zur Erklärung der schuleigenen Ergebnisse, § Erste Überlegungen zu möglichen Konsequenzen im Hinblick auf Schul- und Unterrichtsentwicklung. Hans-Günter Rolff Potsdam 09/2007 30
Dortmunder Akademie für pädagogische Führungskräfte 3. Diskussion und Überlegungen zu Konsequenzen durch die Fachkonferenz Eine sensible und verantwortungsvolle Beschreibung der Situation an der eigenen Schule und eine Ursachenforschung beziehen u. a. folgende Aspekte ein: § Unterrichtsgestaltung (Lehr- und Lernformen, Unterrichtsklima, . . . ) § Didaktisch-methodisches Vorgehen (thematisch-inhaltliche Schwerpunktsetzungen, Wahl der Lernmittel und Medien, . . . ) § Schulischer Kontext (schulorganisatorische Voraussetzungen, Zusammensetzung der Lerngruppen, Unterrichtsausfall, Lehrerwechsel, . . . ) § Voraussetzungen der Schülerinnen und Schüler (Lernvoraussetzungen, Motivation, Anstrengungsbereitschaft, …) § Soziale Herkunft der Schülerinnen und Schüler (Bildungsnähe des Elternhauses, sozialer Status der Eltern, Migrationshintergrund) Hans-Günter Rolff Potsdam 09/2007 31
Dortmunder Akademie für pädagogische Führungskräfte Die Fachkonferenz beschäftigt sich vor allem § mit der Sichtung und Diskussion der aktuellen Ergebnisse (auch der anderen an den Lernstandserhebungen beteiligten Fächer), § mit der Überprüfung der Stimmigkeit und Validität der Einschätzungen aus den Vorjahren § mit der Sichtung und Diskussion der Vorschläge der Kolleginnen und Kollegen sowie der Fachgruppe(n), § mit einer systematischen Ursachenforschung und Aufarbeitung erkannter Defizite (auch vor dem Hintergrund der Erkenntnisse und der Strategien aus vorausgegangenen Lernstandserhebungen), § mit der Überprüfung der Angemessenheit der als Konsequenz aus den Ergebnissen der Lernstandserhebungen beschlossenen Maßnahmen, § mit der Erarbeitung eines Berichts an die schulischen Gremien sowie die Schulaufsicht. Hans-Günter Rolff Potsdam 09/2007 32
Dortmunder Akademie für pädagogische Führungskräfte Mögliche Konsequenzen der Beratungen können sein: § Verabredung einer systematischen Variation von Aufgabentypen, die in den Lernstandserhebungen besondere Schwierigkeiten verursacht haben, § systematische inhaltliche Aufarbeitung von Kompetenzbereichen (z. B. ausgewählter inhalts- bzw. prozessbezogener Kompetenzen), die an der eigenen Schule Schwierigkeiten verursacht haben, § Auseinandersetzung mit den Beschreibungen von Kompetenzniveaus – insbesondere mit den anspruchsvolleren Niveaus, deren Besetzung in der eigenen Schule (noch) nicht angemessen erscheinen § Einsatz gezielter Fördermaßnahmen für besonders auffällige Schülergruppen bewirken § Festlegung von Fortbildungsschwerpunkten innerhalb des Kollegiums erzielen Hans-Günter Rolff Potsdam 09/2007 33
Dortmunder Akademie für pädagogische Führungskräfte 4. Aufgabe der Schulleitung Die Schulleitung muss sicherstellen, dass diese Prozesse auch tatsächlich stattfinden und die betroffenen Lehrpersonen Prozesse der Unterrichtsentwicklung einleiten. Am Besten ist jedoch, die Lehrpersonen tun das aus eigener Initiative! Hans-Günter Rolff Potsdam 09/2007 34
Dortmunder Akademie für pädagogische Führungskräfte 8. Zehn Gründe gegen Rankings 1. Rankings untergraben Vertrauen (fördern Abschulen und Mogeln) 2. Rankings sind Momentaufnahmen, interessanter wären Lernzuwächse 3. Rankings bilden nur einen sehr eingeschränkten Ausschnitt von Schulqualität ab 4. Rankings wirken deshalb auch gegen ein ausdifferenziertes Schulprofil 5. Der Ranking-Wert ist ein Artefakt. Er kann aus sehr guten Leseleistungen und schlechten Mathe-Leistungen bestehen Hans-Günter Rolff Potsdam 09/2007 35
Dortmunder Akademie für pädagogische Führungskräfte 6. Rankings stoßen bei der Lehrerschaft auf Abwehr-Routinen 7. Rankings vergrößern die Ungleichheit (Prangereffekte) 8. Rankings lenken von Wichtigerem ab. 9. Rankings werden überwiegend nur von Eltern genutzt, die sich sowieso gut im Schulbereich auskennen 10. Rankings sind nicht geeignet, die Schülerleistungen zu erhöhen. Zur Klarstellung: Ich bezeichne mit Ranking nur eindimensionale Rangordnungen (wie beim Thermometer), nicht Indikatorensysteme und Gruppenvergleiche Hans-Günter Rolff Potsdam 09/2007 36
Dortmunder Akademie für pädagogische Führungskräfte Fazit: Vier Kernaussagen für die Diskussion 1. Interne Evaluation ist vorrangig (vor externer) 2. Selbsterhobene Daten bewirken mehr als fremdgelieferte 3. Aber: Fremdgelieferte Daten sind unumgänglich (Rechenschaft und Spiegelung); Deren Nutzung erfordert jedoch zumeist zusätzliche Qualifikation und Unterstützung. 4. Rankings sind nicht nur nicht nützlich, sie können sogar schädlich sein. Ich bin gespannt, ob Sie zustimmen Hans-Günter Rolff Potsdam 09/2007 37
Dortmunder Akademie für pädagogische Führungskräfte Literaturhinweise Wo geht’s lang? § ARGYRIS, Ch: Wissen in Aktion. Stuttgart 1997 § ROLFF, H. G. : Studien zu einer Theorie der Schulentwicklung. Weinheim/Basel 2007 Hans-Günter Rolff Potsdam 09/2007 38
- Slides: 38