Bildungsmonotoring Innovationen zur Sicherung von Standards Befehlsnotstand auf

Bildungsmonotoring: Innovationen zur Sicherung von Standards Befehlsnotstand auf dem Feldherrenhügel Vortrag beim OECD-CERI-Seminar am 26. September 2007 in Potsdam 1

Friedrich der Große über Voltaire: „J’aurai besoin de lui encore un an, tout au plus; on presse l’orange et on en jette l’écorce. “ 2

Übersicht 1. Bildungsmonitoring als Innovationsprogramm - induzierte Systemreform - Mythen und mentale Modelle - Beispielbefund seine Bedeutung für ein Bildungsmonitoring 2. „Transfer“ als Kernproblem systemischer Innovation - Rahmenmodell der Implementierung von Innovationen - Beispielfall Schulinspektion: zwischen System- und Schulebene 3. Standards für das Bildungsmonitoring 3

Übersicht 1. Bildungsmonitoring als Innovationsprogramm - induzierte Systemreform - Mythen und mentale Modelle - Beispielbefund seine Bedeutung für ein Bildungsmonitoring 2. „Transfer“ als Kernproblem systemischer Innovation - Rahmenmodell der Implementierung von Innovationen - Beispielfall Schulinspektion: zwischen System- und Schulebene 3. Standards für das Bildungsmonitoring 4

Bildungsmonitoring: induzierte Systemreform Standards und Tests sind komplexe induzierte Reformen. Aus Sicht schulischer Akteure kommen sie „von außen“. Sie sind Ausdruck kumulierter Problemlagen: Ø Leidensdruck des Systems: Lebensfähigkeit, Gerechtigkeitslücken, soziale Disparitäten … Ø internationale Konkurrenz: Wettbewerbsfähigkeit Ø politisch-administrativer Gestaltungsnot: Steuerungsfähigkeit, Kompensation von Legitimationseinbußen Ø technische Entwicklung: operative Beherrschbarkeit von Verfahren zur Generierung von Systemwissen Ø Professionalisierung der Diagnostik: Verfeinerung operativer 5 Handlungsroutinen im Lehrberuf

Mythen und mentale Modelle Implementierung als „Umsetzung“, von oben gedacht: Ø „One size fits all“ - Angebote von der Stange Ø Wer einen Elefanten zerschneidet, erhält zwei Elefanten. Ø Der Teil ist das Ganze. Ø Die „selbsttransformative Kraft“ politischer Programmatik Ø Der Glaube an die wundersame Brotvermehrung Ø Schicksal der großen Zahl: Beschleunigungshoffnungen Ø Das süße Gift von Best-Practice-Beispielen (Kopiermythen) 6

Beispielbefund: Bedeutung für ein Bildungsmonitoring 7

Befund: Mittelwerte im Test „Mathematische Grundbildung“ im Verhältnis zu Noten: Leistungskurs Mathematik nach Schulformen (Hamburger Zentralabitur 2006)

Monitoring und das Problem der Verteilungsgerechtigkeit Die Verteilungsgerechtigkeit ist verletzt, Ø wenn Schülerinnen und Schüler mit vergleichbaren Leistungen am Ende der Sekundarstufe I keine identischen Zugangsmöglichkeiten zur gymnasialen Oberstufe haben. Ø wenn Schülerinnen und Schüler mit vergleichbarer Schulleistung in der gymnasialen Oberstufe unterschiedliche Chancen haben, tatsächlich die allgemeine Hochschulreife zu erwerben. Ø wenn Schülerinnen und Schüler mit vergleichbaren Schulleistungen in der gymnasialen Oberstufe unterschiedliche Abiturdurchschnittsnoten erhalten. Das Problem ist nicht neu. Ohne Standards und deren Überprüfung als Elemente des Monitorings kann es aber erfolgreich tabuisiert werden.

Bildungsmonitoring Fünf Fragen aus Systemperspektive Ø Abschied von Gleichheitsfiktionen: Wollen wir die Disparitäten im System kennen, dimensionieren, lokalisieren und vergleichen? Ø Legitimationsprobleme: Sind wir darauf eingestellt, nicht nur Disparitäten, sondern auch die konfliktträchtigen Folgen gesteigerter Transparenz zu händeln? Ø Toleranzbreite: Welche zwischenschulische Streuung bei der Standarderreichung ist sozial verträglich und politisch akzeptabel? Ø Rechenschaft: Wer soll auf welcher Ebene aufgrund welcher Legitimation über welche Information verfügen? Ø Ernstnehmen der Ansprüche von Kindern u. Jugendlichen: Wie gewährleisten wir Verteilungsgerechtigkeit bei der Vergabe von Berechtigungen? Ø Zukunftsfähigkeit: Welche Hypotheken haben nachgewiesene Disparitäten für die Vorbereitung der nachwachsenden Generation auf die Anforderungen der Gesellschaft?

Übersicht 1. Bildungsmonitoring als Innovationsprogramm - induzierte Systemreform - Mythen und mentale Modelle - Beispielbefund seine Bedeutung für ein Bildungsmonitoring 2. „Transfer“ als Kernproblem systemischer Innovation - Rahmenmodell der Implementierung von Innovationen - Beispielfall Schulinspektion: zwischen System- und Schulebene 3. Standards für das Bildungsmonitoring 11

Anforderungen an Innovationstransfer Ø Implementierungsbedingungen vor Ort in Rechnung stellen: selektive Rezeption der Innovation, Anpassung ans Bewährte, Stabilität/Veränderung von Überzeugungen, Entwicklung neuer Kompetenzen, Frustrationserfahrungen mit Innovationszumutungen, Gewinner-Verlierer-Spiele, individuelle Kosten-Nutzen-Kalküle… Ø Die „Fläche“ von Anfang an mitdenken, und zwar bei der Problemdiagnose, bei der Umsetzungsplanung, bei der Durchführungsstrategie, bei der Evaluation und … bei der Kostenkalkulation. [auch: Was kostet‘s, wenn man‘s nicht macht? ] Ø Wachstumsmechanismen mit Schneeballeffekt vorsehen. Ø Erfolg ist das Produkt aus Wollen, Können und Müssen. Ø Glauben und gute Absichten hegen ja, aber Wissen über Ausgangsbedingungen und Effekte generieren, pflegen und nutzen. Ø Innovationstransfer als Mehrebenensystem und mehrdimensional 12 konzipieren.

Heuristisches Rahmenmodell Normative Dimension Inhalte Strukturen Personen Einbettung in curriculare Zielvorgaben Vorgaben für Verbindlichkeitsstrukturen Professionelle Standards 1 3 Aufgabenbeschreibungen 2 Rahmensetzungen Dienstanweisungen für Schul- und Unter- für die Kooperation richtsentwicklung B zwischen den Ebenen “Pflichtenhefte” e Strategische Dimension empirische is Globale pi multiprofessionelle Flächenanalysen Ressourcenkonzepte el Kooperationsfa ll: Standardprogramme Institutionalisierung strukturen Vernetzung S mit Variabilität 4 5 c 6 u. Beratung hu Systempflege Informations. Qualifizierung lin Evaluationssysteme offensive s pe Operative Dimension Materialien, Tools, Verfahren, 7 Instrumente Verantwortungsstrukturen u. Handlungsrahmen kt Professionelle io n Lerngemeinschaften Monitoringsystem 8 Nachweis 9 von Lernerfolgen bei Personal u. Kindern 13 Technische Infrastruktur

Beispielfall Schulinspektion: zwischen System- und Schulebene 14

Drei Varianten von Institutionalisierungen Ø Netzwerkmodell: fallbezogene Kooperation von Evaluatoren, die im Hauptamt andere Funktionen im System haben (auch Schulaufsicht) Ø Expertenmodell: fallbezogene Kooperation von systemexternen Evaluatoren auf Werkvertragsbasis oder/und Auftragsvergabe an wissenschaftliche Institute Ø Inspektoratsmodell: fester Stamm von hauptamtlichen Inspektoren in einer eigenen staatlichen Einrichtung Unterschiede: Grad der Institutionalisierung, Grad der Professionalisierung, „Sitz“ im System, Steuerung des Verfahrens, Verbindlichkeit von Folgen …

Schulinspektion im Systemzusammenhang (1) Schulinternes Qualitätsmanagement Erwartungen an Prozessmerkmale „guter Schule“ (Orientierungsrahmen) Rahmenbedingungen Normative Rahmenbedingungen schulischer Entwicklung Erwartungen an Ergebnisse (Anforderungen der Rahmenpläne, KMK-Standards)

Schulinspektion im Systemzusammenhang (2) Vernetzte Datenarchitektur zu Grunddaten: Personal, Budget, Ausstattung, Rahmenbedingungen… Schulinternes Qualitätsmanagement Ergebnisdaten aus Lernstanderhebungen, Prüfungen … Einschätzungen von Schülern, Eltern, Schulleitungen, Lehrkräften, Betrieben zu Schule und Unterricht

Schulinspektion im Systemzusammenhang (3) Vernetzte Datenarchitektur Monitoring zu Grunddaten: Personal, Budget, von Ausstattung Grunddaten Feedback von Qualitätsdaten Referenzwerte/Vergleiche schul- u. systembezogene Berichterstattung Schulinternes Qualitätsmanagement Jahresbericht der Ergebnisdaten aus Inspektion im Kontext der Vergleichsarbeiten… Bildungsberichterstattung Einschätzungen von Schülern, Inspektion der Prozesse im Abgleich mit zusammengeführten Daten zu. Eltern, SL, Lehrkräften zu Schule und Unterricht Rahmenbedingungen und Ergebnissen

Datenmonitoring im Rahmen der Schulinspektion Die Inspektion ist nur so gut Ø wie die Daten, die ihr zweckgebunden zur Verfügung stehen; Ø wie deren strukturierte, zeitgerechte und kriterienorientierte Aufbereitung; Ø wie die Verknüpfung, die ihr zwischen qualitätsrelevanten Datenbeständen gelingt; Ø wie die Standards empirischer Prüfung, die sie auf die eigenen Verfahren anwendet.

Client 1

Client 2

Client 3

Vom Augenschein zu „harten“ Daten Ø Rolle der Empirie Ø Verhältnis von qualitativen und quantitativen Verfahren Ø Bedeutung expliziter Verfahrensstandards Ø Voraussetzungen für: - Gewichtungen, Normwerte, Urteilsbildung - Cut-off Bestimmung von kritischen Schwellen - Vergleichbarkeit der Einzelurteile - zwischenschulische Vergleichbarkeit - Nachvollziehbarkeit u. Überprüfbarkeit des Urteils - Transparenz, Fairness, Revidierbarkeit - Vertrauen, Autorität

Qualitätssicherung der Unterrichtsbeobachtung Absicherung der Beobachtungsqualität, durch Ø Ø Ø eine Zufallsauswahl der eingesehen Unterrichtseinheiten eine Kalibrierung der Beobachter vor Ort den Einsatz von Doppelbeobachtungen empirische Überprüfung der Beurteilerübereinstimmung empirische Überprüfung der Beobachterstrenge bzw. Beobachtermilde bei Beurteilungen

Qualitätssicherung der Unterrichtsbeobachtung: Beurteilung │

Qualitätssicherung der Unterrichtsbeobachtung: Effekte auf der Ebene Einzelschule

Qualitätssicherung der Unterrichtsbeobachtung: Beurteilungsübereinstimmung oberhalb: „zu streng“ unterhalb: „zu milde“

Übersicht 1. Bildungsmonitoring als Innovationsprogramm - induzierte Systemreform - Mythen und mentale Modelle - Beispielbefund seine Bedeutung für ein Bildungsmonitoring 2. „Transfer“ als Kernproblem systemischer Innovation - Rahmenmodell der Implementierung von Innovationen - Beispielfall Schulinspektion: zwischen System- und Schulebene 3. Standards für das Bildungsmonitoring 28

Monitoringstandards wofür? Ø Standards für Systemkomponenten Ø Teststandards Ø Standards für „Folgen“ Ø Standards für Berichtsformate Ø Standards für die Evaluation des Monitorings 29

Standards für Systemkomponenten Ø Erwartungen an die Leistungen des Monitoring werden öffentlich kommuniziert und sind nachvollziehbar. Ø Das Monitoring nutzt verschiedene Arten von Informationen (qualitativ / quantitativ) aus verschiedenen Quellen. Ø Das Monitoring basiert auf Daten, die Leistungen von Schülern, Schulen und Bildungsadministration interpretierbar machen. Ø Das Monitoring schließt keine Schülergruppe aus. Ø Normierungen und Gewichtungen von Indizes werden für Beurteilungen transparent gemacht. Ø Das Monitoring macht Aussagen zur Entwicklung von Institutionen und Individuen. Ø. . . 30

Teststandards Ø Entscheidungen für einzelne Schüler werden nicht von einem Test abhängig gemacht. Ø Unterschiedliche Testformen kommen zum Einsatz. Ø Validität und Reliabilität für unterschiedliche Zwecke von Tests werden empirisch überprüft, ebenso Margen von Messfehlern. Ø Die Testvalidität für Schüler mit besonderen Hintergrundmerkmalen (z. B. Migration, Behinderungen) wird überprüft. Ø. . . 31

Standards für „Folgen“ Ø Monitoringmaßnahmen haben nicht nur Folgen für Schüler und Schulen, sondern zwingend und nachweisbar auch für Akteure auf Steuerungs- und Unterstützungsebene. Ø Anlässe für harte Interventionen sind vielfältig empirisch evident zu machen. Ø Interventionen setzen bei Punkten an, die der Person / Institution zurechenbar und für die sie verantwortlich ist. Ø Einspruchsprozeduren gegen Sanktionen sind formalisiert. Ø … 32

Standards für Berichtsformate Ø Ergebnisse auf Systemebene sind breit zugänglich zu machen. Sie werden nachvollziehbar erläutert. Es bleibt ausreichend Zeit für Analyse und Bewertung durch unmittelbar Betroffene. Ø Es wird turnusmäßig über Konsequenzen aus solchen Ergebnissen berichtet. Ø Berichte über Schuldistrikte und Einzelschulen basieren auf einer Kombination vielfältiger Indikatoren. Sie enthalten Angaben über mögliche Messfehler. Ø Es gibt Angaben zu Validität und Reichweite von Berichtsindikatoren Ø … 33

Standards für die Evaluation des Monitorings Ø Longitudinalstudien evaluieren das Monitoringsystem; sie machen Aussagen darüber, inwieweit durch ein Monitoring folgende Aspekte beeinflusst werden: Kompetenzen des Personals, Ressourcenallokation, Unterrichtsqualität, gerechter Zugang zu Bildungschancen für alle, Lehrereinstellungen und -karrieren, unvorhergesehene Effekte. Ø Evaluationen machen Aussagen zur Qualität (psychometrisch, fachdidaktisch) von Testbatterien und Inspektionsverfahren, zu Verfahrensstandards von Monitoringmaßnahmen und zum Impact von Berichtsformen. Ø … 34

Legitimationsgewinn durch Innovation? Ø Rationalitätsversprechen des Bildungsmonitorings: evidenzbasierte Steuerung im Bereich der Bildungspolitik Ø Aber: Politische Entscheidungen sind als Ergebnis normativer Interessenaushandlung nur begrenzt rationalisierbar. Der Zusammenhang von Evidenz und Entscheidung ist notwendigerweise kontingent. Der Traum der technischen Vernunft gebiert Legitimationsungeheuer. 35

Ende 36