Evaluation und Qualittsentwicklung in der Schulsozialarbeit Dr Karsten

Evaluation und Qualitätsentwicklung in der Schulsozialarbeit Dr. Karsten Speck (Uni Potsdam) Fachtagung „Jugendsozialarbeit an Berliner Hauptschulen“ am 02. /03. 11. 2007 in Berlin

Abbildung 2: Gliederung 1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

Abbildung 3: Gliederung (1) 1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

Abbildung 4: 1. 1 Anlässe d. Qualitäts- u. Evaluationsdebatte in der Schulsozialarbeit • Übertragung neuer Steuerungsmodelle, Ökonomisierung der Sozialen Arbeit, knapper werdende öffentliche Mittel • quantitative Verbreitung, jugend- und schulpolitische sowie förderpolitische Bedeutung der Schulsozialarbeit steigt • Ausweitung der Professionalisierungsdebatte in der Sozialen Arbeit auf die Schulsozialarbeit These: Die Qualitäts- und Evaluationsdebatte ist einerseits eine Reaktion auf einen sozial- und finanzpolitischen Druck von außen, andererseits jedoch auch eine professionsinterner Qualifizierungsimpuls. Qualitätsansätze u. Evaluation gibt es nicht erst seit den 90 er´n.

Abbildung 5: 1. 2 Was ist das Neue an der Qualitäts- und Evaluationsdebatte? 1. Von der Strukturqualität zur Ergebnisqualität 2. Von Globalzielen zu überprüfbaren Indikatoren und Ergebnissen bzw. Wirkungen (Evaluation) 3. Von Einzelinstrumenten zur systematischen Qualitätsentwicklung und Evaluation 4. Von der Input- zur Outputsteuerung (Kopplung an Qualitätskriterien in Aushandlungen und Auszahlungen) These: Qualität und Evaluation sind keine Modethemen, sondern durch Kosten- und Legitimationsdruck von außen und Professionalisierungsanspruch von innen langfristig bedeutsam.

Abbildung 6: 1. 3 Ausgangslage für die Qualitäts- und Evaluationsdebatte in der Schulsozialarbeit (Besonderheiten der Schulsozialarbeit) • Sozialarbeiter als „Einzelkämpfer“ in fachfremder Organisation tätig, • fehlendes Profil von Schulsozialarbeit mit klaren und konsensfähigen Begründungen, Wirkungszielen oder gar Indikatoren, • diffuse, überhöhte und sich zum Teil widersprechende Erwartungen zwischen den Akteuren von zwei wenig passfähigen Organisationen • schlechte Rahmenbedingungen (z. B. räumliche, kooperative), obwohl Qualitätsstandards in Fachdebatte hier klar sind, • wenig Möglichkeiten zur fachlichen Unterstützung und Reflexion, • permanenter Legitimationsdruck durch fehlende Rechts- und Finanzierungsgrundlage, • fehlendes systematisches und praxistaugliches Verfahren zur Qualitätsentwicklung mit Zielklärung und Erfolgsprüfung. These: Besonderheiten der Schulsozialarbeit erschweren eine Qualitätsentwicklung und Evaluation und lassen sie gleichzeitig sinnvoll erscheinen.

Abbildung 7: Gliederung (2) 1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

Abbildung 8: 2. 1 Definition: Schulsozialarbeit Unter Schulsozialarbeit wird im Folgenden ein Angebot der Jugendhilfe verstanden, bei dem sozialpädagogische Fachkräfte kontinuierlich am Ort Schule tätig sind und mit Lehrkräften auf einer verbindlich vereinbarten und gleichberechtigten Basis zusammenarbeiten, um junge Menschen in ihrer individuellen, sozialen, schulischen und beruflichen Entwicklung zu fördern, dazu beizutragen, Bildungsbenachteiligungen zu vermeiden und abzubauen, Erziehungsberechtigte und Lehrer. Innen bei der Erziehung und dem erzieherischen Kinder- und Jugendschutz zu beraten und zu unterstützen sowie zu einer schülerfreundlichen Umwelt beizutragen. (Speck 2005)

Abbildung 9: 2. 2 Exkurs: Verwendung des Qualitäts-/Evaluationsbegriffs Evaluationseinschätzung Qualitätsverbesserung Qualitätsentwicklung Qualitätssicherung Qualitätsstandard Qualitätsprozess Qualitätslenkung Evaluationsbewertung Qualitätsvereinbarung Summative Evaluation Qualitätsmaßstäbe Qualität und Evaluation Qualitätsdimension Qualitätsziele Prozessevaluation formative Evaluation Qualitätsmanagement Qualitätskriterium Qualitätssteuerung Wirkungsevaluation

Abbildung 10: 2. 3 Definition: Qualität und Qualitätsentwicklung Qualität macht sich – vereinfacht formuliert – am Grad der Erfüllung von Erwartungen und Anforderungen fest. Damit gibt es – entgegen der meist positiven Konnotation des Qualitätsbegriffs im allgemeinen Sprachgebrauch – sowohl eine „gute“ als auch eine „schlechte“ Qualität“ Unter der Bezeichnung Qualitätsentwicklung können alle zielgerichteten Instrumente und Maßnahmen zur Analyse und Konkretisierung der Erwartungen und Ziele sowie zur Analyse und Verbesserung der Strukturen, der Rahmenbedingungen, der Abläufe, des fachlichen Handelns der Fachkräfte und der Ergebnisse verstanden werden.

Abbildung 11: Gliederung (3) 1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

Abbildung 12: 3. 1 Mindestens vier Qualitäts- und Evaluationsdimensionen! Konzeptdimension z. B. Konkretheit und Passung der Ziele Strukturdimension z. B. personelle, räumliche Rahmenbedingungen Prozessdimension z. B. Kooperation zwischen Lehrern und Sozialarbeitern Ergebnis/Wirkungsdimension z. B. Zielerreichung, Angebote, Wirkungen, Kosten-Nutzen. Relation These: Qualität ist ein grundsätzlich messbares Konstrukt, berücksichtigt werden sollten aber nicht nur die Ergebnisse, sondern auch die Konzepte, Rahmenbedingungen und Prozesse.

Abbildung 13: 3. 2 Viele Akteure definieren und evaluieren die Ergebnisse! EU/Landes-, Kommunalpolitik Schulverwaltung Lehrer. Innen Schulleiter. Innen Projektträger Ergebnisse Schulpsychologen und Jugendamt Wirkungen Öffentlichkeit/ Gemeinwesen Polizei Schüler. Innen Sozialarbeiter These: Qualität ist ein relatives Konstrukt Eltern

Abbildung 14: 3. 3 Viele Wirkungen von Qualitätsentwicklung und Evaluation! Mögliche Wirkungen nach innen • Verständigung über eigene Ziele und Kriterien (Transparenz) • Klarheit und Orientierung für eigene Arbeit (Zielperspektive) • fachliche Impulse (Innovation und Qualifizierung) • Bestätigung bzw. Gewissheit über (Miss-)Erfolge (Aufklärung) Mögliche Wirkungen nach außen • dokumentierte Einhaltung rechtlicher Vorgaben (Legitimation) • stärkere Ausrichtung auf Adressaten (Kundenzufriedenheit) • Verbesserung der ökonomischen Situation (Wettbewerbsfaktor) • kompetentes Auftreten gegenüber Politik u. Öffentlichkeit (Image) These: Qualitätsentwicklung und Evaluation bedeuten viel Arbeit. Sie können zugleich aber großen Nutzen für die Beteiligten erbringen, ohne Qualität sichern zu können.

Abbildung 15: 3. 4 Verschiedene Wirkungsniveaus! Aneignung vs. Nichtaneignung Zielerreichung vs. Zielverfehlung Erfolgsbewertung vs. Misserfolgsbewertung Zufriedenheit vs. Unzufriedenheit Inanspruchnahme vs. Nichtinanspruchnahme Informiertheit vs. Nichtinformiertheit Leistungserbringung vs. Leistungsnichterbringung

Abbildung 16: 3. 5 Verschiedene Wirkungsebenen und Wirkungsadressaten! Wirkungsebene Organisationsübergreifende Ebene Organisationsinterne Ebene Gruppen-Ebene Einzelfall-Ebene Wirkungsadressat • z. B. Jugendhilfe, Jugendgerichtshilfe, Arbeitsverwaltung, Ämter, Polizei, usw. • Schule • Klasse, Lehrerkollegium, Elterngruppe (bzw. Personen- sorgeberechtigte) • einzelne Schüler, Lehrer, Eltern (bzw. Personensorgeberechtigte)

Abbildung 17: Gliederung (4) 1. Einführung in die Qualitäts- und Evaluationsdebatte 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

Abbildung 18: 4. 1 Wie konkretisiert man Ziele, um sie evaluieren zu können? Das gängige Verfahren, um Ziele für eine spätere Evaluation vorzubereiten, ist die Operationalisierung von Zielen: Operationalisierung „bezeichnet einen Vorgang, mit dem Begriffe präzisiert und konkretisiert werden. [. . . ] Wenn man eine Selbstevaluation durchführen will, liefert sie die Kriterien zur Bewertung der pädagogischen Arbeit und zusätzlich die Indikatoren zur Erfassung der zu bewertenden Sachverhalte. “ (Spiegel 2000, S. 183 f. ) These: Für eine fundierte Evaluation von Ergebnissen bzw. Wirkungen müssen die Ziele zunächst bestimmt und ausgehandelt und dann operationalisiert werden.

Abbildung 19: 4. 2 Zieloperationalisierung nach Spiegel (1997 und 2000) Wirkungsziele (Welche Zustände oder Verhaltensweisen möchten wird bei den Adressat/innen erreichen? ) • Handlungsziele Handlungsschritte Indikatoren für Zielerreichung (Was sind unsere eigenen Ziele zur Erreichung der Wirkungsziele? ) (Was müssen wir tun, um die Ziele umzusetzen? ) (Woran erkennen wir, dass die Ziele umgesetzt wurden? ) • • • • • •

Abbildung 20: 4. 3 Mit welchem Verfahren misst man Ergebnisse und Wirkungen? Als zentrales Verfahren zur Ergebnis-/Wirkungsmessung wird die Evaluation bzw. Selbstevaluation eingesetzt: Evaluation ist „die systematische, datenbasierte und kriterienbezogene Bewertung von Programmen, Projekten und einzelnen Maßnahmen“ (Heiner 2002, S. 301 f. ) „Sind die evaluierenden Personen identisch mit denen, welche die zu evaluierende Maßnahme ausführen, spricht man von Selbstevaluation. Die Kontrolle über Planung, Durchführung und Nutzung liegt hier bei den Fachkräften selbst und wird auf freiwilliger Basis wahrgenommen. “ (Gerull 2000, S. 2: Glossar)

Abbildung 21: 4. 4 Einzelinstrumente zur Qualitätsentwicklung und Evaluation Klassische Instrumente • Aus-/ Fort- und Weiterbildung • Bedarfserhebung • Entwicklung von Konzeptionen • Dokumentation • Controlling und Berichtswesen • Einsatz von Planungs- und Auswertungsinstrumenten • Supervision und Fachberatung • Fragebogen für Nutzer. Innen • Hilfepläne/ -vereinbarungen • Personalentwicklung • Fortbildung der Ehrenamtlichen • Reflexion, Teamsitzungen. . . Neuere Instrumente • Zielvereinbarungen • Leistungsbeschreibungen • Qualitätsbeauftragter • Qualitätsagenturen/ Evaluatoren • Bewertung durch Peer Review • Qualitätskriterien und -standards • Beschreibung von Schnittstellen und Schlüsselprozessen • Checklisten für Verhaltensregeln und Selbstbewertung • Qualitätszirkels und -handbuch • Benchmarking, Selbstevaluation • Stärken-Schwächen-Analyse. . . These: Einzelinstrumente zur Qualitätsentwicklung/Evaluation sind oftmals bereits vorhanden, aber nicht ausreichend.

Abbildung 22: Vorderseite Karteikarte für längerfristige Einzelfallhilfen

Abbildung 23: Rückseite Karteikarte für längerfristige Einzelfallhilfen

Abbildung 24: Raster für Auswertung von Projekten

Abbildung 25: Netzwerkanalyse Schulleitung Schüler (7 -10) Lehrer Sponsoren Schüler (5 -6) Eltern Schulsozialarbeits. Projekt Arbeitsagentur Erziehungsberatung Drogenberatung Polizei Sozialamt Angebote Träger ASD Jugendamt GF: Träger AG Sozialrau m

Abbildung 26: Raster für Stärken-Schwächen-Analyse

Abbildung 27: 4. 5 Anforderungen an ein systematisches Verfahren zur Qualitätsentwicklung und Selbstevaluation • Verfahren muss zumindest „Lösungsansätze“ bieten für Konkretisierung und Aushandlung von Zielen, den Schutz der Sozialarbeiter vor überhöhten Erwartungen, die Reflexion der Rahmenbedingungen, die fehlerfreundliche Analyse des sozialpädagogischen Handelns • Verfahren sollte in den Arbeitsalltag der Sozialarbeiter integrierbar sein, sollte kommunikative, reflexive und evaluative Bestandteile enthalten und den ganzen Arbeitsbereich umfassen

Abbildung 28: 4. 6 Systematisches Verfahren zur Qualitätsentwicklung und Selbstevaluation in der Schulsozialarbeit 1. Vorgespräche und Situations- und Sozialraumanalyse 2. Konzeptionsentwicklung bzw. -fortschreibung 3. Abschluss und Aktualisierung einer allg. Kooperationsvereinbarung 4. Abschluss einer jährlich. Ziel- u. Qualitätsentwicklungsvereinbarung 5. Vereinbarung von Leistungsbeschreibung und Schlüsselprozessen 6. Planung, Durchführung, Dokumentation, Auswertung und Verbesserung von Einzelfallhilfen, Projekten und Kooperation 7. Kollegiale Beratung, Weiterbildung, Supervision, Qualitätszirkel 8. Stärken-Schwächen-Analyse und Planung von Verbesserungen 9. Erstellung und Diskussion eines Berichtes zur Schulsozialarbeit 10. zurück zum Anfang: Arbeitsschritt 1 zusätzlich: a) Schulinterne Projektgruppe zur Schulsozialarbeit, b) Regionale Arbeitsgemeinschaft Schulsozialarbeit, c) regelmäßige Planungs- und Auswertungsgespräche

Abbildung 29: Gliederung (5) 1. Einführung zur Qualität und zum Qualitätsmanagement 2. Begriffsklärung 3. Qualitätsentwicklung u. Evaluation in der Schulsozialarbeit 4. Verfahren und Instrumente zur Qualitätsentwicklung 5. Fazit

Abbildung 30: 5. Fazit Qualitätsentwicklung und Evaluation. . . • werden u. U. zu Sparmaßnahmen, „Quantifizierungsfetisch“ missbraucht • sind leider oft nicht auf das Arbeitsfeld Schulsozialarbeit zugeschnitten • sollen wenig Aufwand/Zeit bereiten, aber schnelle Ergebnisse erbringen • führen am Anfang nicht selten zu Ängsten und Widerständen • sollten als „Qualifizierungsimpuls“ eingesetzt und verstanden werden • sind nicht gegen Leitung initiierbar, aber auch kaum direkt „durchstellbar“ • benötigen offenes Klima und „Leben“ (keine Angst, „Qualitätsbürokratie“) • sollte alle Akteure einbeziehen (auch Träger, Lehrer, Eltern, Schüler) • benötigen bestimmte zeitliche und personelle Ressourcen • können blinde Flecken und mangelnde Selbstkritik nicht ausschließen • können Prozess- und Ergebnisqualität nicht sichern bzw. garantieren (vgl. u. a. Gerull 2000 und Merchel 1999 a und b).

Danke Vielen Dank für Ihre Aufmerksamkeit!

Abbildung 32: 6. Ausgewählte Literatur Bolay, E. 2004 a: Kooperation von Jugendhilfe und Schule. Forschungsstand und Forschungsbedarf, In: Archiv für Wissenschaft und Praxis der sozialen Arbeit, 35. Jg. , H. 2, 18 -39 Bolay, E. /Flad, C. /Gutbrod, H. 2004: Jugendsozialarbeit an Hauptschulen und im BVJ und Baden. Württemberg, Abschlussbericht der Begleitforschung zur Landesförderung, Tübingen Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ) (Hrsg. ) 1996 ff: Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe. QS-H. 1 ff. , Bonn. Gerull, P. / Evangelischer Erziehungsverband e. V. (EREV) 2000: Hand- und Werkbuch Soziales Qualitätsmanagement. Konzepte und Erfahrungen, Hannover Heiner, M. / Meinhold, M. / von Spiegel, H. / Staub-Bernasconi, S. 1998: Methodisches Handeln in der Sozialen Arbeit, 4. erw. Aufl. , Freiburg. Meinhold, M. 1998: Qualitätssicherung und Qualitätsmanagement in der Sozialen Arbeit, 3. Aufl. , Freiburg. Merchel, J. (Hrsg. ) 1999 a: Qualität in der Jugendhilfe, Kriterien und Bewertungsmöglichkeiten, 2. Aufl. Münster. Olk, Thomas/ Speck, Karsten 2004: Trägerqualität in der Schulsozialarbeit, In: Archiv für Wissenschaft und Praxis der sozialen Arbeit, 35. Jg. , H. 2, S. 67 -86 (ISSN 0340 -3564) Speck, Karsten 2006: Qualität und Evaluation in der Schulsozialarbeit. Konzepte, Rahmenbedingungen und Wirkungen, Wiesbaden Speck, Karsten/ Olk, Thomas 2004: Qualitätsstandards, Qualitätsentwicklung und Selbstevaluation in der Schulsozialarbeit, In: Hartnuß, Birger/ Maykus, Stephan (Hrsg. ): Handbuch Kooperation von Jugendhilfe und Schule. Ein Leitfaden für Praxisreflexionen, theoretische Verortungen und Forschungsfragen, Frankfurt a. M. , S. 923 -953 Speck, Karsten 2007: Einführung Schulsozialarbeit, München/Basel von Spiegel, H. (Hrsg. ) 2004: Methodisches Handeln in der Sozialen Arbeit, München. von Spiegel, H. 1993: Aus Erfahrung lernen. Qualifizierung durch Selbstevaluation, Münster.

Abbildung 33: Zwei persönliche Literaturempfehlungen des Referenten Inhalt (416 S. ; ISBN 978 -3531151748; 44, 90 Euro) - Qualität- und (Selbst-)Evaluationsdebatte - Qualitätsstandards, Qualitätsentwicklung, Selbstevaluation und Evaluation - Landesprogramme, Fachpolitik, Landesarbeitsgemeinschaften - Bestandsaufnahme, empirische Befunde, theoretische Überlegungen, Empfehlungen Inhalt (S. 176; ISBN 978 -3825229290; 14, 90 Euro) - Begriff, Begründungen, Ziele, Zielgruppen - Rechtsgrundlagen, Förderpolitik, Finanzierung - Angebote, methodisches Handeln, Handlungsprinzipien - Rahmenbedingungen und Kooperation, - Ergebnisse und Wirkungen - Ausbildung, Fortbildung, Perspektiven