bung Evaluationstheorie 1 Was ist Evaluation Sandra Bthge

Übung “Evaluationstheorie”: 1. Was ist Evaluation? Sandra Bäthge, M. A. Universität des Saarlandes & Stefanie Kihm, M. A. HTW des Saarlandes November 2014

Der Begriff „Evaluation“ alltäglicher Sprachgebrauch KROMREY (2001) wissenschaftlicher Sprachgebrauch ü Irgend etwas wird ü Programme, Maßnahmen, ü von irgend ü durch Personen, die zur jemandem Organisationen etc. werden Bewertung besonders befähigt sind ü in irgendeiner Weise ü in einem objektivierten ü nach irgendwelchen ü nach explizit auf den Kriterien bewertet. November 2014 Verfahren Sachverhalt bezogenen und begründeten Kriterien bewertet. Sandra Bäthge & Stefanie Kihm 2

Kennzeichen wiss. Evaluation ü Evaluation dient als Planungs- und Entscheidungshilfe, ü ist ziel- und zweckorientiert (primäres Ziel ist die Überprüfung, Verbesserung bzw. Entscheidung über Sachverhalte) und ü sollte dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein. vgl. WOTTAWA & THIERAU (2003) November 2014 Sandra Bäthge & Stefanie Kihm 3

Populäre Definitionen „Evaluation is the systematic investigation of the merit or worth of an object (program) for the purpose of reducing uncertainty in decision making. “ MERTENS (1998) Evaluationsforschung … „als systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer Interventionsprogramme. Evaluationsforschung bezeichnet den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und laufenden Überwachung sowie zur Bestimmung der Effektivität und Effizienz von (. . . ) sozialen Interventionsmaßnahmen. “ ROSSI/FREEMAN (1988) November 2014 Sandra Bäthge & Stefanie Kihm 4

Eine weitere ausführliche Definition „Wissenschaftliche Dienstleistung, die namentlich öffentlich verantwortete oder finanzierte ‚Gegenstände‘ (Politiken, Programme, Projekte, Massnahmen …) in verschiedensten Themenfeldern systematisch, transparent und datengestützt beschreibt und ausgewogen bewertet, so dass Beteiligte & Betroffene (Auftraggebende und andere Stakeholder) die erzeugten Evaluationsergebnisse für vorgesehene Zwecke wie Rechenschaftslegung, Entscheidungsfindung oder Optimierung nutzen. “ BEYWL/WIDMER (2009) November 2014 Sandra Bäthge & Stefanie Kihm 5

Typen & Problemstellungen von Evaluationen lassen sich anhand verschiedener Gestaltungsdimensionen klassifizieren, u. a. : ü Gegenstand der Evaluation ü Ziele der Evaluation ü Zeitpunkt, an dem eine Evaluation ansetzt Zeitpunkt ü Instanzen, die Evaluation durchführen Instanzen ü Evaluationsmodell ü Bewertungskriterien November 2014 Sandra Bäthge & Stefanie Kihm 6

Evaluationsgegenstand: Wer/was (genau) wird evaluiert? Mögliche Teilaspekte eines Programms: ü Art, Ausmaß und Verteilung des sozialen Problems auf das ein Programm abzielt ü Programmziele und deren Angemessenheit ü Programmimplementation ü Programmwirkungen ü Programmeffizienz November 2014 Sandra Bäthge & Stefanie Kihm 7

Evaluationsziele: Warum wird evaluiert? Evaluation dient zu / zur … ü Kontrollzwecken (evaluation for accountability) ü Verbreiterung der Wissensbasis (evaluation for knowledge) ü Entwicklungszwecken (evaluation for development) vgl. KROMREY (2001): 113 f. , CHELIMSKY (1997): 9 ff. November 2014 Sandra Bäthge & Stefanie Kihm 8

Zeitpunkt der Evaluation: Wann wird evaluiert? Dimensionen der Evaluationsforschung ex-ante on-going Planung Durchführung preformativ/ summativ ex-post Wirkungsphase summativ ü aktiv gestaltend ü zusammenfassend ü prozessorientiert ü bilanzierend ü zukunftsorientiert/ ü ergebnis- und Ø “analysis for policy” Ø “analysis of policy” konstruktiv wirkungsorientiert “science for action” “science for knowledge” Quelle: In Anlehnung an STOCKMANN (2007): S. 34 November 2014 Sandra Bäthge & Stefanie Kihm 9

Formative & summative Evaluation „When the cook tastes the soup, that‘s formative evaluation, when the guest tastes it, that‘s summative evaluation. “ (Robert E. Stake) November 2014 Sandra Bäthge & Stefanie Kihm 10

Evaluationsinstanz: Wo ist die Evaluation angesiedelt? Dimension/ Verortung Ort der Steuerung einer Evaluation Ort der Durchführung einer Evaluation Ort der Nutzung einer Evaluation Innerhalb der Institution/ des Projektes Selbstevaluation Interne Evaluation Formative Evaluation Außerhalb der Institution/ des Projektes Fremdevaluation Externe Evaluation Summative Evaluation Quelle: WIDMER (2004): S. 85 November 2014 Sandra Bäthge & Stefanie Kihm 11

Interne und externe Evaluation Intern Von der gleichen Organisation vorgenommen, die auch das Programm durchführt; Sonderfall: Selbstevaluation Vorteile: ü rasch, geringer Aufwand ü hohe Sachkenntnis ü unmittelbare Umsetzung Nachteile: ü geringe Methodenkompetenz P fehlende Unabhängigkeit und Distanz ü „Betriebsblindheit“ Extern Von Personen durchgeführt, die nicht dem Mittelgeber oder Durchführungsorganisation angehören, z. B. externe Gutachter Vorteile: ü hohe Unabhängigkeit ü große Methodenkompetenz ü unterstützen Reformkräfte ü große Glaubwürdigkeit Nachteile: ü geringe Sachkenntnis ü Abwehrreaktionen ü Umsetzungsprobleme Quelle: STOCKMANN (2007): S. 61 November 2014 Sandra Bäthge & Stefanie Kihm 12

Zu Evaluationsmodell: Wie wird evaluiert? Evaluationsmodelle (oder Evaluationsansätze) stellen weitgehend ausformulierte Vorschläge zur praktischen Strukturierung von Evaluationsvorhaben dar. Sie bieten einen Orientierungsrahmen für das Auffinden der Hauptfragestellungen einer Evaluation, beschreiben mögliche und notwendige Arbeitsschritte und deren Abfolge, die dabei zu verwendenden Instrumente, angestrebte Arten von Ergebnissen und deren Nutzung usw. (vgl. BEYWL 1988) Unterschiedliche Klassifikationsversuche: z. B. SHADISH et al. (1991); STUFFLEBEAM et al. (2000); FITZPATRICK et al. (2004); ALKIN (2004); BEYWL et al. (2004) November 2014 Sandra Bäthge & Stefanie Kihm 13

Bewertungskriterien ü Richten sich nicht nach vorgegebenen Normen oder Parametern ü Orientieren sich jedoch oft am Nutzen § eines Gegenstands § einer Handlung § eines Entwicklungsprozesses § für bestimmte Personen oder Gruppen ü Können festgelegt werden durch § Auftraggeber (direktiv) § Evaluator (wissenschafts-/erfahrungsbasiert) § Zielgruppe, Stakeholder (emanzipativ) § alle gemeinsam (partizipativ) November 2014 Sandra Bäthge & Stefanie Kihm 14