Prof Dr Helmut Kromrey FU Berlin http userpage

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu- § Disziplinorientierte versus praxisorientierte Sozialforschung 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 1

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu- Grundlegende „VOKABELN“: § Erkenntnistheorie: Grundlegende Annahmen (Axiome) über die Möglichkeit menschlicher Erkenntnis (z. B. Konstruktivismus, Realismus, Idealismus) § Wissenschaftstheorie: Die Erkenntnislogik einer spezifischen Wissenschafts“schule“ und deren Argumentationsstrategie, mit der die wissenschaftliche Geltung ihrer Aussagen geprüft und begründet wird (z. B. Positivismus, Kritischer Rationalismus, Phänomenologie, Symbolischer Interaktionismus) § Substanztheorie (z. B. „soziologische Theorie“): System von Hypothesen über einen empirischen (hier: sozialen) Gegenstandsbereich (z. B. soziologische Handlungstheorie, Systemtheorie, Theorien der Stadtentwicklung) § Methodologie: Lehre von den (wissenschaftlichen) Methoden der Erkenntnisgewinnung und ihrer Anwendung (z. B. „qualit. “ / „quantit. “ Sozialforschung, Hermeneutik) § Methoden / Techniken: Spezifische Methoden / Verfahren / Vorgehensweisen der 20. 10. 2007 Dr. Helmut Kromrey - Berlin 2 Informationssammlung und Prof. Auswertung (z. B. Befragung, Inhaltsanalyse, Tests, Korrelationsrechnung)

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Zentrale Funktion: disziplinorientierte Sozialforschung: Ø „Aufklärung“ (enlightenment) durch Veröffentlichung Ø Wissensorientierung / Erklärung / Verallgemeinerung praxisorientierte Sozialforschung: Ø Wissensübertragung (Transfer) durch Beratung Ø Handlungsorientierung / Beeinflussung / Situationsbezogenheit 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 3

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Einfluß auf „Praxis“ und „Politik“: disziplinorientierte Sozialforschung (indirekt): Ø Revision veralteter Auffassungen Ø Neuformulierung von Zielen und Prioritäten praxisorientierte Sozialforschung (direkt): Ø Erweiterung und Konkretisierung der Informationsbasis über Beteiligte und Betroffene („stakeholder“) Ø maßnahmenbezogene Zielformulierung Ø Maßnahmenentwicklung und –implementation Ø Erfolgskontrolle 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 4

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Zum Begriff anwendungsorientierte oder praxisorientierte versus disziplinorientierte Sozialforschung Feedback(aus der Praxis / aus der Öffentlichkeit): disziplinorientierte Sozialwissenschaft: Ø kein direktes Feedback (außer bei Rezensionen von Veröffentlichungen) Ø verwertungsneutrale Erweiterung des Wissensbestandes praxisorientierte Sozialforschung: Ø direktes Feedback durch Nutzer Ø bedarfsorientierte Bereitstellung und Aufbereitung von Informationen 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 5

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Politik und Planung 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 6

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Politik und Planung „Versagen“ der Wissenschaft • den in sich stimmigen, widerspruchsfreien Zielsystemen fehlte die Entsprechung in der Realität • Zielkataloge können nicht so flexibel sein, dass sie Wertewandel antizipieren • zu große Komplexität der sozialen Realität, um in gesamtgesellschaftlichen Indikatorensystemen abgebildet zu werden • Status-quo-Rechnungen erwiesen sich als fehleranfällig; bei sich ändernden Randbedingungen wurden sie wertlos; erst recht gilt dies für die tiefer gehenden Wirkungsanalysen oder Folgeabschätzungen • Modellrechnungen müssen notwendigerweise Komplexität so stark reduzieren, dass sie realitätsfern werden Fehler des Planungsmodells • Probleme in der Implementationsphase wurden übersehen 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 7

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Politik und Planung Alternative: „experimentelle Politik“ • statt fehlerbehaftete formalisierte Planungs- und Entscheidungsmodelle anzuwenden, macht sich die Politik den Königsweg der Grundlagenforschung zunutze: das kontrollierte Experiment • indikatorengestützte Politik wird auf die Routinefragen reduziert • bei innovativen Vorhaben sollen Pilotprojekte und „rückholbare“ Feldversuche die für Entscheidungen notwendigen Erfahrungen liefern • die Feldexperimente werden jeweils wissenschaftlich begleitet (Monitoring der Implementation, Messung der bewirkten Veränderungen des Programms, Zurechnung der Wirkungen zu den Maßnahmen, Identifikation ungeplanter Auswirkungen) und analysiert • Wissenschaft wird so wieder angewandten Sozialforschung und zum Lieferanten empirisch abgesicherter Informationen, ist aber nicht mehr direkt eingebunden in den politischen Planungs- und Entscheidungsprozess 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 8

Prof. Dr. Helmut Kromrey 20. 10. 2007 – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Prof. Dr. Helmut Kromrey - Berlin 9

Prof. Dr. Helmut Kromrey 20. 10. 2007 – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Prof. Dr. Helmut Kromrey - Berlin 10

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu- Evaluation: ein Begriff – verschiedene Konzepte § 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 11

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de „Evaluation“ 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 12

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Der Begriff „Evaluation“ (1) 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 13

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Der Begriff „Evaluation“ (2) 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 14

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Der Begriff „Evaluation“ (3) 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 15

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Erkenntnisziele → Evaluation zu welchem Zweck? 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 16

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Die Dualität von Politik und Evaluation 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 17

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Das „komplette“ Evaluationsdesign: Das dreistufige Verfahren des „peer review“ Ø Lieferung der „evaluations-relevanten“ Informationen durch „das Programm“ und die empirische Forschung (Daten zur Programmdurchführung, Selbstbeschreibung und Selbstbewertung durch die Programmverantwortlichen, „Stakeholder“-Befragungen mit Bewertungscharakter) Ø Bewertung durch externe Experten (peers), die Funktion von Evaluatoren übernehmen (=subjektive Bewertungen, Geltungsbegründung durch Datenbezug und „Ansehen“ der Experten) Ø Festlegung des „follow up“ (also der Konsequenzen aus akzeptierten Evaluationsurteilen) durch übergeordnete Instanz oder als Resultat eines Aushandlungsprozesses zwischen den Beteiligten § 20. 10. 2007 Lösungsstrategie für die Evaluationsprobleme: Prof. Dr. Helmut Kromrey - Berlin „Objektivierung durch Verfahren“. Schwierigkeiten des 18

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu- Evaluation durch Forschung - das Leitmodell § 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 19

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Das idealtypische Design und methodologische „Leitmodell“: Evaluation als Programmwirkungsforschung 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 20

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Methodisches (1): Aufgabenen der Programmforschung 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 21

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Ins Detail übersetzt: Variablenmodell einer Evaluationsstudie 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 22

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Methodisches (2): Wirkungszurechnung erfordert „eigentlich“ ein Experimentaldesign 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 23

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Methodisches (3): Anforderungen an den Gegenstand und an das theoretische Wissen 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 24

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Zentrale Voraussetzung für „Evaluation durch Forschung“: eindeutig definierte Ziele 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 25

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Zentrale Voraussetzung für die Durchführbarkeit und Akzeptanz: klare Kompetenzregelzungenen und gutes Projektmanagement 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 26

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Dilemma der Programmforschung Evaluation im methodologischen Sinne = Wirkungsforschung Ø Messung der feststellbaren Veränderungen im (potentiellen) Wirkungsfeld und Zurechnung zu den Maßnahmen als Wirkungen (= gegenwärtige beabsichtigte und nicht beabsichtigte Effekte) Ø Prognose der (noch nicht eingetretenen, aber zu erwartenden) künftigen Veränderungen und Zurechnung zu den Maßnahmen als Wirkungen (= technologische Wirkungsprognose und Status-quo-Prognose) Ø Bewertung der eingetretenen und noch zu erwartenden Wirkungen im Lichte der Ziele des Programms sowie der Betroffenen § Das Dilemma: Jede der drei Aufgabendimensionen wirft unlösbare methodologische Probleme auf: Evaluation in diesem Sinne ist aus methodologischer Sicht unmöglich. § Forschungspragmatische Lösung 1: partizipative Programmwirkungsforschung der Einbezug von Beteiligten und Betroffenen sowohl bei den Prognoseaufgaben wie bei den Evaluationsaufgaben (stellvertretendes Aushandeln von Forschungsresultaten und Evaluation; Mediationsmodell). § Forschungspragmatische Lösung 2: partizipative Programmentwicklung und –evaluation unter Einbezug von Beteiligten und Betroffenen (sozialkonstruktivistisches Modell) 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin § Forschungspragmatische Lösung 3: Verlagerung der Evaluation auf 27

Prof. Dr. Helmut Kromrey § 20. 10. 2007 – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Evaluation durch Forschung - die vorherrschende Praxis Prof. Dr. Helmut Kromrey - Berlin 28

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Evaluation per Befragung mit „einfachen“ Fragebögen? Nur kein voreiliger Optimismus! § Ein Beispiel: In einem Dozentenkurs des HDZ Essen von 1980 hieß es optimistisch: "Urteile (Schätzungen) von Studenten über die Lehre. . . sind - wenn man etwa 20 -30 Studenten urteilen lässt - zuverlässig wie professionelle Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst. " (Schmidt, J. : Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f. ) § Leider – jedenfalls bei Verwendung „einfacher“ Fragebögen – alles falsch! Ø Standardisiertes Befragen ist – entgegen gängigen Vorurteilen – schon ein sehr problematisches Instrument der Informationsgewinnung; es müssen hinsichtlich des Erhebungsgegenstandes und der Forschungskontaktsituation sehr anspruchsvolle Voraussetzungen erfüllt sein, die selten voll erfüllt sind. Ø Noch problematischer wird es, wenn Befragung als Instrument des „Messens“ eingesetzt werden soll (hier: Qualitätsmessung). Ø Und da subjektive Werturteile nicht dadurch 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlinintersubjektiv werden, 29 dass man einen Durchschnitt daraus bildet, wird es am schwierigsten,

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu-berlin. de „Messen“ - Vorüberlegungen § Konzeptualisierung der Mess-Aufgabe: Präzisierung der Problemstellung dimensionale und semantische Analyse präzise Definition der Begriffe ggf. Auswahl und Begründung von Indikatoren Absicherung der Korrespondenzhypothesen für die Indikatoren Auswahl der Untersuchungsobjekte („Merkmalsträger“) § Überlegungen zur „Messbarkeit“ der Indikatoren (= Möglichkeit der „Abbildung“ der empirischen Ausprägungen in Symbole): Ø „Dimensionalität“ (nur „eindimensionale“ Indikatoren können eindeutig abgebildet werden) Ø Bedeutungs“niveau“ der Begriffe Ø notwendiger Differenzierungsgrad der Mess-Informationen (= „Variablen“Definition) § Überlegungen zur „Standardisierung“ der Mess-Situation (Sicherung der 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin Identität der Messoperationen und der Kontextbedingungen für jede 30

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu-berlin. de Standardisierung § MESSEN = standardisierte Erhebung standardisierter Informationen („Daten“) § STANDARDISIERUNG = Ø die Kontextbedingungen des Datenabrufs sind für jeden einzelnen „Fall“ identisch Ø die Messvorschriften sind für jeden einzelnen „Fall“ identisch und werden von allen Beteiligten in identischer Weise angewandt § Beispiel standardisierte Befragung: Ø identisches Instrument (Fragebogen), identische Interviewsituation, identisches Interviewerverhalten für jede/n Befragte/n Ø jede Frage ist für jede befragte Person identisch (d. h. wird semantisch identisch verstanden) Ø jede gewählte Antwortvorgabe wird von jeder antwortenden Person in identischer Weise zugeordnet 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 31

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu-berlin. de Mess-Modelle § Messen als strukturtreue Abbildung empirische Struktur Symbolsystem (Zuordnungsregeln) § Willkürliche Messung (Messen durch Festsetzung, measurement by fiat) theoretischer Begriff Symbolsystem (Zuordnungsregeln) § Messung durch Befragung 20. 10. 2007 Begriff Prof. Dr. Helmut Kromrey - Berlin theoret. Frage(n) Symbolsystem 32

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu-berlin. de Messen als strukturtreue Abbildung 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 33

Prof. Dr. Helmut Kromrey – FU Berlin – http: //userpage. fu-berlin. de/~kromrey - e. Mail: kromrey@zedat. fu-berlin. de Messung durch Befragung § entweder: Befragte Person ist „Informant“; d. h. sie gibt unter standardisierten Bedingungen Auskunft über Sachverhalte und Merkmale = sie ist die „messende Person“, Antworten sind „Messwerte“ Ø Voraussetzungen für das „Messen durch Befragung“ § oder: Befragte Person ist „Versuchsperson“; d. h. sie wird mit dem Stimulus „standardisierte Frage“ konfrontiert, ihre Antwort ist eine „Reaktion auf den Stimulus“ (ein Indikator für den gesuchten Messwert), Interviewer/in beobachtet und protokolliert die Reaktion auf den Fragestimulus = Interviewer/in ist die „messende Person“ 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 34

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Problem: „quantifizierendes“ Messen durch Befragung formale Voraussetzungen, die für eine „Messung“ erfüllt sein müssen: Ø der „Gegenstand“ (das Objekt) der Beurteilung ist eindeutig definiert Ø das zu messende „Merkmal“ (Variable) ist eindeutig definiert und operationalisiert Ø eine „Mess-Skala“ (Vergleichsmaßstab) existiert und ist eindeutig definiert (incl. eindeutiger Skalen-Endpunkte sowie unterscheidbarer Abstufungen zwischen den Skalen. Endpunkten) Ø Befragte sind in der Lage, den „Gegenstand“ intersubjektiv überein-stimmend zu identifizieren, das zu messende „Merkmal“ intersubjektiv übereinstimmend zu erkennen (identische Semantik + identische Perspektive) und die „Mess -Skala“ in intersubjektiv übereinstimmender Weise darauf anzuwenden (= Messung durch Vergleich der Merkmals 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 35 ausprägung eines Objekts mit einem Vergleichsmaßstab,

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Problem 2: „evaluierendes“ Messen durch Befragung Erfüllt sein müssen zunächst die formalen Voraussetzungen für eine „Messung“; hinzu kommen als weitere Anforderungen: Ø Neben dem „Kriterium” der Beurteilung („Qualitäts-Merkmal”) ist ein „Standard” der Beurteilung zu definieren: Wann ist etwas „gut”, wann „schlecht”, wann „mittelmäßig”? etc. Ø Dieser „Standard” ist von allen Evaluierenden in intersubjektiv übereinstimmender Weise anzuwenden. Und auch das noch. . . Erforderlich ist die grundlegende Entscheidung: Ø Soll die befragte Person Auskunft über sich selbst und ihren Bezug zum Gegenstand der Bewertung geben? (“Akzeptanzaussage”) Ø Oder soll sie eine “quasi-objektive” Beurteilung des zu bewertenden Gegenstands vornehmen? (“Evaluationsaussage”) 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 36

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Trotzdem Befragung auch zum Zwecke der Evaluation? § Natürlich! Eine bessere Alternative (im Sinne von „universell anwendbar“) kann die empirische Sozialforschung nicht anbieten. § Aber. . . Ø Jede Antwort auf eine in der Situation „Forschungskontakt“ gestellte Frage ist eine subjektiv gefärbte, interpretationsbedürftige „Information“. Ø Nur unter besonderen (selten erfüllten) Bedingungen ist sie auch ein „Messwert“. Ø Und nur unter weiteren (und noch seltener erfüllten) Bedingungen kann sie auch eine „intersubjektiv geltende“ Evaluation sein (z. B. bei einem Programmziel: Akzeptanz). Ø Für den Normalfall gilt: Das Erheben und Aufbereiten bewertender (=evaluierender) Aussagen liefert wichtige Informationen für die Evaluation, ist aber für sich genommen noch nicht die „Evaluation“! § Zur „Evaluation“ gehört ein Gesamtprojekt, in dem 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin Befragungen ein wichtiges Instrument der Gewinnung 37

Prof. Dr. Helmut Kromrey § – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Es gibt keine 'objektiven' Methoden zur Geltungsbegründung von Subjektivem 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 38

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Bewertung durch Forschung? § Ziel von Evaluation: empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch § Evaluationsforschung: (durch das Ziel „Bewertung“ geprägte) spezifische Form anwendungsorientierter Forschung; methodisch kontrollierte, verwertungs- und bewertungsorientierte Form des Sammelns und Auswertens von Informationen 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 39

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Aber Forschung kann nicht: Werturteile wissenschaftlich begründen § ihr methodologisches Problem: Legitimation des Anspruchs „empirisch gestützte Bewertungen mit intersubjektivem Geltungsanspruch“ zu formulieren; denn: Ø Nach gängiger wissenschaftstheoretischer Überzeugung geht eines nicht: empirische Begründung von Bewertungen durch Forschung (auch aus korrekten Beschreibungen und Analysen sind keine normativen Aussagen ableitbar); Ø Möglich ist lediglich, Forschung zum Zwecke von Bewertungen (s. den Stellenwert empirischer Daten im mehrstufigen Modell des peer review) Ø die Geltungsbegründung empirischer Analysen folgt einer anderen Logik als die Geltungsbegründung normativer Aussagen; für die ersteren gibt es in der vorherrschenden Wissenschaftstheorie klare Regeln, für die letzteren nicht Prof. Dr. Helmut Kromrey - Berlin § 20. 10. 2007 Zwei Lösungsmöglichkeiten: (1) Evaluation auf 40

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Fall 1 a: Evaluation als Programm(wirkungs)forschung 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 41

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Fall 1 b: Evaluation als Qualitätsmessung durch Indikatoren § Ziel: Die Bewertung „objektivieren“ (d. h. am zu bewertenden „Objekt“ festmachen) dadurch, dass „qualitätsrelevante“ Merkmale gemessen werden. § Voraussetzung: Das Konstrukt „Qualität“ ist so zu definieren, dass seine Dimensionen als Merkmale des Gegenstands erscheinen. § Methodologisch ist dann „nur“ noch die Aufgabe zu lösen, diese Qualitätsdimensionen so durch Indikatoren zu operationalisieren, dass sie als situationsunabhängige „Qualitäts-Messwerte“ gelten können. 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 42

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Fall 2: Evaluation durch Befragung § Siehe Zitat aus dem Dozentenkurs des HDZ Essen von 1980 zum Thema Lehrevaluation: Ø "Urteile (Schätzungen) von Studenten über die Lehre. . . sind − wenn man etwa 20 -30 Studenten urteilen lässt − zuverlässig wie professionelle Ø Testverfahren". Und: "Sie sind von anderen Merkmalen der Studenten selbst und der Dozenten wenig beeinflusst. " (Schmidt, J. : Evaluation. I. Evaluation als Diagnose, Essen 1980, 51 f. ) § Sofern dies zuträfe, wäre die Evaluation per Befragung der Königsweg zur Lösung aller Probleme der Evaluationsforschung, insbesondere auch der Werturteilsproblematik. § Als Modell zur (intersubjektiven) ‚Messung‘ von Qualität ist 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 43 es allerdings eher ein ‚Holzweg‘. Die Stärke von

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Grundlegendes Problem für alle Modelle: „Qualität“ § „Qualität“ (also der abzubildende Gegenstand) kann nicht als Merkmal des zu bewertenden Objekts selbst gesehen werden, sondern als relationales Merkmal: als Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke sowie auf bestimmte Nutzer- und Klientengruppen. § Beim Modell der Programmevaluation wird konsequenterweise Qualität = Erfolg (also Eignung, Brauchbarkeit, Güte in Bezug auf bestimmte Ziele und Zwecke) gesetzt. § Beim Indikatorenmodell ist Qualität = Eigenschaft des Objekts. Anders als beim Modell der Programmevaluation existiert aber nicht dessen methodologische Problemlösung (nämlich vom Programm vordefinierte Ziele und Maßnahmen). § Beim Befragungsmodell schließlich gilt: Qualität = 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 44 Qualitätswahrnehmung der urteilenden Person (an die Stelle

Prof. Dr. Helmut Kromrey – http: //www. Prof. Kromrey. de - e. Mail: kromrey@bds-soz. de Gedankenexperiment § Qualität von Autoreifen § ? : Ø Stadtverkehr, Landstraßen, Autobahn; Ø „Normalfahrer“, LKW-Fahrer, Rennsportler; Ø Rallye Paris-Dakar, Formel I 20. 10. 2007 Prof. Dr. Helmut Kromrey - Berlin 45