Methodische Grundlagen der Evaluation Vivien Lo ISI Fraunhofer

Methodische Grundlagen der Evaluation Vivien Lo ISI Fraunhofer v. lo@isi. fraunhofer. de Institut System und Innovationsforschung Seminar Angewandte Wirtschaftsgeographie SS 2005: Fragestellungen und methodische Ansätze der regionalen Innovationsforschung Evaluation förderpolitischer Maßnahmen und Instrumente ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen

Gliederung 1. 2. Notwendigkeit und Definition Die vier W-Fragen ISI Fraunhofer Institut System und Innovationsforschung 3. Fallstricke 4. 5. Entwicklung und Ausblick Praxisbeispiele Vivien Lo – Evaluation förderpolitischer Maßnahmen

1. Notwendigkeit und Definition Innovationspolitik muss (1) geeignete Zielsetzungen und Instrumente für die Anpassung und Modernisierung des Innovationssystems bereitstellen, (2) ihre Interventionen im Geflecht der vielfältigen Akteure abstimmen und (3) dies auf absehbare Zeit unter der Bedingung knapper werdender staatlicher Mittel tun (Kuhlmann/Holland 2005). Weitergehende Priorisierung und kontinuierliche Bewertung der bisherigen Innovationspolitik ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen

Definition Evaluationsforschung = Teilbereich der empirischen Forschung mit dem Ziel der Bewertung von Maßnahmen oder Interventionen (Bortz/Döring 1995) Evaluation: Bewertung von Programmen, Interventionen, Maßnahmen sowie Entwicklung formaler Regeln und Kriterien für die Erfolgs- und Wirkungskontrolle dieser Maßnahmen (fteval 2003) ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen

Anwendungsbereiche in der Innovationspolitik • Forschung: z. B. Bewertung des Standes der Forschung in einem bestimmten Technologiegebiet • Projekte/Programme: z. B. Assessment der Kompetenzzentrenprogramme • Systeme: z. B. Evaluation der Netzwerkförderung in Sachsen • Strukturen/Institutionen: z. B. Evaluation der Betreuungsstrukturen zum 6. Rahmenprogramm ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 5

2. Die vier W-Fragen Wann? Zu welchem Zeitpunkt im Programm soll evaluiert werden? Was? • Was steht auf der Agenda der Evaluation? Wie? • Welche Methoden werden eingesetzt? Warum? ISI Fraunhofer • Institut System und Innovationsforschung • Wozu dient die Evaluation? Was folgt aus der Evaluation? Vivien Lo – Evaluation förderpolitischer Maßnahmen 6

a) Wann: Zu welchem Zeitpunkt soll evaluiert werden? Ex-ante Evaluationen Entwicklung, Design, Weiterentwicklung Implementation, Management Transfer der Evaluationsergebnisse Interim/ begleitende Evaluationen Eigene Darstellung nach fteval Standards, Wien 2003 ISI Fraunhofer Institut System und Innovationsforschung Ex-post Evaluationen Vivien Lo – Evaluation förderpolitischer Maßnahmen 7

b) Was: Was steht auf der Agenda der Evaluation? (1) Zielausrichtung und Zielerreichung Wurden die Ziele erreicht? Waren die Annahmen richtig? (2) Zielgruppendefinition und erreichung Ist die Zielgruppe die richtige? Wurde die Zielgruppe erreicht? (3) Instrumentenwahl und ausgestaltung Sind die Instrumente geeignet? (4) Wirksamkeit/Effektivität Welche direkten/indirekten, intendierten/ nichtintendierten Wirkungen gibt es? (5) Effizienz Waren Implementierung und Verwaltung effizient? (6) Weiterentwicklung/ Handlungsempfehlungen Welche hemmenden und fördernden Faktoren gibt es? Passfähigkeit und Komplementarität mit anderen Instrumenten? ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 8

c) Wie: Welche Methoden werden eingesetzt? Übliche Methoden: Ø Studium von Hintergrundmaterial (zur Entwicklung der Maßnahme, zur Zielgruppe) Ø Interviews (Experten, Fördernehmer) Ø Schriftliche Befragung Ø Auswertung vorhandener Daten und Informationen des Monitorings beim Projektträger (Antragseingang, Gutachten, Endberichte) Ø Fallstudien Ø Workshops Ø Internationaler Vergleich, Benchmarking Ø Bibliometrie, Patentstudien Ø Peer/Panel Review Ø Mikro/makroökonomische Modelle, ökonometrische Modellierung ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 9

Der richtige Methodenmix Primärerhebung, Sekundärdaten, Daten beim Projektträger Evaluierung durch Peers oder Evaluationsexperten Qualitativ und/oder Quantitativ Validität, Reliabilität Kontrollgruppe ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 10

Typische Erfolgskriterien Einstieg in neue Technologiefelder • Angemeldete und genehmigte Patente und Marken • Verstetigung von Fu. E Aktivitäten • Umsätze durch Lizenzen und Patente • Gesicherter und zusätzlicher Umsatz • Gesicherte und zusätzliche Arbeitsplätze • Umsätze durch Produkte/Dienstleistungen Technischer Erfolg Ökonomischer Erfolg • ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 11

Zentrales Erfolgskriterium: Additionalität • Additionalität I: Zusätzlich ausgelöste Aufwendungen/Beschäftigung in Fu. E und Umsätze durch Fu. E • Additionalität II: Schnelleres Durchführen von Fu. E Projekten Höheres Risiko von Fu. E Projekten • Additionalität III: Verhaltensveränderung im Sinne von Verstetigung von Fu. E oder Lernen von Innovationskooperationen ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 12

Warum: Wozu dient die Evaluation? Legitimierung Verwendung öffentlicher Mittel Information Wie und mit welcher Wirksamkeit werden Mittel eingesetzt Steuerung Wie kann die Effektivität und Effizienz erhöht werden Kontrolle Vermittlung ISI Fraunhofer Institut System und Innovationsforschung Qualitätsmanagement und Qualitätsentwicklung zwischen den konkurrierenden Interessen verschiedener Akteure in der Innovationspolitik Vivien Lo – Evaluation förderpolitischer Maßnahmen 13

Warum: Was folgt aus der Evaluation? • Summative Evaluation: Maßnahme bereits abgeschlossen, Zusammenfassung der Wirksamkeit • Formative Evaluation: Abwicklung der Maßnahme und deren Wirkungen werden fortlaufend kontrolliert, Einsatz bei Entwicklung und Implementierung neuer Maßnahmen, erkundend angelegt ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 14

3. Fallstricke Problem der Zurechenbarkeit öffentliche Förderung Privater technischer Erfolg Privater ökonomischer Erfolg öffentlicher Nutzen (Wissensdiffusion) • Fu. E und Innovation sind keine unidirektionalen, linearen Prozesse, sondern rückgekoppelte, soziale Prozesse • Geförderte Projekte häufig eingebettet in "Projektfamilie", keine einzelne Zurechenbarkeit • Zielerreichung zum Teil nur indirekt messbar (z. B. Fu. E Kooperationen), Indikatoren mit üblichen Problemen behaftet • Ziele auf politischer, Unternehmens und Projektebene können sich unterscheiden ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 15

Die "Bring-Lücke" (Delivery Gap) Was sich politische Entscheider wünschen Was Evaluatoren sagen Zeitige Information für Entscheidungsgrundlagen Es kann Jahre dauern, bis Forschung Früchte trägt Klare Zuordnung von Wirkungen zu Investitionen Lineare Zusammenhänge sind selten, Additionalität ist nur schwer zu messen Objektiver Beweis von Exzellenz in der Forschung Peers verteidigen ihr Feld und internationale Kollegen Zentrale Indikatoren für Monitoring und Benchmarking Indikatorenwahl nicht eindeutig, manipulierbar Quelle: nach Sturn/Zinnöcker 2003 ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 16

Die "Kunden-Lücke" (Customer Gap) Was sich Evaluatoren wünschen Was politische Entscheider sagen Klar definierte Zielhierarchie Programme entstehen aus politischen Kompromissen mit verschiedenen, z. T. konfligierenden Zielen Garantierte Unabhängigkeit Empfehlungen müssen innerhalb realistischer Grenzen liegen Angemessene Zeit und Ressourcen für die Evaluation Resultate werden in kürzester Zeit benötigt Voller Zugang zu Informationen und Stakeholdern Daten sind nicht zugänglich, Betroffene haben keine Zeit Quelle: nach Sturn/Zinnöcker 2003 ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 17

4. Zukünftige Bedeutung von Evaluationen Ø Forschungs und Innovationspolitik muss zunehmend nachweisen, dass sich Investitionen lohnen Ø Nachweis und Hinwirken, dass Marktversagen nicht durch Staatsversagen ersetzt wird Ø European Research Area ERA/ Lissabon Ziel: 2010 den wettbewerbsfähigsten und dynamischsten wissensbasierten Wirtschaftsraum zu erreichen Ø Zunehmende Verankerung: Standard bei EU Projekten, Abteilung Evaluation im BMWA Ø Professionalisierung durch Festlegung von Standards in nationalen Fachverbänden (z. B. De. GEval, fteval) ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 18

5. Praktische Beispiele Ø Evaluierung und Weiterentwicklung der Netzwerkstrategie des Freistaates Sachsen Ø Evaluierung der österreichischen Betreuungsstrukturen für das 6. EU Rahmen programm für Forschung, technologische Entwicklung und Demonstration System Programm Institutionen System Ø Assessment "Zukunft der Kompetenzzentrenprogramme Programm (K plus und K ind/net) und Zukunft der System Institutionen Kompetenzzentren" ISI Fraunhofer Institut System und Innovationsforschung Vivien Lo – Evaluation förderpolitischer Maßnahmen 19