Vaikutukset ja vaikuttavuuden arviointi Pekka Kettunen 8 10

Vaikutukset ja vaikuttavuuden arviointi Pekka Kettunen 8. 10. 2009

Määritelmä Evaluation = careful assessment of the merit, worth, and value of content and output, and effects of ongoing or finished government interventions, which is intended to play a role in future, practical action situations. (Evert Vedung, 2006)

Hyvyyskriteerit • Arvioitavan toiminnan arvottamiseen monia mahdollisuuksia Vedung: What constitutes a valuable public intervention and how can it be appraised? • Kriteerit voidaan jakaa kolmeen ryhmään: ohjelmasidonnaiset, taloudelliset ja prosessisidonnaiset hyvyyskriteerit • Arvottajia tavoitteiden asettajat, professiot, intressiryhmät, asiakkaat

Vaikutusten arviointi ajankohtaista ja haasteellista • Vaikuttavuus: tuotos- vaikutus (output-outcome) • Vaikuttavuus ajankohtainen kysymys: NPM, resurssien käyttö, monimutkaistuva hallinto, evaluaatiotutkimuksen vaihe • Vaikuttavuusarviointi monesta syystä hankalaa. Vedung (2000, 166): ”Generally speaking, (this) impact problem is extraordinaly difficult to solve. In public policy it may ne unsolvable”.

Arvioinnin tarkoitus • Arvioinnin päätarkoitukset ovat valvonta, toiminnan kehittäminen ja perustutkimus • Valvonta: päämies selvittää ovatko agentit toimineet valtuuksiensa mukaan • Parantaminen (esim. tehokkuus, vaikuttavuus, saatavuus), lähellä oppimista • Akateeminen perustutkimus ja meta-evaluointi • Arvioinnilla aina strategisia tarkoituksia (vrt Potemkinin kulissit)

Vaikutusten ja vaikuttavuuden arviointi ”Muuttujista koulujen keskikoko, majoitettavien ja kuljetettavien oppilaiden osuus, palkkataso ja PISAtestien tulokset selittävät tilastollisesti merkitsevästi menoeroja. Yllättävää on, että keskimääräistä korkeammat PISA-tulokset pienentävät kuntien oppilaskohtaisia menoja senkin jälkeen, kun oppilaiden taustatekijöitä on otettu huomioon kunnan tulotasolla ja väestön koulutusindeksillä. Tulos siis viittaisi siihen, että säästäväiset koulut pystyvät toimimaan laadukkaasti. Tulos on hieman epäilyksiä herättävä, sillä parempi laatu yleensä nostaa kustannuksia. ( Kangasharju & Kirjavainen 2007, 174).

Miksi vaikeaa? • Pääasiallinen ongelma on erottaa intervention vaikutus muista tekijöistä (esim. koulutus, aluepolitiikka jne. ) • Vaikea mitata, mallintaa ja selittää • Vaikutus ilmenee viiveellä, vaikea kytkeä vastuunalaisuuteen ja työnjakoon • Hallinnon ja palvelutuotannon monimutkaistuminen

Vaikutusten lajit • Vaikutukset voivat olla nopeita, suoria, positiivisia ja tahallisia (tai hitaita, epäsuoria, negatiivisia ja tahattomia) • Sama pätee sivuvaikutuksiin • Nyky-yhteiskunnalle tyypillistä vaikutusten ennakoimattomuus, vaikea ennustettavuus (crowded policy space)

Vaikutusten huomiointi (tai väheksyminen) • Realistisen evaluaatiomallin mukaan konteksti vaikuttaa • Poliittis-hallinnollisella päätöksenteolla ei ole aikaa selvittää vaikutuksia – virheet esille jälkikäteen • Palvelujen standardisointi (Kangasharju & Kirjavainen (2007, 159): ”Julkisten hyvinvointipalvelujen laatua on vaikea mitata… opetushenkilökunta joutuu ottamaan jatkuvasti huomioon erilaiset oppilaat ja heidän erilaiset lähtökohtansa ja sopeuttamaan toimintansa niihin”. • Viranomaiset eivät voi kontrolloida ympäristötekijöitä, palvelut tuotetaan ”in bona fide”

Hallinnon monimutkaistuminen • Lähtökohta että julkinen palvelutuotanto eroaa yksityisestä • Uutena piirteenä ulkoistaminen, yhteistyö ja verkostot (governance) • Kuinka arvioida/selittää verkostomaisen toiminnan vaikuttavuutta? • Bottom-up (Hjern & Porter 1981, Kettunen 1994) • Sandersson (2000, 445): ”…evaluation must become a more exploratory and explanatory enterprise, which is non-proportional and non-linear. ” • Vedung (2000, 52): ” Man får fråga var och en hur de värderar nätverkets samlade hanglingsprogram, utifrån en helhetsbedömning. ”

Ratkaisuja • Vaikeudesta huolimatta tärkeää pyrkiä arvioimaan julkisten toimintaohjelmien vaikutuksia (demokratia, resurssien käyttö, eri organisaatiotyyppien käytettävyys) • Avain koko ”tuotantoketjun” ymmärtäminen (logic modeling) • Kettunen & Kriz 2007: ”Logic modeling allows evaluators to move away from black-box models of program evaluation toward something which is richer in context and allows for understanding ”why” questions instead of just ”how well” questions”.

Output – Program 1 Immediate Outcomes Intermediate Outcomes Output – Program 2 External Factors Ultimate Outcomes

Green care • Toiminnalla sekä 1. maaseutuun (elinvoimaisuus), että 2. kunnalliseen palvelutuotantoon (työvoima, laadukkaat palvelut) että 3. kansalaisiin (laatu) liittyviä tavoitteita • Tai, päätavoite 3. ja suopeita sivuvaikutuksia 1 ja 2 • Haasteena ei ehkä niinkään näyttö toiminnan hyvyydestä (jo perinteisesti) vaan: – Saada aikaan sivuvaikutukset – Tuottaa vaikutukset (monta toimijaa, yrittämisen haasteet, kunnallinen päätöksenteko (lisäarvo vai säästö, arvostus), asiakkaiden tietoisuus • GC-ohjelmateoria kattaa ne vaiheet, joita edellytetään päätavoitteen toteutumiseksi (ei lineaarinen)

Lähteet Cheng, Huey-Tsyh: Theory-Driven Evaluations. London, Sage 1990. Hanson, Hanne Foss: Choosin Evaluation Models. A Discussion on Evaluation Designs. Evaluation 11: 447 -462. Hjern, Benny & Porter, David: Implementation Structures. A New Unit of Administrative Analysis. Orgnization Studies 2: 211 -227. 1981 Kangasharju, Aki & Kirjavainen, Tanja: Koulutuksen tehokkuus ja laatu. Teoksessa Aki Kangasharju, toim. , Kunnallisten palvelujen tuottavuus – havaintoja opintien varrelta. VATT-julkaisuja 46. Helsinki 2007. Kettunen, Pekka: Implementation in a Multi-organizational Setting. Local Networks in Environmental Health Policy. University of Turku Publications B: 207, Turku 1994. (Doctoral thesis). Kettunen, Pekka & Kriz, Ken: Logic Modeling and the Theory of Performance Measurement. Paper presented in the APPAM conference in Madison, WIS, October 2007. Pawson, Ray & Tilley: Realistic Evaluation. London, Sage 1997. Pollitt, Christopher: Essential Public Manager. London, Open University Press 2003. Sanderson, Ian: Evaluation in Complex Policy Systems. Evaluation 6: 433 -454. (2000). Vedung, Evert: Evaluation Research. In B. Guy Peters and Jon Pierre, editors, Handbook of Public Policy, London, Sage, pp. 397 -416. Vedung, Evert: Konsten att utvärdera nätverk. Stakes, Helsingfors 2006.