Maantieteen suuntaukset kurssi 4 10 2007 Arviointitutkimus ja

Maantieteen suuntaukset -kurssi 4. & 10. 2007 Arviointitutkimus ja paikallinen kehitys Jukka Oksa Joensuun yliopisto, Karjalan tutkimuslaitos jukka. oksa@joensuu. fi http: //cc. joensuu. fi/~alma/lue

Osa 1 Johdatus arviointiin 4. 10. 2007

Omia arviointikokemuksia 1) Liikenneministeriö: Maaseudun tiedonvälityksen kehittämisprojekti. Kontiolahti. Sisäinen arviointi. 1992 -93. 2) EU, Opportunities for Rural Areas –ohjelma, ANAGOprojekti maaseudun tietotekniikkakokeilut. Suomen maaselvitys 1993, kaksi tapausarviointia Suomesta 1994. 3) Maailmanpankki, Valkovenäjän maaseudun köyhyystutkimus, 1995. 4) Aasian kehityspankki / Roughton International & Finnroad. Sosiaalisten vaikutusten arviointi. The Second Bishkek-Osh Road Rehabilitation Project. Kirgiisia 1997. 5) EU/ ECOTEC. Väliarviointi hankkeesta North EU Regional Innovation Strategy (Finland Sweden). Arviointiryhmän suomalainen asiantuntijajäsen. 1998. 6) Suomen ulkoministeriö / Terra Consulting. Ohjelma-arviointi Suomen maaseutu- ja maatalousalan lähialueyhteistyöstä 1991 -98. Arviointiryhmän jäsen, vastuulla Venäjän alueiden taustatiedot ja tapaustutkimukset. 1998 -99.

Arviointikokemuksia 7) Terveyden edistämisen keskus, Sosiaaliturvan keskusliitto. Projektiarviointi Sosiaali- ja terveysjärjestöjen yhteistyöprojektista järjestötoiminnan kehittämiseksi Pietarissa. Ryhmän jäsen. Huhti-kesäkuu 1999 8) SITRA. - Oppiva Ylä-Karjalan projektin arviointitutkimus. 1999 - 2000 - Paikallinen tietoverkko Vaara-Karjalassa. Oppiva Vaara-Karjala hankkeen arviointitutkimus. 2000 - 2001 - Oskujen synty Itä-Suomessa. 2002 – 2003 9) Alue- ja kuntatutkimuskeskus SPATIA, 2004 -2007 Asiantuntijaryhmien tekemiä maakunnallisten ohjelmien arviointeja, maaseutuun liittyviä hankearvioita (esim. Harava). 10) DESERVE (EU/Interreg/ NPP) 2004 – 07 Palvelujen saatavuus syrjäisellä maaseudulla - mallien ja kokemusten siirtäminen, 11) Joensuun Seudun Leader (ARVI), Vaara-Karjalan Leader.

Arviointitutkimuksen historiallista taustaa, mm. Politiikan vaikutusten tutkimus (USA, TVA) Tilastoseurannat (talous, sosiaaliset olot) Suunnittelutieteet (yhteiskuntasuunnittelu, social engineering) Tarkastustoiminta (talouden, tilien) Prosessien laadunvalvonta Talouden tehokkuus ja kannattavuuslaskennat Koulujen arvosanat, oppimisen arviointi

Arvioinnin uusia tarpeita (tilausten taustaa) Hallitsemisen monimutkaistuu (tasojen ja sektorien määrän kasvu) ja työnjako syvenee. Päättäjät tilaavat asiantuntijoilta apua: havaintoja, tulkintaa ja ajattelua. Kokonaiskäsitys. Arvojen toteutuminen. Yhteiskunnan syy ja seuraussuhteet sekavia. Tarve ymmärtää tapahtumaketjuja edes jälkikäteen, esim. kontekstin merkitys, tarkoittamattomien vaikutusten ymmärtäminen. Toiminnan verkottuminen. Tarve ymmärtää löyhästi toisiinsa liittyneiden toimijoiden tarkoituksia ja luotettavuutta.

Arviointitoiminnan lupaukset ja odotukset Pystytään hahmottamaan mitä merkitystä jollakin toimenpiteellä, ohjelmalla tai resurssien siirrolla on. Saadaan tietoa siitä onko resurssit käytetty tehokkaasti ja päättäjien tarkoitusta palvelemaan. Saadaan tietoa siitä mitkä ovat tietyn toimenpiteen tarkoitetut vaikutukset, ovatko ne oikeansuuntaisia ja riittäviä. Saadaan tietoa myös sivuvaikutuksista. Saadaan suosituksia siitä miten asiat olisi pitänyt tehdä ja mitä pitäisi tehdä tulevaisuudessa.

Arviointi ja tutkimus: yhtäläisyyksiä Suoritetaan systemaattisia havaintoja. Tehdään analyyttisiä jäsennyksiä ja erotteluja. Tehdään loogisia päätelmiä ja yleistyksiä. Käytetään käsitteitä havaintojen tulkitsemiseen. Käytetään käsitteitä normatiiviseen vertailuun, mittaamiseen ja suositusten tekemiseen.

Arviointi ja tutkimus: eroja ja erityispiirteitä Tutkimuskysymysten sijasta arviointikysymyksiä. Arvottavat tulkinnat painottuvat. Arvioijan odotetaan ottavan tulkintariskejä, tekevän päätelmiä epävarman aineiston perusteella. Arvioijan odotetaan sisäistäneen arvioitavan käytännön ulkoiset ehdot ja käsitteet (rajoitteet ja tavoitteet). Arviointi on ammattitaitoa, monien työkalujen taitavaa käyttöä ja sosiaalista vuorovaikutusta.

Arviointi ja tutkimus: eroja ja erityispiirteitä Rahoitus: yleensä kyseessä on tilaustyö Aikataulu: sidoksissa arvion tilaajan prosesseihin, ei työn etenemisen sisäiseen logiikkaan. Osallisuus: arvioitsijan oletetaan olevan vuorovaikutuksessa arvion tilaajan tai arvioitavan toimijaryhmän kanssa – ei tutkijayhteisön. Jatkuvuus: arviointi on määräaikainen tehtävä, jonka oletetaan valmistuvan (loppuvan) määräaikaan mennessä. Kuitenkin suositusten oletetaan vaikuttavan arvioinnin jälkeenkin.

Looginen viitekehys, peruskäsitteitä (Logical Framework, Log. Frame) YLEISET TAVOITTEET (objectives) Vaikutukset (impacts) ERITYISTAVOITTEET (goals) Tulokset (results, specific impacts) TUOTOKSET (outputs) TOIMENPITEET (inputs, contributions) Panokset: vaaditut inhimilliset ja fyysiset voimavarat Kustannukset toimenpiteistä, jotka johtavat tuotoksiin

Looginen viitekehys, arviointikysymykset ja projektin aikajana Projekti TAVOITTEET (objectives) TOIMENPITEET (inputs, contributions) Arviointi TUOTOKSET (outputs) JATKUVUUS (sustainability) VAIKUTUKSET (impacts) TULOKSET (results) Tavoitearviointi Vaikutusten arviointi Prosessin Loogisuus Relevanttius Toteutettavuus Tehokkuus, tuloksellisuus Yhtenäisyys, osallisuus Joustavuus, luovuus Oppiminen arviointi Kestävyys Taloudelliset vaikutukset Sosiaaliset vaikutukset Kulttuuriset vaikutukset

Osa 2 Keskusteluja arvioinnin suuntauksista 10. 2007

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 KVASIKOKEELLINEN Tutkitaan kausaalisuhteita Ennen ja jälkeen mittauksilla kovaa dataa Koe- ja kontrolliryhmät Löytää ne toimenpiteet jotka tuottavat tavoiteltuja tuloksia. Sopii ohjelmiin jotka pyrkivät vaikuttamaan kohteisiin mitattavalla. PRAGMATISTINEN Huomio kohdentuu hankkeiden toteutettavuuteen. Miten ratkaisevat päätöksentekijät käsittävät hankkeen. Arviointi valistaa ja auttaa päätöksentekoa ja tunkeutuu mukaan vaikutusvallan ketjuihin. Arvioinnin ja vaikuttamisen raja häviää. Riippuvuus vallan resursseista vie konservatiivisuuteen. KONSTRUKTIVISTINEN Ohjelmat ovat ajatuksellisia konstruktioita, joista toimijat jatkuvasti neuvottelevat. Tulokset ovat konstruktioita jotka ovat toimijoiden jatkoneuvottelujen kohteena. Arviointi auttaa selventämään mistä oikein on kysymys. Arviointi luo täten laajempia yhteistyöpiirejä ja valtaistaa kohderyhmiä. REALISTINEN Lähtökohtana tarkastelu minkä kausaalisten mekanismien kautta ohjelmat ja hankkeet vaikuttavat. Kausaalisuhteet ovat kuitenkin monitasoisia ja systeemiluonteisia. Arviointi tuottaa tietoa siitä mikä toimii kenenkin kannalta ja missä olosuhteissa. "Realistinen evaluaatio on profiililtaan jäsentymätön synteesi kolmesta muusta lähestysmistavasta. " (Ahonen)

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 KVASIKOKEELLINEN Tutkitaan kausaalisuhteita Ennen ja jälkeen mittauksilla kovaa dataa Koe- ja kontrolliryhmät Löytää ne toimenpiteet jotka tuottavat tavoiteltuja tuloksia. Sopii ohjelmiin jotka pyrkivät vaikuttamaan kohteisiin mitattavalla.

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi.

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 PRAGMATISTINEN Huomio kohdentuu hankkeiden toteutettavuuteen. Miten ratkaisevat päätöksentekijät käsittävät hankkeen. Arviointi valistaa ja auttaa päätöksentekoa ja tunkeutuu mukaan vaikutusvallan ketjuihin. Arvioinnin ja vaikuttamisen raja häviää. Riippuvuus vallan resursseista vie konservatiivisuuteen.

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. VALLANPITÄJIEN NEUVONANTAJA

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. VALLANPITÄJIEN NEUVONANTAJA KRITIIKKI Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja.

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 KONSTRUKTIVISTINEN Ohjelmat ovat ajatuksellisia konstruktioita, joista toimijat jatkuvasti neuvottelevat. Tulokset ovat konstruktioita jotka ovat toimijoiden jatkoneuvottelujen kohteena. Arviointi auttaa selventämään mistä oikein on kysymys. Arviointi luo täten laajempia yhteistyöpiirejä ja valtaistaa kohderyhmiä.

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. VALLANPITÄJIEN NEUVONANTAJA KRITIIKKI Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja. TULKITSIJA JA SOVITTELIJA

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja. KRITIIKKI Kaikki käy. Relativismin vaara. Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. KRITIIKKI VALLANPITÄJIEN NEUVONANTAJA TULKITSIJA JA SOVITTELIJA Arviointi kadottaa kriittisyyden.

Arvioinnin oppisuuntauksia, vertailua Pawson & Tilley 1997, P. Ahonen 2001 REALISTINEN Lähtökohtana tarkastelu minkä kausaalisten mekanismien kautta ohjelmat ja hankkeet vaikuttavat. Kausaalisuhteet ovat kuitenkin monitasoisia ja systeemiluonteisia. Arviointi tuottaa tietoa siitä mikä toimii kenenkin kannalta ja missä olosuhteissa. "Realistinen evaluaatio on profiililtaan jäsentymätön synteesi kolmesta muusta lähestysmistavasta. " (Ahonen)

Arviointitutkijan roolit, vertailua Pawson & Tilley 1997, P. Ahonen 2001 OBJEKTIIVINEN MITTAAJA KRITIIKKI Hankkeissa on ristiriitaisia pyrkimyksiä ja eri tulkintoja. KRITIIKKI Kaikki käy. Relativismin vaara. Käytännössä mahdotonta. Yhden syyn selitys ei vastaa todellisuutta. Päätöksenteon inkrementalismi. KRITIIKKI VALLANPITÄJIEN NEUVONANTAJA TULKITSIJA JA SOVITTELIJA Arviointi kadottaa kriittisyyden. KRIITTINEN EKSPERTTI

Politiikka, Hallinnointi, kehittäminen, ohjelmat Instituutiot, kehittäjäverkostot, kehittäjäyhteisöt Arviointi? Arki, kulutus, asiakkuus, kansalaisuus

Yhteystiedot Jukka Oksa Joensuun yliopisto Karjalan tutkimuslaitos PL 111, 80101 Joensuu jukka. oksa@joensuu. fi http: //cc. joensuu. fi/~alma/lue