STEAunderstd uppfljning och utvrdering av verksamhetens resultat Organisationers

STEA-understöd – uppföljning och utvärdering av verksamhetens resultat

Organisationers verksamhetsmiljö • STEA följer aktivt upp verksamhetsmiljön och förändringarna i den. • STEA använder sig av informationen från uppföljning respektive verksamhetsmiljön vid allokering av understöd och utveckling av den understödda verksamheten. • Vid bedömning av understödsansökningarna fäster vi särskild uppmärksamhet vid verksamhetens behovsinriktning. 2

Utgångspunkter för uppföljningen och utvärderingen av resultat och effekter 1. Uppföljning och utvärdering görs inte för STEA utan för att 2. Man lär sig genom utveckla försök men endast när organisationens egen man under försöket verksamhet. 3. Mindre är mer. Det dokumenterar vad som fungerar, varför, för vem gäller att endast samla in sådan information och hur och vad som man kan använda inte gör det. sig av vid utveckling av verksamheten. 3

STEA fäster uppmärksamhet vid följande: • Hur bra verksamheten går ihop med STEA: s riktlinjer avseende verksamhetsbehov, mål och målgrupp. • Hur organisationen kontrollerar, utvärderar och utvecklar sin verksamhet. • Hur bra målen styr verksamheten i syfte att uppnå resultat. • Hur de valda genomförandesätten främjar uppnåendet av målen för verksamheten. • Hur resultatrik verksamheten är i relation till målen och resurserna. • Hur bra målgruppen har nåtts. • Hur resultatrik verksamheten är i relation till annan motsvarande verksamhet som understöds. 4

Vad inverkar STEA: s utvärdering på? • Utvärderingarna i rapporterna och andra uppgifter om verksamhetsmiljön används som stöd för beredningen av förslag om understöd. • Om rapporteringen är svag kan STEA: s experter ge råd och handledning, bjuda in till utbildningar eller granska verksamheten. En svag rapportering kan också bidra till sänkt understöd. Den riktgivande understödsplanen kan tas bort eller ändras för en viss tid. • Lyckad rapportering berättar om högklassig och effektiv verksamhet. God rapportering kan också ge orsak att se över möjligheterna att utöka understödsobjektet, det vill säga höja understödet. 5

hco gniredrävtu röf rednur. G gninjlöfppu 6

Bra planering är en förutsättning för lyckad rapportering För att verksamheten ska kunna följas upp och utvärderas ska man redan i planerings- och ansökningsskedet tydligt fastställa följande för verksamheten: • Behov och mål • • Varför ordnas verksamheten Vad vill man påverka Vad vill man uppnå Vad förändras • Målgrupp • Vem riktas verksamheten till • Vem försöker man påverka • Åtgärder • Vad görs för att uppnå målen • Utvärderings- och uppföljningspraxis • Hur och från vem samlar man in information för att påvisa effektiviteten Det är viktigt att man tar upp kedjan behov–mål–verksamhet–resultat. 7

Indikatorer i uppföljnings- och utvärderingssystemet 1. Sätt upp mål och delmål för verksamheten. 2. Fastställ vilka förändringar du vill åstadkomma. 3. Fastställ indikatorer och återkommande sätt att samla in information om målen och resultaten. 6. Bedöm utifrån den insamlade informationen hur verksamheten framskrider, vilka resultat som åstadkommits och utveckla verksamheten vidare 5. Fastställ indikatorer för medlen (indikatorer för produktiviteten). 4. Fastställ åtgärder i syfte att uppnå målen. 8

Behov • Motivera behovet av verksamheten särskilt noggrant • Tänk på varför verksamheten behövs? Vilket är det problem eller fenomen som man vill påverka genom verksamheten? (Behov) • Vad vill man uppnå genom verksamheten när det gäller detta behov? (Mål och ändringar som åstadkoms) • Berätta hur målgruppen har deltagit i att reda ut behovet och planera verksamheten. • På lång sikt är det också bra att se över de indikatorer som beskriver behoven (t. ex. regional statistik). De förändringar som skett eller inte skett i dem kan jämföras med de resultat som man uppnått. 9

Mål • Målet beskriver den situation eller förändring som man strävar efter. • Fastställ ett huvudmål baserat på behovet och dela in det i etapp- och/eller delmål. • Målet ska kunna uppnås och verifieras inom ramen för tidtabellen och resurserna. • Målet ska vara konkret, så att man kan verifiera att det uppnåtts. • Målet beskriver INTE vad man gör. • Uppnåendet av målet ska också kunna följas upp och utvärderas • Observera också skillnaden: • Mål som gäller verksamhetens omfattning (beskriver verksamhetens omfattning, det vill säga hur mycket, hur många gånger) • Resultatmål (beskriver förändringen som ska åstadkommas i målgruppen) • Utvärderingskriterier/målnivå • Det är viktigt att fastställa vad ni kan vara nöjda med! • Med målnivå avses kriteriet för lyckad verksamhet, det vill säga när vi har nått våra mål (t. ex. målet är att hälften av deltagarna ska vara mindre ensamma när verksamheten upphör). 10

Målgruppen är de människor som man vill nå med verksamheten. Vem behöver verksamheten och varför? • När målgruppen klart och tydligt definierats och begränsats blir det lättare att påvisa resultat. • Definiera alltid målgruppen så exakt som möjligt. • Hur många personer ingår i den potentiella målgruppen i regionen och hur många av dem kan nås genom verksamheten? • Beskriv målgruppens ålders- och könsfördelning, ifall det är relevant för verksamheten. • Fastställandet av målgruppen omfattar med andra ord både ett kvantitativt (hur många/mycket) och ett kvalitativt (vilka) perspektiv. • Man är alltid tvungen att också gallra lite när man fastställer målgruppen, vem vill vi i första hand nå? Vem har störst behov av verksamheten? 11

Verksamhetens innehåll och genomförande • Vilken verksamhet bedrivs med understödet? • Hur ser sambandet mellan åtgärderna och de uppställda målen ut? • Målen styr verksamheten – verksamheten ska sikta på att uppnå målen • Vad gjorde man, i vilken omfattning, hur ofta och av vem? • En bra beskrivning av verksamheten: Det fanns flera aktiva grupper (n = 12); motionsgrupper, funktionella grupper och diskussionsgrupper. Sju av grupperna leddes av frivilliga handledare. Grupperna hade cirka 100 regelbundna deltagare under de båda åren och totalantalet gruppträffar var över 100 per år. (Obs! Här endast en del av svaret!) • I beskrivningen av verksamheten berättar man också om de resultat som man genom verksamheten åstadkommit. 12

Resultat och effekter 1/2 Resultat och effekter utvärderas alltid i relation till de mål som organisationen själv har satt upp.

Resultat och effekter 2/2 • Ta upp den ändring och/eller nytta som åstadkommits genom verksamheten • Resultaten ska alltid speglas mot de uppställda målen! • De presenterade resultaten ska basera sig på insamlad uppföljningsinformation • Presentera resultatet kort och koncist men tillräckligt informativt • Vad som förändrades, hur mycket och för vem • Undvik uttrycket ”deltagarna var nöjda”. • Kom alltid ihåg att skilja på verksamheten och den förändring som man genom verksamheten åstadkommit. • Verksamhet: Vi ordnade kamratstödgrupper åt deltagarna två gånger i veckan. • Produkt: Konkret resultat (t. ex. evenemang, kamratgruppsmöten, utbildningar) ett verktyg för att uppnå resultat • Beskrivs i verksamhetens innehåll • Resultat: Upp till 80 procent av deltagarna upplevde sig orka bättre i vardagen tack vare gruppverksamheten. • I vissa fall kan resultatet också vara att det inte sker någon förändring. 14

Hur väljer man rätt metod för insamling av information? • Vilka mål har ni ställt upp för verksamheten? • Hur mycket tid och andra resurser tänker ni använda för uppföljning och utvärdering av verksamheten? • Hur tänker ni använda er av den insamlade informationen i er verksamhet? Fråga inte efter information som ni inte tänker använda. • Man ska kunna använda och tolka de valda metoderna för insamling av information.

Exempel på uppföljningsmetoder • Indikatorer som är väsentliga för verksamheten (t. ex. besökarantal, utlåtanden, ställningstaganden) • Intervjuer (personligen eller per telefon, i grupp eller enskilt) • Enkäter (elektroniskt eller på papper), responslåda • Kollektiva metoder såsom diskussioner över en kopp kaffe, workshoppar, besökarråd, responsdagar, forum för frivilliga • Dagböcker, registrering av muntlig respons, projektdagböcker • Observation – kan vara exempelvis vuxnas observation av barn eller frivilligas observation av målgruppen • Fotografier, smileys (t. ex. när målgruppen är barn) • Insamlingen av respons kräver ofta utvecklingsarbete och att man testar olika metoder • För olika målgrupper lämpar sig olika sätt att samla in respons – nätverka med liknande projekt

Indikatorer för verksamheten BRA INDIKATOR: • uppger om ni når de mål som ni satt upp för verksamheten • beskriver den åstadkomna ändringen: vad var situationen före verksamheten, under den och när den upphörde (eller under annan tidsperiod, t. ex. ett år) • beskriver resultatet, inte produkter eller verksamheten • motiverar, uppmuntrar och gör målet tydligare • lämnar inte rum för tolkning utan är tillförlitlig • uppger hur bra går det för er och vad ni borde utveckla – huruvida det ni gör är i linje med de eftersträvade resultaten. • är enkel: informationen som indikatorerna gett betjänar utvärderingen av projektets verksamhet och resultat.

Exempel på indikatorer 1/2 • På sträckor kan ni enkelt också beskriva mindre förändringar. Viktigt är att ni gör en inledande och en avslutande mätning. • Hur ensam upplever du dig (när man först kommer med i verksamheten) • Hur ensam upplever du dig (när man har varit med i verksamheten till exempel i sex månader) FÖRÄNDRIN G! EFTER FÖRE MYCKET ENSAM INTE ALLS ENSAM 18

Exempel på indikatorer 2/2 Två frågor om depression Frågorna: 1) Har du under den senaste månaden ofta varit orolig för nedstämdheten, depressionen eller hopplösheten som du känt? 2) Har du under den senaste månaden ofta varit orolig för bristen på intresse eller ovilligheten som du känt? • Svarsalternativen är ”ja” och ”nej”. • Tolkning: Ett jakande svar betyder sannolik depression. Mer information www. thl. fi 19

Från uppföljning till utvärdering Uppföljning Funktioner och deras antal Konkreta resultat Upplevd nytta Åstadkommen förändring Utvärdering Vilka var de avsedda förändringarna? Vilka förändringar var inte planerade? Vilka förändringar var positiva och vilka negativa? Vad skulle ha hänt i alla fall? Hurdan betydelse har de olika åtgärderna när det gäller att åstadkomma resultat? Vad fungerade bra? Vad fungerade dåligt? Varför? Hur påverkar den insamlade informationen er verksamhet? Vilka förändringar behövs? 20

Viktiga observationer av lyckad uppföljning och utvärdering och utmaningar med dem 21

Gemensamt för kvalitativa rapporter 1/2 • Information har samlats in i första hand för den egna verksamheten. • Man kan berätta hur informationen konkret har utnyttjats. • Man har svarat på den ställda frågan; läst igenom ifyllnadsanvisningarna för formuläret. • Samma person som har fyllt i ansökan har också fyllt i rapporten och/eller man har hållit ett öga på ansökan samtidigt som man har fyllt i rapporten. • Personen som genomför verksamheten rapporterar. • Verksamhetens mål är konkreta och indelade i del- och etappmål. • Uppföljningsindikatorerna är enkla och konkreta och det finns i regel bara några sådana • Målgruppens röst kan höras i rapporten. 22

Gemensamt för kvalitativa rapporter 2/2 • De presenterade uppgifterna bygger på bevis och det är möjligt för utomstående att utvärdera graden av detta bevis materialet har beskrivits tillräckligt bra • Dåliga resultat och misslyckanden har presenterats och man har berättat öppet om dem samt analyserat deras orsaker och följder. • Vem som helst som inte är insatt i temat/projektet kan genom att läsa rapporten förstå vad projektet har gått ut på och vad man i praktiken har gjort och åstadkommit i projektet. 23

Gemensamt för dåliga rapporter • Man har inte alls samlat in information om verksamheten. • Information har samlats in men den utnyttjas inte på något sätt. • Man samlar endast in respons/information om kundnöjdheten. • Den insamlade informationen beskrivs i rapporten men någon analys ges inte. • Oklara mål oklara resultat • För många utvärderingsfrågor, vilket avspeglas i trötthet att rapportera • Man har endast fallit tillbaka på erfarenhetsinformation hos den som fyller i rapporten för att visa resultat 24

Grundläggande begrepp Term Vad betyder den? Behov Varför behövs verksamheten? Vilket problem vill ni genom verksamheten åtgärda? Vem behöver verksamheten och varför? Mål Vilken förändring/vilket tillstånd strävar ni genom er verksamhet att uppnå? Målgrupp Begränsning/segmentering av målgruppen: Vems välbefinnande främjas? Vad är det ändamålsenligt att rikta resurserna på? Samarbetspartner Andra för målgruppen viktiga aktörer som stöder genomförandet av projektet. Innehåll och genomföran de Verksamhetens innehåll och egentliga genomförande. Produkterna är konkreta medel för att presentera, dokumentera eller sprida exempelvis olika publikationer eller utbildningsmaterial. Resultat Förändringen som man genom verksamheten uppnått hos målgruppen. De uppnådda resultaten ställs alltid i relation till de uppsatta målen! Effekten uppkommer oftast efter en längre tid. Hur de genom 25 verksamheten uppnådda resultaten återspeglas även annanstans än i

Stöd för utvärdering och uppföljning • STEA: s materialbank (Information också om sökning) • Till STEA: s materialbank • RAY stöder-barometern • Artsi – stöd för organisationer för uppföljning och utvärdering av den egna verksamheten • Till webbplatsen för Artsi • Hyvän mitta-projektet • Till materialen på webbplatsen för Hyvän mitta • Kykyviisari: • Till webbplatsen för Kykyviisari • Soste: • Till webbplatsen för SOSTE • Utvärdering och uppföljning som en del av organisationens verksamhet • Till You. Tube-videon • Lär dig terminologin • Till You. Tube-videon 26