Professionalisering af evaluering Virkningsevaluering Refleksionsteori og kvalitetsudvikling i

  • Slides: 47
Download presentation
Professionalisering af evaluering Virkningsevaluering, Refleksionsteori og kvalitetsudvikling i praksis September 2007 Maria Appel Nissen

Professionalisering af evaluering Virkningsevaluering, Refleksionsteori og kvalitetsudvikling i praksis September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Program Kl. 15. 00 -16. 00 • Refleksion over ”professionalisering af evaluering” – •

Program Kl. 15. 00 -16. 00 • Refleksion over ”professionalisering af evaluering” – • Summediskussion og plenum • Pause kl. 16. 00 -17. 00 • Virkningsevaluering som evalueringsmodel og i praksis • Refleksionsteori og kvalitetsudvikling Kl. 17. 00 -18. 00 • Gruppearbejde: ”evaluering og praksisrefleksion” Kl. 18. 00 -19. 00 • Opsamling på gruppearbejde • Virkningsevalueringens styrker og svagheder September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Professionalisering af evaluering September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og

Professionalisering af evaluering September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Evaluering og styring Samfundsmæssig differentiering o Fravær af enhed og fravær af én gældende

Evaluering og styring Samfundsmæssig differentiering o Fravær af enhed og fravær af én gældende ’rationalitet’ o Behov for ”styring” men som ”selvstyring” Kompleksitet o Som uoverskuelighed o Fravær af kausalitet (hvis vi gør X, så følger Y = handlekraft) o Behov for ”kontrol” men som ”selvkontrol” Program- og værdibaseret styring Risiko og beslutningskontingens o Uforventede eller utilsigtede konsekvenser o Risiko for skader og kritik af dømmekraft o Fravær af ”naturlig”, ”sikker” eller endegyldig ”rigtig” løsning o Behov for sikker viden med normative kapaciteter - klare anbefalinger o Dokumentations- og evalueringsbehov September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Forventninger til evaluering • • Påvise hvordan rationalitet opnås Gennemskue systemer indefra Skabe overskuelighed

Forventninger til evaluering • • Påvise hvordan rationalitet opnås Gennemskue systemer indefra Skabe overskuelighed i uoverskuelige processer - ’skjulte’ mekanismer og kausale forbindelser Påvise uoverensstemmelser mellem program og handling – skabe forhåbning til nye programmer (implementering og handlekraft) Legitimere fremtidige beslutninger og skabe tillid til løsninger på trods af fremtidige utilsigtede konsekvenser og skader (policy prognostication) Fremme evalueringskapacitet • Dokumentation af evalueringens egen kvalitet og virkninger • • September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Professionalisering af evaluering • Evaluering / eksterne evaluerings- og styringsbehov o Evaluering af kriterierne

Professionalisering af evaluering • Evaluering / eksterne evaluerings- og styringsbehov o Evaluering af kriterierne for evaluering o Evaluering af evaluering • Evalueringssystemets faglige refleksion over sig selv • Refleksion over (kvaliteten af) evalueringsviden September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Evaluering – viden og anvendelse ”…det er stadig ofte svært at oversætte forskningsresultater til

Evaluering – viden og anvendelse ”…det er stadig ofte svært at oversætte forskningsresultater til politisk handlen. Den realpolitik, der omgiver os, betyder, at i den tid en evaluering varer, kan de politiske vinde meget vel skifte […] Der er en altid voksende ny bøgle af programmer, der venter på at blive udviklet og evalueret. Under sådanne tilstande, når vi aldrig til en Cambellsk ’løsning på konflikter mellem viden’ fordi der er sjældent forekommer en fuldkommen omvæltning af cyklussen ’policy-into-research-into-policy’” (Pawson 2002 a: 160) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

De sociale indikatorprojekter Viden om kvalitet og virkninger af indsatsen på o o Åbne

De sociale indikatorprojekter Viden om kvalitet og virkninger af indsatsen på o o Åbne døgninstitutioner/socialpædagogiske opholdssteder Sikrede døgninstitutioner Døgninstitutioner for psykisk svage unge Døgnbehandlingstilbud for senhjerneskadede voksne September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

At arbejde med videnproblemer (Nissen og Møller 2006) Politisk-administrativ semantik Socialt Arbejdes semantik Videnproblem

At arbejde med videnproblemer (Nissen og Møller 2006) Politisk-administrativ semantik Socialt Arbejdes semantik Videnproblem Manglende viden om den effektive indsats Manglende viden om den for den enkelte meningsfulde indsats Forklaringsmodel (årsag-virkning) Den individuelle klients livsforløb er afhængig af indsatsens virkninger Indsatsens virkninger er afhængige af den individuelle klients livsfoløb Programforventning Kontrollerbar indsats (standardisering) Fleksibel indsats (individualisering) Målgruppeperspektiv Homogenitet (generalisering) Variation (differentiering) Legitimering Sikker dokumentaton (måleproblem) Begrundede handlinger (beslutningsproblem) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

At arbejde med videnproblemer • Hvordan forstår og forklarer vi forandringsprocesser? • Hvad er

At arbejde med videnproblemer • Hvordan forstår og forklarer vi forandringsprocesser? • Hvad er grundlaget for at tale om sammenhænge mellem o mellem programmer og handlinger i praksis? o mellem indsatser, resultater og effekter? • Hvordan kan vi undersøge ovenstående? Hvilke usikkerheder eksisterer? Kan vi forklare hvorfor, der er usikkerheder? • Kan evalueringskriterier anvendt i forhold til én indsats overføres til andre kontekster? Med hvilken begrundelse og med hvilke forbehold? September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Summediskussion Hvilke problemstillinger vedrørende viden er I stødt på i evalueringspraksis? F. eks. •

Summediskussion Hvilke problemstillinger vedrørende viden er I stødt på i evalueringspraksis? F. eks. • Forskellige interesser med hensyn til hvilken viden, der er behov for? • Uklare eller forskellige syn på viden? • Problemer med at fastholde grundlaget for, at man evaluerer som man gør? • Mange forskellige evalueringer, der er svære at forbinde og samle op på? • Evalueringsresultater der blev tolket og anvendt anderledes end forventet? September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Virkningsevaluering som evalueringsmodel September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og

Virkningsevaluering som evalueringsmodel September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Virkningsevaluering • Forudsætter (mål) forventninger til indsatsen og dens resultater • Hvad virker for

Virkningsevaluering • Forudsætter (mål) forventninger til indsatsen og dens resultater • Hvad virker for hvem, hvordan, hvornår og under hvilke betingelser? o Sensitivitet overfor lokale kontekster og variation i forandringsprocesser o Søger at kompensere for problem i klassiske effektstudier: Hvordan kan vi viden om effekter en funktion af indsatsen? September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Virkningsevaluering Teoribaseret og teorigenererende o Synlige antagelser om, hvordan indsatsen virker o Kvalificeret procesviden

Virkningsevaluering Teoribaseret og teorigenererende o Synlige antagelser om, hvordan indsatsen virker o Kvalificeret procesviden – Hvordan går det til? o Fokus på generative mekanismer i programmer og indsatser o Interesse for mulige generaliseringer (overførbarhed) • Programteorien • Evaluering som realitetstestning af antagelser – sigter på læring September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Virkningsevaluering som evalueringsmodel Trin eller ’elementer’ i virkningsevaluering a) b) c) d) e) f)

Virkningsevaluering som evalueringsmodel Trin eller ’elementer’ i virkningsevaluering a) b) c) d) e) f) g) Stille evalueringsspørgsmålet Finde kilder til programteorien Opstille programteorien Gøre programteorien klar til evaluering Vælge metoder Indsamle data Analysere og konkludere (Dahler 2003: 52) h) Anvende evalueringsresultater i ) Anvende programteori September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

a) Stille evalueringsspørgsmålet • Afgrænse og formulere mål for indsatsen og dens målgruppe •

a) Stille evalueringsspørgsmålet • Afgrænse og formulere mål for indsatsen og dens målgruppe • Eksplicit spørgen til indsatsens måde at virke på (indhold og proces) og virkninger overfor målgruppe i tid og rum • Hvad virker for hvem, hvordan, hvornår og under hvilke betingelser? September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Evalueringsspørgsmålet i praksis (SIP) • Formulering af overordnede og specifikke mål • Formulering af

Evalueringsspørgsmålet i praksis (SIP) • Formulering af overordnede og specifikke mål • Formulering af evalueringsspørgsmål • Afgrænsning af indsats og målgruppe i tid og rum (inklusion/eksklusionskriterier) • Præcision af fokus September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Evalueringsspørgsmålet i praksis (SIP) Nogle eksempler på målformuleringer: Målet med indsatsen anbringelse på åben

Evalueringsspørgsmålet i praksis (SIP) Nogle eksempler på målformuleringer: Målet med indsatsen anbringelse på åben døgninstitution eller socialpædagogisk opholdssted er at skabe en forbedring af den unges sociale, materielle, kulturelle og personlige situation, således at den unge opnår bedre handlemuligheder set i forhold til den situation, den unge befandt sig i ved anbringelsen (Nissen 2005) Målet med indsatsen anbringelse på sikret institution er at forebygge, at den situation, en ung befinder sig i får risikable sociale, kulturelle, materielle og personlige konsekvenser for den unge selv eller den unges omverden, ved i indsatsen at fastholde og yde hjælp til den unge (Nissen 2007) - derefter udspecificerede differentierede forbedringsmål September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Evalueringsspørgsmålet i praksis (SIP) Nogle eksempler på evalueringsspørgsmål: Under hvilke betingelser og på hvilke

Evalueringsspørgsmålet i praksis (SIP) Nogle eksempler på evalueringsspørgsmål: Under hvilke betingelser og på hvilke områder kan indsatsen anbringelse på åben døgninstitution eller socialpædagogisk opholdssted føre til en forbedring af den unges sociale, materielle, kulturelle og personlige situation således, at den unge opnår bedre handlemuligheder set i forhold til den situation, den unge befandt sig i ved anbringelsen (Jf Nissen 2005, Holland 2007) Under hvilke betingelser og på hvilke områder kan indsatsen overfor en unge anbragt på en sikret institution via fastholdelse og hjælp bidrage til at understøtte, påbegynde eller skabe en egentlig forbedring af den unges sociale, materielle, kulturelle og personlige situation, således at den unge opnår bedre handlemuligheder set i forhold til den situation, den unge befandt sig i ved anbringelsen? (Nissen 2007) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Evalueringsspørgsmålet i praksis (SIP) Målgrupperne – væsentlige problemstillinger - Alder Karakteristika korttids- eller langtidsanbragte

Evalueringsspørgsmålet i praksis (SIP) Målgrupperne – væsentlige problemstillinger - Alder Karakteristika korttids- eller langtidsanbragte / minimumsvarighed af anbringelsen Eksempel SIP Åben - Unge 12 -18 (23) år - Primærhenvisningsårsag er normbrydende adfærd eller - Inkluderet i ungdomssanktionens fase 2 eller 3 - Opnår anbringelse med varighed på 3 måneder eller mere September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Evalueringsspørgsmålet i praksis (SIP) Problemstillinger i forhold til at udspecificere mål Forskellige forventninger til

Evalueringsspørgsmålet i praksis (SIP) Problemstillinger i forhold til at udspecificere mål Forskellige forventninger til mulige forandringsprocesser og forbedringer i forhold til f. eks. • Aftagende normbrydende adfærd • At opnå skolegang, arbejde og uddannelse • At få et bedre (forhold til) socialt netværk • • Afhængigt af anbringelsens varighed Afhængigt af den unges situation og problemer September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Evalueringsspørgsmålet i praksis (SIP) Indsats (betingelser, proces/præstation) Den unge ved anbringelsen (baggrundsfaktorer) Den unge

Evalueringsspørgsmålet i praksis (SIP) Indsats (betingelser, proces/præstation) Den unge ved anbringelsen (baggrundsfaktorer) Den unge ved anbringelsens ophør og efter anbringelsen (Resultater og effekter) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

b) Finde kilder til programteori a) b) c) d) e) f) g) h) Officielle

b) Finde kilder til programteori a) b) c) d) e) f) g) h) Officielle politiske dokumenter Udsagn fra politikere Faglig teori Evalueringer, undersøgelser og rapporter Fagfolks erfaringer fra hverdagens praksis Observationer, mens indsatsen foregår Interviews med brugere Workhops (Dahler 2003: 54) • • Kilder anvendes/læses med et programteoretisk ’blik’ Smalt eller bredt kilde valg (grænsen for overførbarhed) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Brug af kilder i praksis (SIP) a) b) c) d) Politiske dokumenter Tværfaglig litteratur

Brug af kilder i praksis (SIP) a) b) c) d) Politiske dokumenter Tværfaglig litteratur og teorier Forskning Fagfolks erfaringer via seminarer/workshops Fokusering i brug af kilder • Hvad karakteriserer de unge? • Hvad karakteriserer indsatsen og hvad virker positivt hvornår i indsatsen? • Hvordan går det de unge, og hvorfor? • Hvad virker for hvem, hvordan, hvornår og under hvilke betingelser? • • Sensitivitet overfor forskellige kontekster og variation i målgruppen Sensitivitet overfor forskellige perspektiver (organisatoriske, faglige og brugerperspektiver) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Brug af kilder i praksis (SIP) Litteraturstudier Revidere arbejdspapirer - Udarbejde Arbejdspapirer Inddrage praksis

Brug af kilder i praksis (SIP) Litteraturstudier Revidere arbejdspapirer - Udarbejde Arbejdspapirer Inddrage praksis viden - - Opbygning af programteori og præcision af indikatorer Workshops med fagfolk September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation Formidling af viden - Skitser til programteori - Sociale indikatorer som målepunkter

Brug af kilder i praksis (SIP) Eksempel Teorier, forskning og praksisviden indikerer, at en

Brug af kilder i praksis (SIP) Eksempel Teorier, forskning og praksisviden indikerer, at en prosocial versus en antisocial ungdomskultur på en institution har betydning for, om der i indsatsen kan skabes gode resultater Antagelse: En prosocial versus en antisocial ungdomskultur øger sandsynligheden for, at konflikter kan anvendes konstruktivt til opbygning af tillid mellem unge/unge, voksne/unge Indikatorer - kollektive regelbrud, konflikter, slagsmål, magtanvendelse, brug af sanktioner hhv. grad af medbestemmelse, kollektive/individuelle tilbud - Brugeroplevet tillid til de voksne og andre unge September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

c) Opstille programteori • Enkel eller kompleks • Opstilles i flowcharts (hvis X så

c) Opstille programteori • Enkel eller kompleks • Opstilles i flowcharts (hvis X så Y under bestemte betingelser) • Fokus på generative mekanismer (Context-mechanism-outcome) o det, der skaber et bestemt resultat (forandringen) o det, der muliggør mere komplekse forklaringer • Formuleres sprogligt/skriftligt – ”sætte ord på indsatsen” September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

c) Opstille programteori Context (C) Mechanism (M) Outcome (O) Fig. 2. 1: Basic components

c) Opstille programteori Context (C) Mechanism (M) Outcome (O) Fig. 2. 1: Basic components of realist causal explanation (Pawson 2006: 22) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

c) Opstille programteori Minimumskrav til den gode programteori (efter Dahler 2003: 66) En beskrivelse

c) Opstille programteori Minimumskrav til den gode programteori (efter Dahler 2003: 66) En beskrivelse af a) indsatsens indhold og processer – hvad er det vi gør? b) de mellemstationer (ønskede og uønskede), man kan forvente mellem indsats og resultat c) de resultater man gerne vil opnå d) mulige utilsigtede virkninger af indsatsen e) betingelser, der er afgørende for, hvorvidt hvert led i kæden fører til det næste September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Opstille programteori (SIP) Refleksiv Institutionskultur Overvejende pro-social ungdomskultur Motivation og opbygning af tillidsfulde relationer

Opstille programteori (SIP) Refleksiv Institutionskultur Overvejende pro-social ungdomskultur Motivation og opbygning af tillidsfulde relationer Institutionens kendskab til den unges situation, problemer og behov Betoning af både kontrol og autonomi i indsatsen Den unges erfaringer med gode relationer til familie Positiv oplevelse af modtagelsen Varieret, målrettet og bred indsats baseret på hensyn til både gruppen og den individuelle unge Øget sandsynlighed forbedringer af den unges situation Varieret, målrettet og bred udslusningsindsats Bedre mestring af overgang fra institutionsmiljø til deltagelse i samfundet uden for institutionen Efterværnsindsats September 2007 Øget sandsynlighed for, at den unge opnår bedre handlemuligheder Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation Den unges erfaringer med gode relationer til jævnaldrende og/eller andre voksne (venskaber) Materielle, kulturelle og personlige ressourcer Anbringelseshistorie - tidspunkt, stabilitet, frivillighed

d) Gøre programteori evalueringsklar Generelle overvejelser o Konkrete variable – klare kriterier o Abstrakte

d) Gøre programteori evalueringsklar Generelle overvejelser o Konkrete variable – klare kriterier o Abstrakte variable – betingelse for overførbarhed o Undersøge hele programteori eller dele af den? o Sikre forbindelsen mellem o konkrete processer og delprogramevalueringer o abstrakte mål og samlede programteori September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

d) Gøre programteori evalueringsklar Fastlæggelse af overordnet design o Aktører (respondenter) o Undersøgelsesproces i

d) Gøre programteori evalueringsklar Fastlæggelse af overordnet design o Aktører (respondenter) o Undersøgelsesproces i forhold til indsatsproces (tid) o Elementer af indsatsen, der skal undersøges September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

d) Gøre programteori evalueringsklar (Si. P Åben) Institutionsprofil Institutionsledere Ved inklusion til evalueringen Indsats

d) Gøre programteori evalueringsklar (Si. P Åben) Institutionsprofil Institutionsledere Ved inklusion til evalueringen Indsats (Proces / Præstation) Den unges situation ved anbringelsen + modtagelsen Indsatsen overfor den unge og den unges situation ved anbringelsens ophør Pædagog + Den unge Pædagog +Den unge Ca. 1 måned efter anbring-elsen September 2007 Resultat Sidste måned inden udflytning Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation Effekt Den unges situation efter anbringelsen + efterværn Den unge 1 -2 år efter udslusning

2) Vælge metoder Begrundet metodekombination o Spørgeskemaer o Kvalitative interviews – (individuelt/gruppe) o Observere

2) Vælge metoder Begrundet metodekombination o Spørgeskemaer o Kvalitative interviews – (individuelt/gruppe) o Observere indsatsen o Dokumentstudier F. eks. - Behov for mere specifik kontekstuel viden - Behov for mere generel overførbar viden - Behov for detaljeret og mere konkret procesviden - Behov for at inddrage aktører - Behov for at undersøge konstitutive virkninger September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

c) Vælge metoder (SIP) Spørgeskemaer, pilottest og implementeringspraksis Problemstilinger • Feltets forhold til evalueringspraksis,

c) Vælge metoder (SIP) Spørgeskemaer, pilottest og implementeringspraksis Problemstilinger • Feltets forhold til evalueringspraksis, tidsforbrug og motivation • Aktørers evalueringskapacitet • Feltets sprogbrug • Praktisk organisering af evalueringspraksis – herunder indsigt, vejledning September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

3) Indsamle data • • • Fastlægge datagrundlag Teknologi Dataovervågning og processuel analyse /

3) Indsamle data • • • Fastlægge datagrundlag Teknologi Dataovervågning og processuel analyse / kvalitetssikring September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

4) Analysere og konkludere • Analyse med udgangspunkt i og reference til programteori •

4) Analysere og konkludere • Analyse med udgangspunkt i og reference til programteori • • • Hvad virker for hvem, hvordan, hvornår og under hvilke betingelser? Hvad fremmer positive/negative resultater og effekter? Bieffekter? • • Hvad kendetegner en god indsats? (proces/resultat/effekt) o Er det som forventet? Var vores forventninger rimelige? Hvilke indsatser passer til hvilke typer unge? • Hvilke afvigelser og hvorfor? – forhold uden for indsatsen? September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

5) Anvende resultater • Bedømmelse som udgangspunkt forandring • Justere forventninger på forskellige niveauer

5) Anvende resultater • Bedømmelse som udgangspunkt forandring • Justere forventninger på forskellige niveauer o Politik o Kvalitetsudvikling • Afprøve nye praksisser – ændre/justere praksis o Udvikling af indsats i kontekst September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

6) Anvende programteorien • Løbende realitetstestning og organisatorisk læring o Ændring af praksis og

6) Anvende programteorien • Løbende realitetstestning og organisatorisk læring o Ændring af praksis og gentagelse af programteoretisk evaluering o Ændre programteorien og gentage evaluering o Lave nye programteorier for specifikke elementer i indsatsen (delprogramevalueringer) o Overføre elementer af programteori til andre indsatsområder September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Refleksionsteori og kvalitetsudvikling Videnskabelige teorier Refleksionsteorier Teori - der ”bryder sig om” praksis –

Refleksionsteori og kvalitetsudvikling Videnskabelige teorier Refleksionsteorier Teori - der ”bryder sig om” praksis – dvs, tager udgangspunkt i praksis - beskriver de i praksis fungerende programmer - September 2007 Antagelser om virkeligheden og de problemer, der skal løses Antagelser om, hvordan problemer løses Antagelser om, hvad der virker/ikke virker At opstille alternativer Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Refleksionsteori og kvalitetsudvikling Familiegaarden Kærnehuset Kontakt/ikke-kontakt Dit/mit ansvar God/dårlig omsorgsevne God/dårlig forældrekompetence Ligeværdighed Åbenhed

Refleksionsteori og kvalitetsudvikling Familiegaarden Kærnehuset Kontakt/ikke-kontakt Dit/mit ansvar God/dårlig omsorgsevne God/dårlig forældrekompetence Ligeværdighed Åbenhed Tillid Ro, tryghed, frihed Respekt Åbenhed Kontrol og observation Fleksibilitet i metoder Fleksibilitet og frihed fra observation Kontrol af metoder Krav til forældreadfærd Ressourcer/problemer Krav til behandlerroller Risiko for omsorgssvigt Risiko for overbehandling Objektiv viden/fantasi Oplevelser/formodninger Læring September 2007 (Nissen 2005) Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Refleksionsteori og kvalitetsudvikling Videnproblemer Hvordan betragtes meningsfuld indsats, og hvordan betragtes forholdet mellem ideal

Refleksionsteori og kvalitetsudvikling Videnproblemer Hvordan betragtes meningsfuld indsats, og hvordan betragtes forholdet mellem ideal og praksis i indsatsen? Hvilken rækkevidde har indsatsens resultater på kort og lang sigt? Hvilke forhold i relationen mellem indsatsen, målgruppen og udviklingen i dens sociale problemer er ubekendte? (Svært påviselige kausalrelationer) Hvilke betingelser i indsatsen er svært målbare? (fx personlige oplevelser og psykiske følelsesmæssige strukturer= Hvad ved vi, og hvad ved vi ikke om målgruppens problemer og årsagerne til disse, og hvordan ser vi relationen mellem problem og årsager? Hvilke praktiske forudsætninger er der for, at viden bliver pålidelig, gyldig og betragtes som relevant og brugbar? September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Gruppearbejde Evaluering og praksisrefleksion GRUPPEDISKUSSION: Præsenter individuelle erfaringer og/eller udvælg en særligt udfordrende og

Gruppearbejde Evaluering og praksisrefleksion GRUPPEDISKUSSION: Præsenter individuelle erfaringer og/eller udvælg en særligt udfordrende og måske problematisk ”case” fra jeres egen (evaluerings)praksis • • Hvilken videnproblemer eller forskellige videninteresserer var på spil i forhold til den pågældende evaluering? Hvilken viden manglede? Hvad ville have været frugtbar viden? Hvilke muligheder/barrierer var der for at opnå denne viden? Hvordan kan evalueringspraksis styrkes, så praksis også styrkes? September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Virkningsevalueringens styrker og svagheder September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde

Virkningsevalueringens styrker og svagheder September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Styrker og muligheder • • • Realitetstestning ikke kun af indsats – men også

Styrker og muligheder • • • Realitetstestning ikke kun af indsats – men også forventninger til indsats Måling på begrundet grundlag (”intelligent måling”) med indbygget test af evalueringskriterier Overførbarhed er mulig Programteori kan bidrage til faglig kontinuitet i evalueringspraksis Kompleks evaluering af mål og indsats – komplekse forklaringer på en given virkning (ikke kun målopfyldelse) Kombinerbar med mere eksplorative, buttom-up-orienterede evalueringsmetoder Taler for bred kildeanvendelse med inddragelse af mange kilder (triangulering) Kan formidle dialog mellem forskellige aktører og praksisser Kan skabe læring – afklaring af forventninger og antagelser (Dahler p. 52) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Svagheder og barrierer • • Politiske og organisatoriske interesser er ikke nødvendigvis teoriudvikling Diskussioner

Svagheder og barrierer • • Politiske og organisatoriske interesser er ikke nødvendigvis teoriudvikling Diskussioner om målforventninger kan åbne for interessekonflikter eller synliggøre uklarheder – kan skabe modstand Interessenter kan inddrages – evaluator og opdragsgivers tilgang afgørende Kompleks model – kompliceret at arbejde med Kan ’vokse’ pga. kompleks forståelse af indsats i kontekst Svært målbare forhold (kausalitet) Balance i forhold til overførbarhed Usikkerhed i opfølgning og anvendelse (programteorien der forsvandt? ) September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation

Litteratur Dahler-Larsen, Peter og Hanne Kathrine Krogstrup (2003): Nye veje i evaluering. Systime Academic

Litteratur Dahler-Larsen, Peter og Hanne Kathrine Krogstrup (2003): Nye veje i evaluering. Systime Academic Krogstrup, Hanne K. (2003): Evalueringsmodeller. Systime Academic. Møller, Simon Skovgaard & Maria Appel Nissen (2006): Når virkeligheden ikke altid er evident. Uden for Nummer. Tidsskrift forskning og praksis i socialt arbejde. Nr. 12, årg. 7. Nissen, Maria (2005): Arbejdspapirer til Det Sociale Indikator Projekt. Kvalitetsafdelingen Århus Amt. Nissen, Maria (2007): Det Sociale Indikatorprojekt. Programteori og indikatorer til evaluering af kvalitet og virkninger af indsatsen på sikrede institution: SIP-Sikret. Center for Kvalitetsudvikling. Pawson, Ray & Tilley (1997): Realistic Evaluation. Sage. Pawson, Ray (2002): Evidence-baced Policy: In search of a Method. I Evaluation, Vol 8(2): 157 -181, Sage. Pawson, Ray (2002): Evidence-based Policy: The Promise of ’Realist Synthesis’. I Evaluation. Vol 8(3): 340 -358. Sage. Pawson, Ray (2006): Evidence-based Policy. Sage. September 2007 Maria Appel Nissen Institut for Sociologi, Socialt Arbejde og Organisation