Sturen op outcome n resultaat in het sociale

Sturen op outcome én resultaat in het sociale domein Frits van Vugt Public Consultancy 10 juni 2015 Congres Jeugdzorg…the next step - PM Seminars

Thema’s • hoe kunnen gemeenten sturen op SMART outcome en resultaten? • het monitoren van outcome/ resultaat in de praktijk • wat over resultaat te regelen in zorgcontracten en in afspraken met sociale teams?

Mijn ervaring • 20 jaar met gemeentelijk beleid/ sturen in het sociaal domein • 25 jaar ervaring met evaluaties in sociaal domein • 10 jaar met gemeentelijke beleidscontrol • 10 jaar lokaal rekenkameronderzoek

Algemene indrukken Over maakbaarheid samenleving is men hypocriet: ‘s morgens een grote mond, ‘s avonds een klein hartje • Bij sociale beleidsontwerpen worden veel doelen geformuleerd, maar aangetoond dat deze gerealiseerd worden gebeurt maar zelden. • Vooronderstellingen over de werking van het beleid (beleidstheorie) worden breed uitgemeten, zelden getoetst, en indien wel: blijken ze vaak niet te kloppen. • Verweer is dan: samenleving is geen laboratorium, pas op lange termijn effecten zichtbaar, causaliteitsproblemen

Algemene indrukken (2) Sturen op doelen / resultaat vertoont weinig duurzaamheid: men start moeizaam, en houdt niet vol • Veel politici vinden sturen op geld makkelijker dan sturen op doelen/resultaat (gevoel er geen grip op te hebben) • Veel ambtenaren hebben weinig met een scientific approach, het zijn doeners die graag nota’s vol maatregelen schrijven, weinig affiniteit met evalueren • Beleid maken is gericht op de start; monitoren is niet sexy; daar wordt ook amper geld voor uitgetrokken • Men is beducht ‘afgerekend ‘te worden op onvermoede (verkeerde) uitkomsten (drie-eenheidscongsi)

Algemene indrukken (3) Bekende riedels om er niet aan te beginnen • Effecten kunnen niet bewezen worden; causaliteit (maar: er zijn methoden om verstorende invloeden te mitigeren) • Pas op de lange duur zichtbaar (maar: vorderingen zijn al snel te zien; en wat is er tegen langer monitoren? ) • Wetenschappelijke research nodig (maar: wat is er tegen gebruik van reeds wetensch. bewezen methodieken? ) • Onderzoek is duur (helemaal niet; bovendien: doorgaan met niet effectieve interventies, da’s pas geldverspilling!) • Meten van resultaat bij instellingen leidt tot perverse effecten (zegt de uitvoerende instelling; zoals de waard is…; bovendien ook dit mogelijk effect te mitigeren)

Hoe kan het wel? Belang onderkennen van doel- en resultaatsturing: • Overtuigen dat wegduiken niet meer helpt (‘outcome’ is in the air; wie te laat meedoet is gezien…. . ) • Uiteindelijk is het beter voor de continuïteit (jezelf/organ. ) • Anderen gaan het ook doen en iedereen gaat vergelijken. Waarom doen wij dit niet? Iets te verbergen? • RMO: ‘Leren innoveren in het sociaal domein’ (dec. ‘ 14): “focus op bereiken van maatsch. doelen leidt tot kwaliteitsverbetering, tot goedkopere en efficiëntere hulpverlening”; “bekostigen op basis van output leidt tot demotivatie en werkt contraproductief”

Hoe kan het wel? (2) • • • Gezamenlijke aanpak, maar ieder zijn rol Maak moeilijke dingen makkelijk Gebruik de info die er al is Leer van elkaar; jat waar nodig Beloon (met mate…) Maar ben ook niet bang door te pakken als er geen beweging in zit (zowel in org. ’s als in cijfers) • Altijd geldt: het belang van de cliënt /kind / kwetsbare gaat boven het institutiebelang

Zeven-fasenmodel Public Consultancy 1. Probleem- en vraaganalyse maken 2. Visie formuleren met SMART doelen 3. Beleidsinstrumentenkeuze (doelmiddelrelatie) met SMART resultaten 4. Keuze setting uitvoeringsorganisatie 5. “Inkoop” bij uitvoeringsorganisatie(s) 6. Uitvoering 7. Evaluatie met ‘afrekening’ en bijstelling

11. Evaluatie 10. Beoordeling Gemeente & instelling 1. Probleemanalyse / Vraagarticulatie Gemeente e. a. 9. Verantwoording 2. Visie meetbare beleidsdoelen Instelling Gemeente 8. Tussentijdse evaluatie / bijstelling P&C-cyclus Gemeente & instelling 3. Opdracht (resultaten) / “programma van eisen” Gemeente 7. Uitvoering Instelling / keten 6. Overeenkomst of beschikking Gemeente 4. Offerte(s) Instelling(en) 5. Beoordeling offerte(s) / onderhandeling Gemeente & instelling(en)

Fase 1 Vraag- en probleemanalyse • Kennen we de vraag/ het probleem? Hoe brengen we die in beeld? • Cijfermatig en/of kwalitatief? Trends? • Objectieve en subjectieve gegevens • Opties voor onderzoek (survey, signalen van burgers/klanten, via professionals, via belangenorganisaties, ‘hearings’, klantenpanels) • Wat is de oorzaak? (causale veldanalyse) • Welke problemen opportuun, urgent? Consensus? • Waarde-oordeel (verschillende brillen; referentiekaders) Welk probleem/vraag is belangrijk/urgent?

Fase 1: welke probleemanalyse? Voorbeelden: • Wat is het ‘echte’ sociale probleem in wijken? Gebrek buurtbetrokkenheid? Slechte onderlinge contacten? Onveiligheid/overlast? Andere leefbaarheidsproblemen? Te weinig initiatief? • Wat is het echte probleem bij de jeugd? Achterstand bij sommigen? Welke (domeinen)? Verveling / zinvolle vrije tijd? Kwetsbaar, maar geen toegang hulp? Te weinig maatschappelijk uitgedaagd? Druk? Leefwijze? Criminaliteit?

Fase 2: Visie: maatschappelijk effect/ doelen • Met welke problemen en vragen gaat de gemeente aan de slag? • Formuleer doelen met een ambitie (SMART) o. b. v. uitkomsten fase 1 • Doel: datgene wat de gemeente aan maatschappelijk effect in periode x wil bereiken • Draagvlak doelen?

Moet dat? Meetbare doelen? JA • Art. 2. 2, 2 e lid, c Jeugdwet: gemeente maakt periodiek (beleids)plan (uiterlijk 1 nov. 2014: eerste) met daarin: - welke resultaten men wenst te behalen in planperiode; - hoe gemeten gaat worden of deze zijn behaald • Hetzelfde in Wmo: art. 2. 1. 2 , zesde lid - ipv gemeten: welke criteria worden gehanteerd? • Verschillende terminologie: “outcome”- doelen: - “resultaten” (in de wet) - “maatschappelijke outcome” (NJI / van Yperen)

SMART doelen formuleren en meten (1) Maatschappelijk effect: Vermindering sociaal isolement van ouderen SMART doelstelling: Bij doelgroep 65+-ers: afname van de groep (sterk) sociaal geïsoleerden van 15% (nulmeting 2014) naar 10% (in 2017) Indicatoren schaalscore (meetinstrument: survey onder doelgroep): - mate dat men zich eenzaam voelt (subj. ) - aantal betekenisvolle contacten (obj. ) - aantal vrienden of naaste familieleden (obj. ) - hoeveelheid tijd die men besteedt met anderen (obj. )

SMART doelen formuleren en meten (2) Maatschappelijk effect: Verhoging zelfredzaamheid van mensen met beperking/ zo lang mogelijk zelfstandig blijven wonen SMART doelstelling: Van de 1500 personen die onvoldoende zelfredzaam zijn, wordt 80% bereikt, en daarvan is 70% na 2 jaar voldoende zelfredzaam om zelfstandig te kunnen blijven wonen (in 2016) Of: vermindering van het aantal mensen dat zich aanmeldt bij sociaal team en onvoldoende zelfredzaam is met 40% binnen 2 jaar Indicatoren meetinstrument: survey of meting bij te bereiken doelgroep; mbt de Zelfredzaamheidsmatrix (ZRM); welke domeinen?

SMART doelen formuleren en meten (3) Maatschappelijk effect: Verbetering van startpositie van kinderen (tot 4 jaar) SMART doelstelling: Percentage peuters dat met onderwijsachterstand naar de basisschool gaat, neemt af van 30% (nulmeting 2014) naar 20% (in 2016) Indicatoren (meetinstrument: peutertoets): - minder woordenschat dan regulier - minder kunnen toepassen van abstracte begrippen dan regulier - onvoldoende vaardigheden

SMART doelen formuleren en meten (4) Maatschappelijk effect: Verbetering gedragsgewoonten bij jongeren SMART doelstelling: Vermindering van het aantal jongeren (bv. 12 – 18 jaar) met ongezonde leefgewoonten, van 34% (nulmeting 2014) naar 20% (in 2017) Of: vermindering van het aantal jongeren (op VMBO) dat rookt (van 40% naar 25%) en regelmatig alcohol drinkt (van 70% naar 50%) Indicatoren schaalscore (meetinstrument: GGD onderzoek onder jongeren): roken, drinken alcohol, drugsgebruik, onveilig vrijen, slechte eetgewoonten (allemaal: nader specificeren)

Soorten doelen • Outcomegerichte doelen: - gericht op maatschappelijke veranderingen /burgers - aangrijpingspunt: doelgroep • Transformatiegerichte doelen - gericht op veranderingen in werkwijze, uiteindelijk leidend tot betere outcome en/of meer doelmatigheid - aangrijpingspunt: systeem

Voorbeelden transformatiegerichte doelen jeugdhulp • Jeugdregio Hart van Brabant: - gebruik van specialistische hulp gaat omlaag, ten gunste van lichte hulp de toegang/wijkteam schakelt sneller op en af, gevolg: kortere doorlooptijden specialistisch aanbod • Jeugdregio ZHZ: - Versterking preventieve en licht ambulante hulp leidt tot afname beroep en dure vormen jeugdhulp 100% gezinnen meervoudige (complexe) problematiek wordt gehlopen methodiek 1 gezin 1 plan 1 begeleider

Voorbeeld van gemeente: Leerdam • 9 thema’s van sociale problematiek • SMART doelen SMART resultaten • mbt thema Ontwikkeling jeugd: deels aanhakend bij doelen jeugdregio ZHZ, deels aanvullende doelen Voorbeelden: • Jeugdigen groeien gezond en veilig op; ambitie: gelijk • 80% afname problematiek gezinnen/kinderen • Toename zelfredzaamheid jeugdigen/ opvoeders • Vermindering jaarlijks aantal OTS’en: 40 35 • 80% VVE-doelgroep is taalvaardig eind groep 2

Fase 3: resultaten formuleren Resultaat: de aanwijsbare verandering c. q gerealiseerde baat die een (of meerdere) dienst(en) (bij burgers of maatschappelijk) teweegbrengt en daarmee bijdraagt aan het doel, zoals: - afname problematiek - succesvolle interventie - toename kennis - verandering houding - verbetering gedrag - tevredenheid met oplossing - tevredenheid met bejegening

Moet dat? Meetbare resultaten? • Art. 2. 2, 2 e lid, c Jeugdwet: in gemeentelijk plan ook: - welke outcomecriteria gehanteerd worden t. a. v. jeugdhulpverlening en gecertificeerde instellingen • Hetzelfde in Wmo: art. 2. 1. 2 , zesde lid - outcomecriteria t. a. v. aanbieders • Verschillende terminologie m. b. t. resultaten: - “outcomecriteria” (in de wet) - “voorzieningen outcome”, “prestatie-indicatoren“ (NJI / van Yperen)

Van sociaal beleid naar opdrachtformulering De uitvoeringsorganisatie kan alleen afgerekend worden op het resultaat Visie Maatschappelijk effect SMART doelstelling Resultaat Sociaal beleid SMART doelstelling Resultaat Opdrachtformulering Indicator

Gebruiksaanwijzingen bij resultaten • Het geeft een indicatie van de effectiviteit van een interventie; nadere analyse nodig • Cijfers zeggen niet alles: tellen én vertellen • Bedoeld om zicht te krijgen op effectiviteit / zinvolheid interventie, dus tool ter verantwoording (zorgaanbieder/ soc. team) • Niet per se om “op af te rekenen” al kunnen er wel gevolgen aan zitten

SMART resultaat formuleren (3) Doel: Percentage peuters met onderwijsachterstand neemt af van 30% (2014) naar 20% (2016) Resultaat: - 40% van de ‘zwakke’ peuters krijgen extra begeleiding, waarbij 70% significant beter scoort (op peutertoets) dan 2 jaar eerder - 70% van de ouders met ‘zwakke’ peuters krijgen ondersteuning gedurende 1 ½ jaar, en 80% is daar tevreden over

SMART resultaat formuleren (4) Doel: Vermindering van aantal jongeren op VMBO dat rookt (40% 25%) en regelmatig alcohol drinkt (70% 50%) Resultaat: - Begeleiding van 100 jongeren (die drinken en roken), waarbij er na 1 jaar: min. 60% een andere attitude heeft, en min. 40% het gedrag heeft veranderd - Het werven en ondersteunen van min. 20 jongeren die zich als vrijwilliger actief inzetten om andere jongeren van het roken en (overmatig) drinken af te houden

Volop ervaringen met resultaatmetingen in de jeugdhulp Overzicht: Roerink, Uniforme prestatie-indicatoren voor inkoop jeugdhulp (2013): • vml. prov. gesubs. jeugdzorg: set van 10 indicatoren (geautoriseerd VWS/Justitie , Jeugdzorg Ned. (Movisie/NJI) (2008: nulmeting) • jeugd ggz: basisset prestatie-indicatoren GGZ/VZ (vanaf 2006) • Kinder- & jeugdpsychiatrie: Routine Outcome Monitoring • Jeugdzorg plus: monitor jeugdzorg, is vorm van ROM

Doorbraak met ‘Outcome in zicht’? • Gebaseerd op wens harmonisatie ‘outcomecriteria’ • Breed gedragen traject NJI: VWS, Justitie, VNG/KING • Gebaseerd op “prestatie-incicatoren jeugdzorg’t. b. v. vml prov. gesubs. Jeugdzorg • 10 indicatoren (type resultaten) teruggebracht naar 3 hoofdvormen (14 sub-indicatoren): uitval (jeugdhulp) en bereik (preventie) tevredenheid t. a. v. het nut/ effect (bij cliënten) doelrealisatie en probleemafname

Meerdere gestandaardiseerde instrumenten Specifiek voor Wmo: - Zelfredzaamheidsmatrix - IPA: Impact op Participatie en Autonomie (beide: van diagnose- naar evaluatie-instrument) Diverse, o. a. : - Effectenarena - Veerkrachtmeting NB. MBKA is ook heel interessant maar héél iets anders

Voorbeeld jeugdregio ZHZ Monitoring doelen van Beleidsrijk Reg. Transitie-arrangement: - Afname problematiek (80% afname vlg professionals) Toename zelfredzaamheid Tevredenheid over jeugdhulptaken (gemidd. 7, 0) Stijging % reguliere beëindiging hulptraject Afname % dat terugvalt in problematiek

Indrukken Sociale monitors - Nog vele in ontwikkeling - Soms op regionaal niveau, soms lokaal, meestal met kennisinstituten (GGD, werkplaatsen) - Doorontwikkeling gemeentelijke monitor Sociaal Domein (VNG/KING): aan de late kant…. . - De eerste monitors vooral nog gevuld met prestatiegegevens en financiële gegevens (veel ‘mist’) - Nog onvoldoende inzicht in hoe men gaat “duiden” - Amper aandacht voor ‘meenemen’ gemeenteraad (goede uitzondering: Overbetuwe)

Afspraken over resultaat met sociale (wijk-)teams - geen pasklaar antwoord op te geven, want: - sociale teams verschillen heel veel (3 D of per doelgroep, alle problematiek of alleen complexe, met verwijsfunctie (toegang specialistische zorg) of niet Monitoring van: - Alleen resultaat ‘eigen’ functie/ondersteuning/hulp of integrale monitoring client(syeem)? - Verschuiving zorg per categorie (2 e ‘ 1 e eigen/samenkracht) Kan belangrijke rol krijgen bij meta-monitoring

Afspraken over resultaat in zorgcontracten • in zorgcontracten voor 2015 onvoldoende gebeurd • Goed voorbeeld jeugdzorg: Hart van Brabant harde afspraak dat zorgaanbieders per kwartaal rapporteren: - doelrealisatie - afname/stabilisatie problematiek - clienttevredenheid - tijdig geleverde zorg • Interessant voorbeeld Wmo: Goirle + 3 andere gemeenten contactverplichting om op 8 thema’s zelfredzaamheid/participatie te monitoren • Wordt al veel gesproken over ‘resultaatfinanciering’ en resultaatgerichte populatiebekostiging’: maar stelt nog niks voor