1 Hur Riksrevisionen hanterar sitt komplexa uppdrag SVUF

1 Hur Riksrevisionen hanterar sitt komplexa uppdrag SVUF: s konferens 2017 ATT UTVÄRDERA I EN KOMPLEX VÄRLD ROBERT BOIJE AVDELNINGSCHEF, EFFEKTIVITETSREVISIONEN 19 OKTOBER 2017

2 Vad jag ska prata om › Effektivitetsrevisionens uppdrag enligt lag och praxis i internationella standarder – Ett komplext uppdrag › Hur vi väljer ut granskningar och varför vi avstår vissa › Hur våra rapporter uppfattas av granskningsobjekten › Vetenskapliga kvalitetsutvärderingar (Cold Reviews) av Riksrevisionens rapporter › 2016 års omorganisation av effektivitetsrevisionen i syfte att stärka analyskapaciteten, de vetenskapliga inslagen och kvaliteten i rapporterna › Riksrevisionens roll i det samlade svenska utvärderingslandskapet

3 Uppdrag för effektivitetsrevisionen › Regleras i särskild revisionslag som också hänvisas till i regeringsformen – Lag (2002: 1022) om revision av statlig verksamhet m. m. › Granskningen ska – främst ta sikte på förhållanden med anknytning till statens budget – främja en sådan utveckling att staten med hänsyn till allmänna samhällsintressen får ett effektivt utbyte av sina insatser › Effektivitetsrevisionen ska huvudsakligen inriktas på granskning av hushållning, resursutnyttjande, måluppfyllelse och samhällsnytta › Som ett led i effektivitetsrevisionen får förslag lämnas om alternativa insatser för att nå avsedda resultat

4 Andra önskemål från Riksdagen jämte lagen › Riksrevisionen ska utifrån en analys av väsentlighet och risk ägna större uppmärksamhet åt granskningar som ur ett principiellt eller kvantitativt perspektiv har stor betydelse för statsbudgeten › Riksrevisionen ska utnyttja sitt mandat att göra breda granskningar › Riksrevisionens granskningar ska under en mandatperiod täcka samtliga utskottsområden

5 Vad är effektivitetsrevision? › En fråga som ständigt diskuteras internt på Riksrevisionen… › Ett svar ges av praxisen i de internationella standarder – s. k. ISSAIs – som Riksrevisionen valt att följa › Enligt de tre ”E: na” ur ISSAI 300 ska statlig verksamhet vägledas av: Principle of Economy – Att resursåtgången ska minimeras Principle of Efficiency – Att få ut det mesta av använda resurser Principle of Effectiveness – Att uppsatta mål och resultat nås och att uppsatta mål och vidtagna åtgärder är samhällsnyttiga

6 Dessa principer översatta i ”revisionslagen” › Granskning av hushållning – I vilken utsträckning har tillräckliga åtgärder vidtagits för att hålla nere kostnader? • Exempel: Onödigt höga kostnader för boende för asylsökande? › Granskning av resursutnyttjande – Förhållandet mellan nedlagda resurser och uppnådda resultat • Exempel: Är en viss arbetsmarknadspolitisk åtgärd kostnadseffektiv? › Granskning av måluppfyllelse och samhällsnytta – Förhållande mellan avsedda och uppnådda resultat • Exempel: Nås olika politiskt uppsatta mål t. ex. arbetslöshetsmålet eller överskottsmålet? Nås syftet (samhällsuppdraget) med statligt ägda bolag? Är åtgärder som vidtas samhällsnyttiga?

7 Ett komplext uppdrag › Lagstiftning och riksdag lämnar öppet för lite olika tolkningar – – Hur definieras exempelvis samhällsnytta? Vad menas med väsentlighet och risk? Vad menas med breda granskningar? Hur hänger dessa krav ihop med kravet på att samtliga utskottsområden ska täckas under en mandatperiod? › De internationella standardernas tre ”E” är inte helt precisa Några slutsatser: › Vi har ett stort handlingsutrymme som tillåter stor variation › Krav på sak- och metodkompetens inom väldigt många områden

8 Det komplexa uppdraget och variationen i det innebär att vi › Bejakar olika kompetenser, ansatser och metoder › Låter granskningsuppgiftens krav och sammanhang styra kompetenssammansättning och ansats Exempel Vi kombinerar: - kvantitativ analys av registerdata för att studera utfallet av en viss statlig insats i samhället - och kvalitativ analys i form intervjuer/enkäter/dokumentstudier för att studera hur genomförandet (inkl. handläggningen) kan ha inverkat på slutresultatet

Effektivitetsrevisionens inriktning har skiftat över tid 2003 -2008 (Källa: Grönlund m. fl. 2008) – fokus på regelefterlevnad mycket vanligt – ”administrativa granskningar” – fokus på kontroll 2009 -2015 (Källa: Hertting m. fl. 2016) – ovanligt med fokus på regelefterlevnad – ovanligt med fokus på samhällseffekter – vanligt med processtudier (”förutsättningar för”) – ökat fokus på främjande – VFM-analyser: kostnadsaspekt allt vanligare men osystematiskt 9

Framtagande av granskningsförslag 10 › Övergripande inriktning fastställs i granskningsplan › De olika sakenheterna står utifrån sin omvärldsanalys för den huvudsakliga idégenereringen › Enhetscheferna kvalitetssäkrar nya granskningsförslag › Avdelningsledningen prövar granskningsförslagen utifrån – – Väsentlighet, risk, effekt på statsbudgeten, om frågan är principiellt viktig Mervärde i förhållande till vad andra redan gjort Om bedömningsgrunderna är tydliga Även viss diskussion om metodval › Avdelningsledningen rekommenderar att förslaget kan skickas till ansvarig riksrevisor (med eller utan modifiering) alternativt avslås förslaget › Ansvarig riksrevisor beslutar om granskningen ska genomföras

11 Är vissa revisionsfrågor för komplexa att svara på? › Kompetensproblem – – Sakkunskap Metodkunskap Generalister kontra specialister Behov av konsulthjälp › Metod- och dataproblem › Problem med ”för” breda granskningar • Negativ erfarenhet av breda granskningar • Kritik framförd i Cold Review mot några av våra tidigare breda granskningar

12 Hur våra rapporter uppfattas och tas emot › En stor majoritet av granskningsobjekten anger i de enkäter vi skickar ut att de haft nytta av granskningen › Resultaten stöds av en forskningsuppsats av Bringselius (2016): ” 71 procent av respondenterna ansåg att Ri. Rs granskningar under perioden januari 2014 till april 2015 höll hög kvalitet” › Våra egna uppföljningsrapporter visar också att flertalet av granskningsrapporterna leder till någon form av åtgärder av regeringen eller granskade myndigheter

13 Översiktlig uppföljning av 122 rapporter › Genomgång av 122 rapporter varav 38 mer detaljerat gjord av sittande utredning – Baserad på Riksrevisionens uppföljningsrapporter och enkätsvar › Åtgärder vidtagna i 87 procent av fallen – Dock inte nödvändigtvis med anledning av rapporten – Tydlig koppling mellan åtgärd och rapport i 25 procent av fallen › Granskningen ansågs ”nyttig” i 19 procent av fallen › Åtgärder har lett till förbättringar i 40 procent av fallen › Inga eller få märkbara resultat av granskningen i 10 procent av fallen Källa: 2017 års riksrevisionsutredning

14 Detaljuppföljning av 38 rapporter › › Regeringen ger uppdrag till myndigheter el. motsv. i 68 av fallen Granskningens resultat överlämnad till utredning i 29 procent av fallen Leder till översyn av lagar i 26 procent av fallen Myndigheter genomför åtgärder på eget initiativ i 45 procent av fallen Källa: 2017 års riksrevisionsutredning

15 Cold Reviews 2010 -2016 › Forskargruppen har sällan funnit starka skäl att betvivla de huvudsakliga resultaten i Riksrevisionens rapporter, men flera kritiska punkter har regelbundet lyfts fram: › Betydande variation i rapporternas kvalitet – – – Svag koppling mellan rekommendationer, slutsatser och analys Brist på röd tråd Oklara metodval Bristfällig fokusering; långa rapporter med ”för mycket” information Svagt empiriskt underbyggda rapporter som istället är av mer förvaltningspolitisk ”common-sense”-karaktär

16 Cold Reviews 2010 -2016, forts. › Granskningar som försöker mäta effekter av genomförda politiska åtgärder utgör undantag › Man finner det anmärkningsvärt att: – effektivitetsrevisionen främst har följt upp processer, insatser, och regeltillämpning – och i mindre utsträckning försökt mäta effekter av genomförd politik › Denna kritik var ett viktigt motiv till 2016 års omorganisation av effektivitetsrevisionen

2016 års omorganisation Mål: - ökad relevans, ökad kvalitet och ökat antal rapporter Medel: - Mindre och fler enheter med en tydligare sakområdesprofil - Större fokus på rapporter som försöker mäta effekter av genomförd politik - Anställning av fler chefer och med sak- och metodkunskaper - Anställning av flera särskilt metodämnessakkunniga - Utökat antal disputerade - Stärkt kvalitetssäkringsprocess - Kraftigt utbyggt internutbildningsprogram i både sak- och metod 17

18 Nya organisationen Nio nya enheter med en tydlig sakområdesprofil 1: Förvaltningspolitik 2: Offentliga finanser, skatter, finansiell tillsyn 3: Försvar, rättsväsende, kultur, mm (”nattväktarstaten”) 4: Kommuner 5: Socialförsäkringar 6: Arbetsmarknad, integration, migration 7: Utbildning och forskning 8: Realkapital, miljö, klimat 9: Näringsliv och statliga bolag, mm

19 Vår kompetens idag › Ca 110 medarbetare › Majoriteten är statsvetare och nationalekonomer (ungefär lika många till antalet) › Även andra yrkeskategorier representerade (jurister, historiker, sociologer, fysiker, beteendevetare, m. fl. ) › Drygt 40 disputerade (en dubblering sedan hösten 2015) – De flesta med erfarenhet från statsförvaltningen och med särskild sak- och metodkunskap › 9 enhetschefer (jmf. med tidigare 3) – 7 av 9 enhetschefer har forskarutbildning (6 är disputerade) – 2 har lång erfarenhet av effektivitetsrevision – Samtliga har lång erfarenhet av kvalificerat utredningsarbete

20 11 särskilda ”metodtjänster” Kvalitativ analys – Enkäter – Intervjuer – Implementering Kvantitativ analys – Data – Individeffekter – Produktivitet – Mikromodeller – CBA – Ekonometri (2) Internationella standarder – ISSAI

Riksrevisionens roll i det svenska utvärderingslandskapet › › 21 Vad bidrar Riksrevisionen med som inte andra redan gör? Riksdagens och inte regeringens utvärderingsorgan Grundlagsfäst oberoende i valet av granskningar Inte rimligt att Riksrevisionen samordnar granskningar med regeringens myndigheter – Riksrevisionens granskningar ska dock ha ett mervärde i förhållande till vad andra redan gör/gjort › Vad skiljer effektivitetsrevision från utredning och forskning? – Vi ska inte bedriva ”allmän forskning” men använda relevanta vetenskapliga metoder och hänvisa till relevant forskning – Riksrevisionens granskningar ska fokusera på effektiviteten i staten och statliga insatser – Ej fokusera på samhällsproblem per se