Controle op Controle Reviewen van steekproef Wouter Gerards

Controle op Controle Reviewen van steekproef Wouter Gerards Slide 1 25 mei 2016 - Symposium Statistical Auditing

Inhoud en Introductie Inhoud • 4 modellen om gebruik te maken van werk van anderen • Controleur 2 dient een oordeel te geven over de door controleur 1 steekproefsgewijs gecontroleerde populatie • Hoe kan controleur 2 een conclusie trekken en zijn/haar controlekwaliteit waarborgen? • Meningsverschillen of meetfouten zijn wat betreft de wiskunde identiek Slide 2 25 mei 2016 - Symposium Statistical Auditing

Vier modellen 1. negeren van eerste steekproef 2. (gedeeltelijke) reperformance en zodra meningsverschil naar model 1 3. toetsende steekproef, analoog aan het proefschrift Vera Raats 4. Regressieschatter, analoog aan het proefschrift Vera Raats Slide 3 25 mei 2016 - Symposium Statistical Auditing

Aanleiding proefschrift • Raats, V. M. (2004). Monotone missing data and repeated controls of fallible authors Tilburg: Cent. ER, Center for Economic Research • Betalingen in het kader van Sociale Zekerheid • 500 waarnemingen door uitkeringsinstantie zelf, daaruit 53 door toezichthouder CTSV (tegenwoordig IWI) • CTSV rapporteert aan ministerie Slide 4 25 mei 2016 - Symposium Statistical Auditing

Model 3 k=16 Populatie geld k=1 n=500 n=53 k=3 Slide 5 25 mei 2016 - Symposium Statistical Auditing

Model 3 • Controleur 1 vindt 16 fouten in 500 waarnemingen uit de populatie – Geprojecteerde fout 3, 2% en maximale fout 4, 9% (van de populatie) • Controleur 2 doet 53 waarnemingen over en vindt 3 fouten waarvan 1 nieuwe • Geprojecteerde fout 5, 7% en maximale fout 14, 7% (van de populatie) • Geprojecteerde fout 1, 9% en maximale fout 9, 0% in de 500 waarnemingen van de eerste controleur • Combinatie met model van Raats: geprojecteerde fout 5, 1% en maximale fout ≈ 8% in de populatie Slide 6 25 mei 2016 - Symposium Statistical Auditing

n Raats, V. M. (2004). Monotone missing data and repeated controls of fallible authors Tilburg: Cent. ER, Center for Economic Research 500 k 16 projected 3% max 5% De kosten van twijfel (loslaten van aanname) Slide 7 25 mei 2016 - Symposium Statistical Auditing

Conclusies • Als 2 e controleur 1 extra fout vindt stijgt geprojecteerde fout van 3, 2% naar 5, 1% en maximale fout van 4, 9% naar ≈8% • Als 2 e controleur 1 fout minder vindt daalt geprojecteerde fout maar stijgt maximale fout ook • Als 2 e controleur het altijd eens is met de 1 e, blijft geprojecteerde fout gelijk maar ligt maximale fout tussen beider uitkomsten in Slide 8 25 mei 2016 - Symposium Statistical Auditing

Nadelen model 3 • Model kent alleen goed of fout maar er zijn 13 mogelijkheden ist 1 2 3 4 5 6 7 8 9 10 11 12 13 Slide 9 controleur 1 100 100 100 100 controleur 2 102 102 100 100 98 98 98 103 of meer 102 101 100 99 of minder 101 of meer 100 99 98 97 of minder 25 mei 2016 - Symposium Statistical Auditing

Slide 10 Regressie schatter algemeen • Voor alle steekproef items stelt een punt een ist en een soll positie voor van 1 dossier • Met regressie schatten we de lijn die punten het beste weergeeft • Voor alle andere dossiers kennen we de ist en nemen aan dat de soll op de lijn ligt • Lijn is niet exact bepaald zodat een interval van mogelijke totale soll posities ontstaat met variantie s 2(x)*(1 -r 2) 25 mei 2016 - Symposium Statistical Auditing

Slide 11 Model 4 Populatie posten n=500 25 mei 2016 - Symposium Statistical Auditing n=53

Slide 12 4 modellen 1 e controleur 500 waarnemingen uitspraak over populatie soll 1 ist 25 mei 2016 - Symposium Statistical Auditing

Slide 13 4 modellen 2 e controleur 53 waarnemingen uitspraak over populatie soll 2 ist 25 mei 2016 - Symposium Statistical Auditing

Slide 14 4 modellen 2 e controleur 53 waarnemingen uitspraak over 1 e controleur soll 2 Soll 1 25 mei 2016 - Symposium Statistical Auditing

4 modellen 2 e controleur 500 (quasi) waarnemingen uitspraak over populatie Soll 2 (geschat) Slide 15 ist 25 mei 2016 - Symposium Statistical Auditing

Voor en nadelen • Voordeel: Praktisch – simpel, mogelijkheden in excel – Robuust en onderscheidend voor alle 13 mogelijkheden • Nadeel: theoretisch Slide 16 – stochastische regressie 25 mei 2016 - Symposium Statistical Auditing

Ervaringen uit de Praktijk en bredere toepasbaarheid • Review werk (rechtmatigheid) onderzoek – (persoonlijke aanleiding) • Mogelijkheden mbt reductie review werk • Horizontale controle; gebruik maken van het werk van anderen. Slide 17 25 mei 2016 - Symposium Statistical Auditing

Slide 18 Vragen 25 mei 2016 - Symposium Statistical Auditing