MASURAREA SI EVALUAREA CALITATII DATELOR STATISTICE 2009 1

MASURAREA SI EVALUAREA CALITATII DATELOR STATISTICE 2009 1

CUPRINS n n 1. Despre calitate 2. Conceptele Eurostat privind calitatea in statistica 3. Metode de masurare si raportare a calitatii 4. Instrumente de evaluare a calitatii 2

1. DESPRE CALITATE n n n 1. 1 Ce trebuie stiut despre calitate 1. 2. Costul calitatii datelor 1. 3. Exemple clasice de erori 1. 4. O scurta istorie a calitatii 1. 5. Definitia calitatii in general si ISO 1. 6. Calitatea in statistica 3

1. 1 Ce trebuie stiut despre calitate n n “Desi calitatea nu poate fi definita cu exactitate, Dvs. stiti ce este”. R Rirsig “Calitatea vorbeste mai mult decat cantitatea ” Seneca “Imbunatatirea calitatii este un proces care nu se termina niciodata” “Gunoi bagi, gunoi scoti”. 4

Not everything that can be COUNTED COUNTS! Not everything that COUNTS CAN BE COUNTED! A. EINSTEIN Nu tot ceea ce se evalueaza este valoros! Nu tot ceea ce este valoros se evalueaza! 5 5

Calitatea prezenta in permanenta de-a lungul istoriei orice activitate umana dominata de tendinta spre calitate superioara; • monumentele Egiptului Antic; • produsele de artizanat si ale mestesugarilor. • MASING (GERMANIA- DGQ) 4 6

1. 2. Costul calitatii datelor n n n Erorile ale preturilor de vanzare au condus la un dezavantaj al clientilor din SUA de circa 2, 5 mil $ pe an. 80 % din erori s-au datorat scanarii incorecte a codului de bare. In 2004, in medie 7 % din expedierile postale nu au fost operate din cauza adreselor gresite. In 1992, Departamentul de trezorerie al SUA nu a putut emite 100. 000 de CEC-uri de incasari datorita adreselor gresite. 7

errors 1. 3. Data Quality − Example mistypings variations missing values 8

1. 4. O scurta istorie a calitatii • Fenomenul calitatii isi are radacinele in secolul 13 cand a fost elaborat modelul maiestriei (craftsmanship model). • Sistemul industrial pune accent pe inspectia produselor, startul este dat de Great Britain la 1750, fenomen care se amplifica in cadrul Industrial Revolution, inainte de 1800. • Inainte de secolul 20 th, manufacturierii incep sa includa calitatea proceselor industriale in practicile calitatii. • Walter Shewhart (1922) elaboreaza „Statistical process control techniques”. • World War II (1939 -1945), calitatea devine o componenta critica a efortului de razboi: Gloantele fabricate intr-o tara, de exemplu, trebuiau sa functioneze consistent in carabinele utilizate de alti. • Data Quality Control: in Statistical Offices incepe din 1930 in Business incepe din 1990 Source: www. asq. org 9

3 paradigme fundamentale in managementul calitatii in secolul 20: Fordism. . . limitare la verificarea calităţii produsului final; Post- Fordism … satisfacerea clientilor = factor de calitate TQM. . . implicarea salariaţilor; sistem informaţional eficient; satisfacerea necesităţilor utilizatorilor (P. Garrona si T. Luige) 6 10

1. 5. Definitia calitatii in general n n W. Werz (1915): Calitatea reflecta abilitatea unui obiect de a intampina un scop Norma ISO: Potrivit pentru utilizare conform obiectivelor stabilite Industrie: Calitatea este conformitatea cu cerintele stabilite prin documentatia tehnica Computer Science: Potrivire pentru utilizare – in contextul satisfacerii unui scop 11

Definitii ISO (1) n n ISO (Organizaţia Internaţională pentru Standardizare) a preluat aceste concepte în anul 1979, propunand în 1986 o definiţie standardizată a calităţii, iar în 1987 la rapoarte privind atestarea calităţii. Astfel, ISO 8402 din 1986 defineşte calitatea ca fiind “ansamblu proprietăţilor şi caracteristicilor unui produs sau a unui serviciu care-i conferă capacitatea de a satisface nevoile exprimate şi implicite”. n Această definiţie are avantajul generalizării, deoarece ea nu apare ca fiind specifică unui sector de activitate anume. 12

Definitii ISO (2) Norma ISO 9001 - oferă un model pentru asigurarea calităţii în conceperea, dezvoltarea, producţia, instalarea şi prestaţiile asigurate - viziune foarte largă privind calitatea, deoarece toate componentele activităţii întreprinderii sunt luate în considerare. Norma ISO 9002 - exclude aspectele de concepţie şi dezvoltare. - se axeaza pe calitatea procesului de producţie şi în special pe capacitatea întreprinderii de a-l ţine sub control. -calitatea procesului contribuie la calitatea produsului 13

Definitii ISO (3) n Norma ISO 9003 - “un model pentru asigurarea calităţii supuse controlului şi testării finale” - limitare la un aspect al calităţii produsului final, ce poate fi percepută printr-o analiză izolată (prin controale) fără a lua în consideraţie felul în care a fost obţinut. Nu reiese deloc că procesul de producţie este el însuşi de calitate. - este insuficientă pentru “produsul statistic”! - este adesea dificil să se evalueze calitatea statisticii numai la simpla vedere a unui produs statistic, cum ar fi buletin, breviar, etc. - dacă nu dispunem de elemente de comparare, de indicatori suplimentari (despre planul de sondaj, despre non-răspunsuri) avem puţine elemente pentru aprecierea calităţii statisticii. 14

1. 6. Necesitatea calitatii in statistica oficiala ü ü ü Probleme legate de calitatea datelor (Indicele Preturilor de Consum (SUA, Elvetia), Statistici de intreprindere pe termen scurt (Eurostat), etc. ) Presiunea utilizatorilor externi si a altor actori implicati de a putea beneficia de experienta sectorului privat Necesitatea de a da“valoare banilor” cu resurse din ce mai reduse Intentia de a perfectiona Sistemul Statistic European 8 15

Calitatea in statistica concept nou preluat din domeniul economic; n Precursori: Suedia, Italia, Olanda, Finlanda, Germania, Canada, SUA; n Campania: ofensivă pentru calitate in statistica in toate statele membre, statele candidate, alte tari ale lumii si in toate organizatiile internationale. Abordarea TQM în statistica oficială vizează procesele de producţie, diseminare si utilizare a datelor sub aspectul îmbunătăţirii permanente şi luării în considerare a necesităţilor prezente şi viitoare ale utilizatorului cumulate într-un sistem integrat TQM n 9 16

1990 – Managementul Total al Calitatii Conceptul se refera nu numai la produs, ci la ansamblul organizatiei, ADICA LA: Proiectarea produsului, managementul procesului de productie, conditiile de munca, managementul resurselor umane, etc. 38 17

TQM - Managementul Total al Calitatii Concentrarea asupra clientului Abordare procesuala: activitati si resurse derulate in procese Conducere angajata Participarea tuturor: oamenii, esenta organizatiei Decizii bazate pe fapte Perfectionare continua Munca in echipa Utilizarea de instrumente ale calitatii 39 18

Concentrarea asupra clientului Calitatea este vizibila pentru client üIdentificarea diferitilor clienti üStabilirea cerintelor acestora üDialog si urmarire üClienti externi si interni üCultura statistica ü 40 19

Conducere activa si angajata ü ü ü Conducere pe baza unor exemple Crearea mediului corespunzator muncii de calitate Furnizarea resurselor necesare Participare si sprijin vizibil Angajamente pe termen lung 42 20

Participarea tuturor ü ü Fiecare dintre noi – o za dintr-un lant Implicare–Participare activa/angajament – Rezultate Fiecare o cunoastere proprie ce contribuie la ansamblu Responsabilitate - imputernicire 43 21

Decizii bazate pe fapte ü ü ü Mai corecte Mai obiective Posibilitatea evaluarii intelegerii si 44 22

Perfectionare continua ü ü ü ü “Intotdeauna exista o modalitate de a obtine o mai buna calitate la un pret mai mic” Deschiderea unor noi posibilitati Schimbarea cerintelor si realitatii Pasi mari – pasi mici Evaluare si perfectionare Instrumente ale calitatii Planificare – realizare – verificare – actiune 45 23

Abordarea conceptului de calitate in statistica Pentru INS, contextul este caracterizat prin: INS: agentie specializata a administratiei publice; unii utilizatori sunt interni; input-uri: date primare de la intreprinderi/ gospodarii/ persoane fizice; procesele de productie inseamna transformarea datelor primare in agregate; produsele obtinute: statistici sau servicii statistice n n “Calitatea” – diferite definitii, abordari diferite- utilizator - repondent - responsabil de ancheta statistica - responsabil de productia statistica - responsabil cu stabilirea politicilor 24

n Exista 2 notiuni fundamentale in domeniul calitatii: 1. stapinarea calitatii – obiectiv intern de imbunatatire a produselor statistice şi de creştere a productivităţii 2. asigurarea calitatii - garanţiile de calitate a produsului statistic sunt cerute de către clienţi 25

2. CONCEPTELE EUROSTAT PRIVIND CALITATEA IN STATISTICA n n n 2. 1. 2. 2. 2. 3 2. 4. 2. 5. 2. 6. SSE - Sistemul Statistic European Initiativele SSE privind calitatea EUROSTAT si calitatea Componentele calitatii in statistica Cadrul metodologic al EUROSTAT Indicatorii standard de calitate 26

2. 1. Valori ale SSE Concentrarea asupra utilizatorului Perfectionare continua Angajament pentru calitatea produselor Accesibilitatea informatiilor Parteneriat in cadrul SSE si dincolo de acesta Respectarea nevoilor furnizorilor de date 99 27

Valori ale SSE (continuare) Angajamentul conducerii Managementul sistematic al calitatii Procese efective si eficiente Satisfactia si dezvoltarea personalului 100 28

2. 2. Initiativele SSE in legatura cu calitate n n n LEG –Leadership Experts Group, 1999 Declaratia calitatii a SSE…. principii si viziuni pentru SSE Organizarea de conferinte pentru calitate (Q 2001 la Stockholm, … Mainz)……. Cele 22 de Recomandari privind Calitatea Codul de bune practici in statistica (2005): 15 principii cheie ref. la mediul institutional, procesele statistice si produsele statistice Regulamentul 223/2009: legea statistica 29

Declaratia de calitate (1) * Misiunea SSE (cuprinsă în Declaraţia asupra calităţii) prevede: “Noi furnizăm UE şi lumii informaţii de înaltă calitate asupra economiei şi societăţii la nivel european, naţional şi regional şi punem la dispoziţie informaţii pentru oricare scopuri decizionale, cercetări şi dezbateri publice”. 12 30

Declaratia de calitate (2) * Viziunea SSE: “SSE va fi un leader mondial în servicii de informaţii statistice şi cel mai important furnizor de informaţii pentru UE şi statele membre. Bazându-se pe principiile şi metodele ştiintifice, SSE va oferi şi îmbunătăţi continuu programul statisticii europene armonizate ce constituie o baza esenţiala pentru procesele democratice şi progresul societăţii”. 31

RECOMADARILE LEG-ului n n n Rec. nr. 1: “Fiecare INS trebuie sa produca Raportele de calitate in concordanta cu dimensiunile si subdimensiunile SSE” Rec. nr. 2: “Comensurarea fiecarei dimensiuni si subdimensiuni a calitatii SSE trebuie continuu sa fie imbunatatita” …… Rec. nr. 15: “Un checklist generic trebuie sa fie dezvoltat printr-un program simplu de autoevaluare destinat responsabililor de anchete care fac parte din SSE - DESAP” Rec. nr. 22: “Este necesar de a se stabili un Grup de Implementare al LEG care sa coordoneze activitatiile recomandate de Comitetul Coordonator” 32

2. 3. Eurostat si calitatea in statistica n Eurostat – defineste calitatea in statistică plecand de la norma ISO 8402 din 1986 şi anume “ansamblu proprietăţilor şi caracteristicilor unui produs sau a unui serviciu care-i confera capacitatea de a satisface nevoile exprimate si implicite” 33

n produsul statistic trebuie să fie “potrivit scopului”. 34

2. 4. Componentele calitatii in statistica (Y. Franchet, 1998) n Calitatea in statistica este definita prin 6 componente: 1. 2. 3. 4. 5. 6. Acurateţea Relevanţa Oportunitatea şi Punctualitatea Accesibilitatea şi claritatea Comparabilitatea Coerenţa 35

Acurateţea n este legată de conceptul de eroare şi reprezintǎ gradul de apropiere dintre valoarea finalǎ reţinutǎ (dupǎ colectare, editare, imputare, estimare, etc. ) şi valoarea realǎ, dar necunoscutǎ. Diferenţa dintre cele douǎ valori reprezintǎ eroarea. Acurateţea este un concept relativ, nu unul absolut, dar este fundamentală pentru calitatea statisticii. 36

Relevanţa n reprezintǎ mǎsura în care nevoile utilizatorilor sunt îndeplinite în mod adecvat. Se apreciază relevanţa produsului statistic pentru utilizatori, măsura în care statisticile furnizate satisfac cerinţele utilizatorilor. Una din principalele cheie ale managementului calităţii este orientarea statisticii oficiale către utilizatori. 37

Clasificarea utilizatorilor Utilizatori trebuie cunoscuti, descrisi, clasificati si intervievati Utilizatori sunt clasificati generic in 6 categorii: n n 1) 2) 3) 4) 5) 6) Institutii multinationale, regionale, judetene Actori sociali: asociatii profesionale, patronale, sindicate Media: internationala sau nationala, interesata atat pentru date cat si pentru analize si comentarii, este principalul canal de diseminare a informatiilor catre public Cercetatori si studentii – necesita statistici, analize, servicii ad-hoc, acces la date specifice Intreprinderi (agenti economici)- fie pentru propriile studii de piata sau pentru faptul ca ei ofera servicii de consultanta in sectorul informational Utilizatori interni din INS 38

Evaluarea cerintelor utilizatorilor n n Pentru a evalua daca cerintele utilizatorilor sunt satisfacute trebuie folosit orice mijloc disponibil Cel mai eficient mijloc il constituie ancheta de satisfactie a utilizatorilor, care poate fi focalizata pe un produs specific sau pe set larg de informatii disponibile, cum ar fi conturile nationale sau statistica agriculturii Prin interogarea utilizatorilor se pot clasifica produsele si serviciile statistice pe o scala a calitatii de la 1 la 5 - se poate masura care aspecte ale calitatii sunt cele mai importante pentru ei Mai putin expresiva, este metoda feedbackul de la utilizatori prin atasarea unui formular la publicatii 39

Utilizatori Statistica oficiala trebuie “orientata catre utilizatori” Problema complexa üStatistica= bun public Grupe de utilizatori la nivel de produs Consilii ale utilizatorilor Alte modalitati: reactii via Internet, intalniri ad hoc cu institutele importante si Acorduri de Asistenta pentru principalii clienti 33 40

Utilizatori Intelegerea nevoilor utilizatorilor si realizarea a tot ce este posibil pentru satisfacerea acestora! 34 41

Oportunitatea şi Punctualitatea n n Oportunitatea - perioada de timp dintre data furnizării datelor statistice către utilizatori şi data (perioada) de referinţă Punctualitatea - perioada de timp dintre data reală de furnizare a datelor către utilizatori şi data de furnizare programată (regăsită în catalogul publicaţiilor). 42

Accesibilitatea şi claritatea n n Accesibilitatea - se referǎ la condiţiile fizice în care utilizatorii pot obţine datele (de unde pot obţine datele, cum pot comanda datele, timpul de livrare al datelor, etc. ) Claritatea - se referǎ la modul în care sunt furnizate informaţii despre date (metadate). Cifrele statistice trebuie să fie insotite de metadate adecvate, astfel încăt utilizatorul să le poată înţelege şi interpreta corect 43

Comparabilitatea n reprezintǎ impactul produs de diferenţele dintre conceptele şi definiţiile statistice, cand se comparǎ datele statistice din diferite zone geografice, domenii non-geografice sau perioade de referinţǎ. 44

Comparaţiile se referă la: n n n Comparaţii în timp: posibile rupturi în seriile de timp şi informaţii asupra perioadei de referinţă când au intervenit aceste rupturi, descrieri ale diferenţelor în concepte între două perioade de referinţă, aprecieri cantitative ale efectelor schimbărilor; Comparaţii geografice: diferenţe între practicile naţionale şi standardele Eurostat; Comparabilitatea între domenii: compararea statisticilor pe domenii, definite adesea conform unor clasificări sau nomenclatoare, ex: compararea şomajului în industrie şi comerţ, două domenii definite conform CAEN. 45

Coerenta Caz particular al comparabilitatii Coerenta statisticilor reprezinta posibilitatea combinarii acestora in diverse moduri si pentru diverse utilizari Statistici similare provenite din surse diferite trebuie identificate, iar diferentele trebuie explicate, cuantificate 28 46

Coerenta (continuare) Trebuie prevenita intelegerea eronata de catre utilizatori, in special atunci cand se poate presupune ca anumite statistici vor fi utilizate impreuna 29 47

Echilibrul intre componentele calitatii ü ü ü ü Relatii pozitive: ---Relevanta/celelalte componente ale calitatii; ---Acuratetea/ comparabilitatea si coerenta Relatii negative (compromisuri) ---Oportunitate si precizie ---Relevanta/comparabilitate in timp ---Comparabilitate geografica/ comparabilitate in timp 30 48

Care este cea mai importanta componenta a calitatii? 32 49

2. 5. Cadrul metodologic al EUROSTAT n n n n Cadrul metodologic dezvoltat de Eurostat consta in: Definirea calitatii prin cele 6 componente Indicatorii Standard de Calitate RSC - Raportul Standard al Calitatii Proiectul DESAP pentru evaluarea calitatii Glosarul Termenilor Calitatii Barometrul calitatii 50

Indicatori standard de calitate (1) n n Obiective: sa masoare si sa urmareasca in timp calitatea datelor produse de statistica Caracteristici - Sa fie reprezentativi, usor de produs si de inteles n Sa fie aplicabili la datele obtinute din anchete statistice, din sursele administrative sau alte surse n Sa fie aplicabili atat la datelor produse de INS, cat si la cele produse de Eurostat n Sa aiba la baza aceeasi terminologie agreata, algoritmi, variabile, domenii statistice, niveluri de analiza n 2 seturi: - indicatori orientati spre producator - orientati catre utilizatori 51

Indicatori standard de calitate (2) n n n Clasificarea indicatorilor: ptr. fiecare din cele 2 seturi, 2 tipuri de indicatori ---de performanta (se masoara nivelul calitatii dimensiunii avute in vedere) ---de monitorizare (indicatori de management, ce se refera la calitatea rapoartelor de calitate) 52

Relevanta (1) n Indicatori determinati in conditii specifice ale fiecarui produs statistic; Calculul indicatorilor presupune clarificarea aspectelor: ---care sunt categoriile de utilizatori; cate dintre ele trebuie luate in considerare ptr. calculul indicatorilor; ---daca informatia furnizata este importanta ptr. utilizatori n R 1 Numar n n si proportia produselor statistice ptr. care se masoara satisfactia utilizatorilor…. Usor de calculat, daca ar exista ancheta privind satisfactia utilizatorilor 53

Relevanta (2) n n n R 2. procentul produselor statistice pe care INS le considera utile pentru utilizatori… Indicator de monitorizare, orientat catre producator ---ptr. calculul sau este necesara o clasificare a utilizatorilor si a nevoilor 54

Acuratetea n n Indicatorii compilati ptr. monitorizarea erorilor de acoperire, erorilor bazei de sondaj si erorilor de imputare Evaluarea calitatii- dificila ptr. datele din surse administrative ptr. ca reflecta cerntele administratiei publice ca utilizator principal 55

Acuratetea n n n A 1: numarul si proportia produselor statistice ce furnizeaza informatia pentru non-raspunsuri - indicator de monitorizare - orientat spre producator 56

Acuratetea(2) n A 2. Numarul si proportia produselor statistice ce furnizeaza informatii despre erorile independente de esantionare (excluzand non raspunsul) n n Indicator de monitorizare, orientat spre producator Ptr. calculul sau se vor lua in considerare erorile bazei de sondaj, cele de culegere si procesare a datelor 57

Acuratetea - (3) n A 3 Rata datelor lipsa n Indicator de monitorizare n Orientat catre producator 58

Acuratetea (4) n - A 4. Evaluarea calitativa a acuratetei globale Indicator de performanta Orientat catre producator Calculul sau se bazeaza pe informatia furnizata pentru toti indicatorii de acuratete orientati catre producatori, amintiti pana acum. 59

Oportunitatea si punctualitatea n n “Oportunitatea informatiilor reflecta intervalul de timp care a trecut intre data livrarii si perioada de referinta a evenimentului sau fenomenului descris” (Eurostat) “Punctualitatea se refera la timpul scurs intre data livrarii a datelor si cea previzionata, de exemplu avand in vedere datele anuntate in comunicatele oficiale, cele prevazute in reglementari sau cele convenite intre parteneri. ” (Eurostat) 60

Oportunitate si punctualitate n n n T 1 Timpul mediu dintre momentul obtinerii rezultatelor finale si cel al furnizarii publicatiei Indicator de monitorizare Ar trebui examinat impreuna cu “timpul mediu scurs intre perioada de referinta si data publicarii” si cu “timpul mediu scurs intre momentul publicarii si termenul prevazut in grafic” 61

Oportunitate si Punctualitatea n n n T 2. Numarul si proportia statisticilor transmise la timp organizatiilor internationale - indicator de monitorizare; -ilustreaza cauzele pentru care publicatiile sau rezultatele nu au fost transmise la timp. T 3. Proportia publicatiilor realizate la timp - indicator de monitorizare si de performanta, orientat catre utilizator si producator 62

Accesibilitatea si Claritatea n “Accesibilitatea se refera la conditiile fizice in care utilizatorii pot obtine date”: n n Unde sa mearga, cum sa comande, timpul de furnizare, politica de pret, conditii de marketing convenabile (copyright), disponibilitatea micro sau macro datelor, diferite formaturi de prezentare (hartie, fisiere, CD, Internet), etc. “Claritatea se refera la mediu informativ al datelor” n n daca datele sunt insotite de metadate, sunt datele ilustrate cu grafice si harti, daca sunt disponibile informatii despre calitatea datelor (incluzand limitari in utilizare. . ) si, se poate astepta la o asistenta suplimentara din parte INS-ului. 63

Indicatorii pentru Accesibilitate n n n AC 1 Modalitati folosite si numarul acestora pentru diseminarea statisticilor Indicator de monitorizare, Orientat spre producator. n n Publicatii pe hartie (anuale, buletinele lunare, informatiile rapide, comunicate de presa, alte tematici) dischete CD-ROMs Baze de date de referinta 64

Comparabilitatea (1) n n “…masurarea impactului diferentelor in conceptele si definitiile statistice aplicate cand sunt comparate statisticile intre zone geografice, domenii non-geografice, sau perioade de referinta peste timp. Lipsa de comparabilitate se datoreste urmatoarelor cauze: n n diferente conceptuale diferente in metode 65

Comparabilitatea (2) n Diferentele potentiale intre concepte: n n n n n caracteristici statistice (ex cifra de afaceri) masurari statistice (ex media, total) unitati statistice (raportare din esantion) populatia unitatilor care prezinta interes (populatia tinta) populatia anchetata perioada de referinta (data sau perioada) domeniile de studiu / subpopulatia clasificarile si stadardele Diferente potentiale in metode: n n n procedurile de esantionare instrumentele de colectare a datelor metodele de procesare a datelor procedurile de estimare folosite proceduri de ajustare folosite (ex adjustari sezoniere, imputari) 66

Indicatorii pentru Comparabilitate (1) n n C 1. Numarul si proportia produselor statistice ce au indicat schimbari in concepte si/sau metode de masurare intervenite in timp, care furnizeaza estimari cantitative ale efectelor acestor schimbari Indicator de monitorizare, necesar ptr. comparatii in timp 67

Indicatorii pentru Comparabilitate (2) n n n C 2 Numarul si proportia produselor statistice ce au indicat diferente intre concepte sau/ si metode de masurare fata de normele europene si furnizeaza estimari cantitative ale efectelor acestor schimbari Indicator de monitorizare Masoara comparabilitatea geografica 68

Indicatorii pentru Comparabilitatea (3) n C 3 Diferentele privind comparabilitatea in timp n Indicator de performanta n C 4. Diferentele privind comparabilitatea intre domenii n Indicator de performanta Ia in considerare diferentele intre conceptele si metodele de masurare, cat si intre metadatele folosite in productia de statistici ptr. doua sau mai multe domenii de interes (de ex. ABF si AFM); n C 5. Gradul de armonizare al indicatorilor n n Calculul ia in considerare: - numarul si proportia produselor statistice ce au indicat diferente intre concepte sau/ si metode de masurare fata de normele europene si furnizeaza estimari cantitative ale efectelor acestor diferente; - metadatele furnizate pentru explicarea metodologiei folosite, conceptele si detaliile de masurare, metodele de detectare a erorilor, clasificarile folosite. 69

Indicatorii pentru Coerenta n Coerenta este impartita in urmatoarele subcomponente: n n n --- intre statistici provizorii si finale; --- intre statistici anuale si pe termen scurt; --- intre statisticile unui domeniu socio-economic si conturile nationale. CH 1. Numarul si proportia produselor statistice ce ofera informatii descriptive si cantitative despre coerenta cu statisticile din alte domenii - indicator de performanta, orientat spre producator CH 2. Evaluarea calitativa a coerentei intre statisticile publicate la nivel natinoal si publicatiile Eurostat 70

CONCLUZII PRIVIND IND. STANDARD n Se studiaza elaborarea unui indicator complex pentru evaluarea calitatii globale (Barometru al caltatii) 71

3. METODE DE MASURARE SI RAPORTARE A CALITATII n Masurarea calitatii n Rapoartele de calitate 72

3. 1. Masurarea calitatii n n Masurarea calitatii datelor nu este o treaba usoara Evaluare interna, condusa de o comisie de evaluare Este necesar un set standard de indicatori ce se refera la dimensiunile calitatii Evaluare externa – pe baza opiniilor utilizatorilor de date obtinute prin anchete 73

Raportarea calitatii n n n Masurarea si raportarea calitatii se realizeaza prin Rapoartele de calitate In unele tari exista regula ca fiecare ancheta trebuie insotita de un raport de calitate Eurostat a dezvoltat Raport Standard de Calitate 74

UTILITATEA RAPOARTELOR DE CALITATE n n Ptr. evaluarea calitatii informatiilor obtinute dintr-o ancheta sunt avute in vedere toate activitatile implicate in procesul de realizare a anchetei respective: planificarea; selectia esantionului; culegerea datelor; controlul logic si efectuarea corectiilor, analiza si publicarea datelor Utilizarea Rapoartelor de calitate la nivel european: n n n Pentru imbunatatirea calitatii anchetelor Pentru a face comparatii intre anchete Pentru construirea unor indicatori de calitate care sa fie diseminati Informatii pentru utilizatori Instrument pentru imbunatatirea proceselor de productie Parte a sistemului de documentare a procesului de productie 75

3. 1 Masurarea calitatii - LEGISLATIA UE PRIVIND RAPOARTELE DE CALITATE n n n Comm. Reg. 452/00 si Counc. Reg 530/1999 privind castigurile si costul fortei de munca Comm. Reg 28/04 si EC Reg 1177/03 privind veniturile si conditiile de viata Regulamentul provizoriu privind Balanta de Plati Counc. Reg 577/98 privind Ancheta Fortei de Munca Comm. Reg 1618/99 privind statisticile structurale Counc. Reg. 1165/98 privind statisticile pe termen scurt 76

2. 4. RAPORTUL STANDARD DE CALITATE (RSC) n Documentatia Eurostat care trebuie studiata pentru a putea intocmi un RSC : Definitiile, Indicatori Standard de Calitate, Glosarul de Termeni, Ghidul “Cum se face un Raport de calitate” n n n Nu se pot stabili indicatori de calitate ce se pot adapta la orice ancheta statistica (anchetele au scopuri diferite; esantion si metodologie de esantionare specifice/ etapele dezvoltarii anchetelor difera de la o tara la alta) INS va stabili o lista cu indicatori comuni aplicabili la orice ancheta; ulterior functie de necesitati se pot adauga sau elimina indicatori Un RSC ptr. Producator si unul ptr. Utilizator 77

DE CE RSC – ORIENTAT PE PRODUCATOR ? n n Profesionisti vor sa afle si sa inteleaga detaliile tehnice Personalul nou angajat trebuie sa invete metodologia anchetei Pentru domeniile specificate de Regulamentele Comisiei se cer rapoarte de calitate In prezent, standardele UE sunt focalizate pe rapoartele orientate pe producator 78

DE CE RSC – ORIENTAT PE UTILIZATOR ? n n n Declaratiile de calitate - parte integranta pentru orice bun sau serviciu intr-o societate moderna O economie eficienta cere o comunicare eficienta intre utilizatori si producatori Utilizatorii trebuie sa fie informati in ce limite pot utiliza datele Marjele de eroare sunt importante sa fie cunoscute pentru a lua decizii rationale Rapoartele de calitate faciliteaza ca utilizatorii sa-si exprime mai usor cerintele lor, intr-un mod mult mai precis, pentru urmatoarea runda de anchete 79

RAPORTUL STANDARD DE CALITATE n Ce trebuie raportat intr-un Raport standard de calitate despre: …. . ? 80

…Relevanta n Descrierea şi clasificarea utilizatorilor: au fost n Descrierea cerintelor utilizatorilor: au fost identificati utilizatorii principali? identificate cerintele utilizatorilor datelor statistice obtinute prin ancheta? Cat de multumiti sunt utilizatorii de acest set de informatii? 81

…Acuratete n n Chestionarul: sunt bine definite obiectivele anchetei? Sunt clar definite intrebarile? A fost testata claritatea intrebarilor? A fost testata validitatea intrebarilor? Acoperire: daca este o ancheta pe baza de esantion, ce baza de sondaj a fost folosita ptr. selectia esantionului? Cat de completa este baza de sondaj? Daca baza de sondaj a necesitat completare, completarea a fost inainte de selectia esantionului? Esantionare: sunt utilizatorii informati in detaliu despre metoda de esantionare? Care este fractiunea de sondaj? A fost esantionul reprezentativ? Culegerea datelor: ce metoda de culegere a datelor a fost folosita? (interviuri directe/ chestionare prin posta); a fost efectuat un test pilot? Exista un manual al anchetei? a fost realizat instructajul operatorilor de interviu? Este evaluata performanta tuturor operatorilor de interviu cel putin o data la 2 ani? care este timpul mediu de completare a unui chestionar? ce metode au fost folosite ptr. a reduce erorile de raspuns a repondentilor? ce metode au fost folosite pentru a minimiza numarul si rata non-raspunsurilor 82

…Acuratete Procesarea datelor: exista un orar fixat pentru fiecare etapa a procesarii datelor? a fost fiecare chestionar verificat in ce priveste inregistrarea datelor? Ce metoda de introducere a datelor se foloseste? Ce metode sunt folosite pentru a minimiza erorile de procesare a datelor? Cum este monitorizata procesarea datelor? Ce actiuni se intreprind pentru a proteja confidentialitatea informatiilor obtinute in urma anchetei? Analiza: ce sistem de ponderare este utilizat pentru obtinerea estimatiilor? In cazul seriilor cronologice, datele se ajusteaza prin metoda ajustarii sezoniere? Erorile de esantionare sunt disponibile? Datele cu privire la erorile prin non-raspuns sunt disponibile pe tipuri de eroare? Ce metoda de imputare este folosita pentru tratarea non -raspunsurilor? Exista proceduri scrise privind editarea si imputarea datelor, realizarea estimatiilor si a verificarilor incrucisate? Exista discrepante intre rezultatele acestei anchete si cele altor anchete conduse de INS ce au produs rezultate similare? Dar conduse de alte agentii? Daca da, de ce? Care este discrepanta dintre datele preliminare si cele finale? 83

…Operativitate (oportunitate) n n n Termenul de operativitate contine mai multe intelesuri: punctualitate, periodicitate si rapiditate Operativitate: care este intervalul de timp dintre sfarsitul anchetei si aparitia datelor? Fixati termenul publicarii pentru aparitia rezultatelor? Care este intervalul de timp dintre sfarsitul anchetei si diseminarea rezultatelor? Atunci cand datele sunt amendate, baza de date statistice este revizuita cu promptitudine? Punctualitate: sunt utilizatorii informati cu privire la data aaritiei rezultatleor? Este data actuala de aparitie a rezultatelor apropiata de data propusa? 84

… ACCESIBILITATE Se refera la masura in care indicatorii statistici sunt disponibili pentru utilizatori intr-un mod specific si usor. Modul de diseminare a datelor: datele prelucrate exista sub forma unei baze de date statistice? Datele sunt publicate in ziare? Datele apar in publicarii lunare? Datele sunt disponibile pe CD ROM sau pe discheta? Exista o forma bruta, neprelucrata a datelor? Procurarea datelor: datele pot fi cumparate on-line? Exista informatii cu privire la publicariile si locurile de unde se pot procura? Claritatea: scopul si obiectivele anchetei, definitiile termenilor, continutul chestionarului si alte informatii generale cu privire la ancheta sunt disponibile? Utilizatorii sunt informati despre numele si numarul de telefon al persoanei de contact pentru orice nelamurire privind folosirea datelor statistice? Analiza rezultatelor anchetei exista in forma scrisa? Sunt folosite diagrame si grafice clare pentru o mai buna intelegere a rezultatelor anchetei de catre utilizatori? Raportul descrie rezutlatele de asemenea maniera incat sa poata preveni orice neitelegere cu privire la datele statistice? 85

…Eficienta Indicatorii de eficienta masoara cu cat se vor reduce costurile si cu cat se vor reduce eforturile repondentilor pentru a obtine aceleasi efecte Resurse folosite: care este costul total pentru a organiza aceasta ancheta? Solicitarea repondentilor: care este timpul total estimat pentru culegerea datelor? Care este timpul de raspuns estimat/ pe repondent? Rezultate: care este venitul anual obtinut din vanzarea datelor statistice? Care este numarul de vizitatori ce au solicitat datele statistice existente in baza de date? 86

…Comparabilitatea in timp: in cazul a doua serii cronologice consecutive ptr. care se folosesc concepte si metode diferite de masurare a datelor statistice, sunt informati utilizatorii cu privire la acest lucru? Comparabilitatea in spatiu: utilizatorii sunt informati daca exista diferente intre conceptele statistice folosite de INS si cele altor agentii statistice internationale? 87

4. INSTRUMENTE DE EVALUARE A CALITATII n Definirea evaluarii calitatii Instrumente utilizate… n …Proiectul european DESAP n - …barometrul calitatii, cu obiectivele: Masurarea evolutiei calitatii datelor intre domenii si peste timp; Identificare bune practici si puncte slabe; - Furnizare de informatii pentru un management performant; n - * Data Quality Assessment Framework (FMI) 88

Evaluarea calitatii n n Evalurea ne raspunde la intrebarea “ Unde ne aflam acum si unde vrem sa ajungem ? ” Scopul final este posibilitatea de invata si de a imbunatati activitatea 89

Instrumente pentru evaluarea calitatii n n n n Auto-evaluarea: conform modelului EFQM, măsurând chiar tu situaţia prezentă; Autoinstruirea: învaţarea din experienţa, cunoştinţele şi greşelile altora; Ancheta de percepere a personalului: măsurarea la angajaţi a motivaţiei şi profesionalismului; Ancheta satisfacţiei utilizatorilor: măsurarea satisfacerii utilizatorilor principali; Indicatorii de performanţă: compararea performanţelor prezente, trecute sau cu alţii şi monitorizarea proceselor; Indicatori de calitate a produsului: rapoartele de calitate evidenţiază calitatea unui anumit produs, indicatorii de calitate permit comparaţia între obiectivele ţintă şi realizări; Auditul: evaluarea calităţii proceselor şi rezultatelor; 90

Sinteza instrumentelor de auto-evaluare EFQM model: instrument de autoevaluare pentru intreaga organizatie (cu ajutorul examinatorilor de calitate cu experienta) Checklistul simplu al calitatii: accentueaza abordarea managementului calitatii bazata pe motivatia intriseca, poate fi utilizat independent dar aprecierea este subiectiva Documentatie / Rapoarte de calitate: sunt mult mai detailate decat o simpla lista de verificare si presupune depunerea unui effort mult mai mare pentru producerea lor Masuri complementare sau primi pasi care trebuie facuti inainte Audit intern sau extern: sunt instrumente de evaluare inafara partilor (outside) 91

DESAP Development of a self assessment programme n n n este un program generic simplu de autoevaluare destinat responsabililor de anchete (generic, in sensul ca se aplica la toate colectarile individuale de microdate statistice, fara a tine seama de subiectul sau metodologia anchetei respective) baza legala o constituie recomandarea nr. 15 a LEG: “Un checklist generic trebuie sa fie dezvoltat printr-un program simplu de autoevaluare destinat responsabililor de anchete care fac parte din SSE” este aliniat complet la criteriile de calitate, croit pentru productia statistica si are ca scop sa ajute responsabili de anchete sa evalueze calitate si sa dezvolte anchetele care sunt sub responsabilitatea lor 92

OBIECTIVELE DESAPului n n instrument de evaluare: folosit pentru masurarea globala a calitatii anchetei si a gradului de acoperire a componentelor de calitate ale SSE asista responsabilul anchetei pentru aprecierea fundamentala a riscurilor potentiale problemelor de calitate furnizeaza un mijloc simplu de comparare a nivelului atins al calitatii peste timp si intre domenii furnizeaza un suport pentru alocarea resurselor in interiorul unui oficiu de statistica sau pentru instruirea personalului nou angajat 93

ARHITECTURA DESAP- orientat pe proces (1) (2) (3) (4) Decizia de intiere a a anchetei Proiectarea anchetei Colectarea datelor Captarea si procesarea datelor (5) Analiza datelor si calitatea produselor (6) (7) Documentatia si Diseminarea Ciclu de imbunatatire 94

Structura DESAP pe elemente componente (1) n I. Decizia de iniţiere a unei anchete statistice n n n II. Proiectarea anchetei n n Analiza cerinţelor utilizatorilor Obiectivele anchetei Conceptele anchetei Proiectarea eşantionului (pentru anchetele selective) Dezvoltarea şi testarea instrumentelor de măsură III. Colectarea datelor Sursele de date n Desfăşurarea şi instruirea intervievatorilor n Reducerea non–răspunsurilor n Organizarea activităţii în teren IV. Captarea şi procesarea datelor n Captarea datelor n Procedurile de editare n Procedurile de imputare n n 95

Structura DESAP pe elemente componente (2) n V. Analiza datelor şi calitatea produselor – – – – Relevanţa Accurateţa Operativitatea şi Punctualitatea Comparabilitatea Coerenţa Analiza Datelor Controlul confidenţialităţii datelor VI. Documentaţia şi diseminarea – Metadate metodologice – Strategii de diseminare – Administrarea datelor n VII. Ciclu de îmbunătăţiri n n n Adaptabilitatea / flexibilitatea Expertizarea în domenii relevante Managementul calităţii 96

Tipologia intrebarilor n Pentru acoperirea varietatii functiilor checklistului s-au conceput si integrat in chestionar 3 tipuri de intrebari: n intrebari cu categorii numeroase de raspunsuri (de imbunatatire) n intrebari de evaluare n intrebari deschise 97

Tipuri de intrebari n n n Intrebari cu raspunsuri multiple rezuma esenta inventarierii masurilor de imbunatatire a calitatii datelor luate in interiorul INS-ului fac ca timpul consumat de completare a chestionarului sa fie scurt pentru ca responsabilul anchetei are posibilitatea sa bifeze un raspuns care este propice anchetei Intrebari deschise se pot stimula idei posibile de imbunatatire a procesului de productie bazat pe anchete statistice exista pagini separate unde se pot inscrie idei pentru posibilile imbunatatiri 98

Tipuri de intrebari n n n Intrebari de evaluare intrebarile din aceasta categorie sunt supratiparite cu o culoare speciala (cu un fond albastru inchis si o bara pe margine de culoare albastru intens) pentru a facilita evaluarea rezultatele raspunsurilor pot fi reprezentate grafic, diagrama care rezulta in final da profilul calitatii anchetei respective 99

DIAGRAMA DE EVALUARE Relevance Coherence Section V/28 Coherence within the same socioeconomic area Section V/2 user satisfaction 5 Section V/27 coherence for results of different frequencies Section V/3 overall relevance Accuracy 4 Section II/6 overcoverage 3 2 Section V/25 comparability over time Section II/7 undercoverage 1 Comparabilit y Section V/24 comparability across non-geographical domains Section II/8 misclassification Accuracy Section IV/4 necessity of editing Section V/22 Publication dates kept? Timeliness & Punctuality Section V/21 time lag reference period/ publication Section V/18 item nonresponse The larger this area the better Section V/6 the quality CVs for key variables profile Section V/15 unit non-response Accuracy 100

Cum se deseneaza diagrama de evaluare a calitatii anchetei statistice 1. Se extrage pagina cu indicatorii cheie ai diagramei si se aseaza in fata atunci cand se completeaza raspunsurile la checklist; 2. Atunci cand intalnesti o intrebare de evaluare se copiaza valoare raspunsului in diagrama; 3. Raspunsurile la intrebarile de evaluare sunt numerotate si gasiti numarul echivalent in diagrama; 4. Marcati cu o cruce in diagrama numerele corespunzatoare raspunsurilor dvs. la intrebarile respective. Daca o intrebare nu este relevanta pentru ancheta dvs puteti sari peste intrebarea respectiva. 5. Cand ati completat toate intrebarile, uniti valorile marcate cu o cruce printr-o linie continua 6. Aria care este in exteriorul liniei reflecta non-calitatea anchetei respective 101

In loc de incheiere Invatati sa aplicati aceste concepte in activitatea dumneavoastra! Cooperati cu colegii! Folositi experienta celorlalti! Raspundeti la intrebarea: este necesar un departament de calitate in BNS ? Va multumim pentru participare! 110 102