Monitoraggio la situazione correzione del dataset Valentina Minardi

Monitoraggio: la situazione – correzione del dataset Valentina Minardi, Giuliano Carrozzi, Nicoletta Bertozzi 13 febbraio 2008 Istituto Superiore di Sanità

Cosa vedremo? • Statistiche di accesso • Dati aggiornati di monitoraggio • Problematiche evidenziate dall’analisi di monitoraggio • Nuove funzionalità: correzione del dataset 2

Cosa vedremo? • Statistiche di accesso • Dati aggiornati di monitoraggio • Problematiche evidenziate dall’analisi di monitoraggio • Nuove funzionalità: correzione del dataset 3

Per iniziare: statistiche di accesso a passidati. it Visite

Per iniziare: statistiche di accesso a passidati. it Pagine caricate

Statistiche di accesso alle pagine di monitoraggio Visite

Statistiche di accesso alle pagine di monitoraggio Pagine caricate

Statistiche di accesso al server per il caricamento delle interviste Accesso all’upload

Statistiche di accesso al server per il caricamento delle interviste Invii effettivi

Statistiche di accesso al server per il caricamento delle interviste Kb caricati > 7. 000

Versione del client e-Passi • 86% delle interviste caricate sono state eseguite con una versione aggiornata del client e-Passi (2. 0 o 2. 1) • nel 14% dei casi la versione è precedente; ciò implica il dover decidere se: • obbligare tutti gli operatori a passare alla nuova versione e rendere impossibile il caricamento delle interviste con versioni precedenti alla 2. 0 oppure • verificare se ci siano ancora interviste relative al vecchio questionario (precedente alla versione del 23/07/2007) da caricare per le quali consentire l’utilizzo del client vecchio. Vanno valutate le realtà locali

Cosa vedremo? • Statistiche di accesso • Dati aggiornati di monitoraggio • Problematiche evidenziate dall’analisi di monitoraggio • Nuove funzionalità: correzione del dataset 12

Per continuare: Dati del sistema al 11/02/08 • Regioni: tutte tranne la Calabria • 2007: – Totale interviste inserite: 18. 919 – Durata mediana intervista: 20 minuti • 2008 – Totale interviste inserite: 1. 334 – Durata mediana intervista: 20 minuti 13

Numero interviste caricate per regione (aprile-dicembre 2007) Refuso. . . hanno iniziato nel 2008! Ci sono 22 interviste senza regione di appartenenza 14

Probabile intervista di prova Possibili problemi con l’impostazione del mese e dell’anno di rilevazione Sovra-campionatura? Problemi di configurazione del client di registrazione dell’intervista Momentaneamente non attendibile

Percentuali di interviste caricate sulle attese del 2007 50% 75% N. B. : Dati diversi da quelli presenti sul sito perché calcolati sulla base dei mesi di effettiva rilevazione e non su base annuale. 16

Prospettive future • Dal momento che la numerosità delle interviste attese per ASL potrebbe cambiare annualmente (o anche più volte l’anno), si vuole prevedere la possibilità di modulare il denominatore della % di interviste caricate su quelle attese. • Il Coordinatore Regionale, entrando nel proprio profilo utente in passidati. it, potrà a breve inserire e modificare le numerosità campionarie mensili di ogni singola ASL della sua regione.

Dati del sistema al 11/02/08: inalterati • Tasso di eleggibilità: 95% • Tasso di risposta: 86% • Tasso di sostituzione: 14% – Tasso di rifiuto: – Tasso di non reperibilità: 10% 4% 18

Dati del sistema al 11/02/08: inalterati Modalità reperimento numero di telefono (%) Distribuzione oraria delle interviste 19

Percentuale di utilizzo del CATI per mese 20

Cosa vedremo? • Statistiche di accesso • Dati aggiornati di monitoraggio • Problematiche evidenziate dall’analisi di monitoraggio • Nuove funzionalità: correzione del dataset 21

Problematiche • Rispetto del protocollo – Tentativi di chiamata dell’intervistato – Ricerca numeri di telefono • Corretta compilazione del diario in e-Passi 22

Protocollo - Ricerca intervistato Il protocollo prevedeva: – almeno 3 telefonate durante la settimana, in fasce orarie diverse, durante l’orario di servizio dell’intervistatore – almeno 2 tentativi in orario serale (indicativamente ore 19 -21) – almeno 1 tentativo nel week-end 23

Protocollo - Ricerca intervistato Dall’analisi delle quasi 900 sostituzioni per “non reperibile” emerge: – Il 50% ha effettuato un tentativo dopo le ore 20 – Il 45% ha effettuato un tentativo il sabato o la domenica – Il 70% ha effettuato un tentativo nel weekend OPPURE uno dopo le ore 20 – Solo 25% ha effettuato un tentativo nel weekend + uno dopo le ore 20 • Elevata “concentrazione” delle chiamate – 49% ha fatto 6 tentativi in 7 giorni (22% in 4 giorni) • • • Possibili spiegazioni: Errori di registrazione dell’informazione nel diario Ultimi tentativi non registrati oltre il VI Effettivo mancato rispetto del protocollo 24

Protocollo - Ricerca numeri di telefono Il protocollo prevedeva la consultazione delle seguenti fonti (in diversa successione relativa alla situazione locale): • • • Anagrafe sanitaria Pagine bianche Centro Unico di Prenotazione Medico di famiglia Vicini, parenti, altro Stato di famiglia e nuova ricerca utenza telefonica 25

Protocollo - Ricerca numeri di telefono Dall’analisi delle oltre 2000 sostituzioni per “senza telefono” emerge che • meno del 30% ha usato tutte 5 le fonti • NON hanno consultato (o riferito di averlo fatto) – 24% Pagine Bianche – 33% altre fonti aziendali – 37% Medico di medicina generale* – 48% anagrafe comunale – 74% parenti/vicini • Possibili spiegazioni: • un insufficiente rispetto del protocollo • una errata compilazione del diario (non comprese le procedure? ) * 42% riferisce di averlo consultato per difficoltà! 26

Prospettive future Per rendere possibile da parte del Coordinatore Aziendale un’analisi di questo tipo si renderanno disponibili sul sito passidati. it: • i pgm (scaricabili tramite passidati. it) da utilizzare con Epi. Info per elaborazioni di questo tipo e • il database relativo al solo diario delle interviste caricate, in tempo reale per seguire meglio le informazioni caricate.

Cosa vedremo? • Statistiche di accesso • Dati aggiornati di monitoraggio • Problematiche evidenziate dall’analisi di monitoraggio • Nuove funzionalità: correzione del dataset 28

Nuove funzionalità: correzione on-line delle interviste • Accesso protetto con user id e password al database delle interviste caricate sul server • Accesso a tutte le interviste di competenza del Coordinatore Aziendale che ha eseguito il login • Le modifiche sono sotto diretta responsabilità del Coordinatore Aziendale • Tutti i campi sono editabili/modificabili • Attenzione: non ci sono controlli sui salti!! • E’ permesso modificare un campo con un dato dello stesso tipo e formato del dato esistente 29

Elenco di tutte le interviste di competenza dell’operatore Elenco ordinabile per ognuno dei campi (cliccando sopra la parola) E’ possibile fare una ricerca per singola parola o più

Errore di formato: in un campo numerico si possono inserire solo numeri!

Salva e chiude ritornando all’elenco delle interviste Cancella l’intervista dal database!

Tutto chiaro? 38