ISTITUTO SUPERIORE DI SANITA Dipartimento del Farmaco Corso
- Slides: 76
ISTITUTO SUPERIORE DI SANITA’ Dipartimento del Farmaco Corso 26 -28 maggio METODI PER LA MISURAZIONE DELLA QUALITA’ DELLA VITA Raffaella Bucciardini
DEFINIZIONE DELLA QUALITA’ DELLA VITA La qualità della vita di una persona dipende da due principali dimensioni: 1) Le dimensioni correlate alla salute (health related quality of life: HRQL) 2) Le dimensioni non correlate alla salute Dimensioni più strettamente correlate alla salute: ØBenessere fisico ØBenessere psicologico ØBenessere sociale ØBenessere di ruolo ØStato di salute in generale Dimensioni non strettamente correlate alla salute: Ø Personali-individuali Ø Personali sociali Ø Ambiente naturale Ø Ambiente sociale
DIMENSIONI HRQL Ø Benessere fisico: mobilità, capacità di eseguire alcune attività fisiche; Ø Benessere psicologico: stato cognitivo, ansia, depressione; Ø Benessere sociale: capacità di interazione sociale, comunicatività; Ø Benessere di ruolo: capacità lavorativa e produttiva, capacità di eseguire le normali attività domestiche; Ø Stato di salute generale.
ESEMPI DI DIMENSIONI NON HRQL Personale-individuale: Ø desideri, obiettivi, Ø valori, convinzioni Ø caratteristiche personali Ø stato spirituale Personale sociale: Ø famiglia Ø amici Ø rapporti sociali Ø stato finanziario Ambiente naturale: Ø Aria, acqua, inquinamento Ø Condizioni climatiche Ø Caratteristica geografica Ambiente sociale: Ø Ambiente culturale Ø Scuola ed istruzione Ø Servizi socio-sanitari Ø Trasporti Ø Istituzioni politiche
Individui in buona salute Dimensioni della qualità della vita non correlate alla salute Dimensioni della qualità della vita correlate alla salute Individui con malattia cronica Dimensioni della qualità della vita non correlate alla salute Dimensioni della qualità della vita correlate alla salute
SCOPI DEGLI STRUMENTI PER LA MISURAZIONE DELLA QDV Ø DICRIMINATIVI Ø PREDITTIVI Ø VALUTATIVI
SCOPO DISCRIMINATIVO Ø Lo strumento è in grado di distinguere diversi livelli di qualità della vita all’interno di individui e gruppi Ø Non c’è nessun gold-standard di riferimento. Ø Esempio: pazienti sottoposti a terapia HAART con buona e cattiva qualità della vita
SCOPO PREDITTIVO Ø Lo strumento è in grado di distinguere diversi livelli di qualità della vita tra individui e gruppi noti Ø Esiste un gold-standard di riferimento. Ø Esempio: diversi livelli di qualità della vita secondo lo stadio clinico (asintomatico, AIDS)
SCOPO VALUTATIVO Ø Lo strumento è in grado di catturare il cambiamento nel tempo che si verifica in un paziente o in un gruppo di pazienti durante il decorso della malattia o della terapia
CATEGORIA DEGLI STRUMENTI Gli strumenti per la misurazione della qualità della vita possono essere divisi in due categorie: Ø Strumenti generici Ø Strumenti specifici
STRUMENTI GENERICI Gli strumenti generici tentano di misurare tutti gli aspetti importanti della HRQL Vantaggi: versatilità di uso: • possono essere applicati a popolazioni con diverse caratteristiche • possono essere applicati a diverse patologie • permettono di confrontare diverse realtà all’interno di un programma sanitario Svantaggi: • non sono adatti per essere applicati a realtà più specifiche (specifica popolazione, specifica patologia)
STRUMENTI SPECIFICI Gli strumenti specifici sono costruiti per misurare gli aspetti della HRQL che sono specifici per una determinata area di interesse Vantaggi: • misurano aspetti specifici di una malattia, di una popolazione di pazienti, di uno specifico problema Svantaggi: • non sono versatili
FASI DI SVILUPPO DI UN QUESTIONARIO SPECIFICO PER LA VALUTAZIONE DELLA HRQOL Ø OBIETTIVI DELLO STRUMENTO Ø GENERAZIONE DEGLI ITEM Ø DEFINIZIONE DELLE SCALE/DIMENSIONI Ø STESURA DEL QUESTIONARIO Ø ANALISI DI VALIDAZIONE
OBIETTIVI DELLO STRUMENTO La prima fase del lavoro è quella di definire esattamente gli obiettivi dello strumento Ø La domanda che l’investigatore deve porsi è la seguente: Che cosa lo strumento vuole misurare ? I criteri che dovranno essere stabiliti sono i seguenti: • La popolazione target (specificare i criteri di inclusione della popolazione) • Lo scopo principale dello strumento (discriminativo, predittivo, valutativo) • La scelta delle scale da misurare
GENERAZIONE DEGLI ITEM Metodi utilizzati per la generazione degli item: • Interviste non strutturate (libere) • Focus-group • Rassegna della letteratura • Discussione con gli esperti del campo • Revisioni questionari già validati
DEFINIZIONE DELLE SCALE (1) ØLa scala è un insieme di item che rappresentano lo stesso concetto (omogenee per aree di contenuto) Gli item che dovranno appartenere ad una scala saranno scelti in base ai seguenti criteri: • Coerenza con scale già validate • Esperienza clinica/personale • Strategie empiriche: descrittiva delle risposte mancanti, correlazione tra gli item, analisi fattoriale
DEFINIZIONI DELLE SCALE (2) Ø L’affidabilità della misura di una scala dipende anche dal numero dei quesiti nella scala L’obiettivo dello strumento è quello di ottenere un bilancio tra lunghezza della scala e sua affidabilità e validità, scegliendo tra risposte a quesito unico o a quesiti multipli Vantaggi/Svantaggi • Le misure a quesito unico sono più pratiche delle misure a quesiti multipli ma non sono in grado di individuare le differenze a livello di singolo paziente, in quanto perdono eccessivamente in precisione di misura • Le misure a quesiti multipli con un numero elevato di quesiti, pur garantendo una migliore affidabilità dei risultati, risultano poco pratiche da somministrare • Le misure a quesiti multipli con un numero non elevati di quesiti, che soddisfano gli standard psicometrici minimi, forniscono un giusto compromesso
DEFINIZIONI DELLE SCALE (3) Ø La precisione della misura di una scala dipende anche dal tipo di opzioni di risposte scelte Opzioni di risposta: • Scelta si/no • Scala analogica visuale (VAS) • Scala Likert Ø La scelta del formato di risposta più idoneo dipende dall’utilizzo dello strumento
SCELTA SI/NO ØLa scelta del quesito SI/NO e’ utile per motivi di praticità, ma perde in precisione dei risultati ØE’ poco sensibile nel cogliere i minimi cambiamenti, non è adatta per scopi valutativi ØE’ adatta per le interviste telefoniche
SCALA ANALOGICA Ø La VAS è una scala che misura la salute percepita dal paziente, è una misura continua che varia tra 0 e 100. Il punteggio 100 corrisponde al migliore stato di salute possibile, il punteggio 0 a quello peggiore Esempio di scala analogica: In generale, direbbe che la Sua salute è: (metta una crocetta, nel punto della scala che meglio indica il Suo stato di salute attuale) 0______10______20______30______40______50______60______70______80______90______100 Scadente Poco buona Abbastanza buona Molto buona Eccellente
Caratteristiche della scala analogica Ø E’ precisa e sensibile ai cambiamenti (a volte anche troppo!!) Ø Le modalità di compilazione e di codifica possono tuttavia risultare di difficile interpretazione
SCALA LIKERT Definizione: Ø Un insieme di domande ciascuna delle quali prevede una risposta graduata attraverso non meno di 5 alternative (ad es. , Spesso, Frequentemente, A volte, Quasi mai, Mai). Ø Ad ogni alternativa viene attribuito un punteggio numerico convenzionale (ad es. , 1, 2, 3, 4, 5). Ø I rispondenti sono classificati in base al punteggio totale ottenuto attraverso tutte le domande che compongono la scala.
Caratteristiche della scala Likert Ø La Scala Likert rappresenta un giusto compromesso tra la parsimonia della scala SI/NO e l’esaustività della VAS Ø Se le alternative di risposta sono >=5 la scala Likert risulta più robusta (la distanza tra gli intervalli è considerata equivalente)
DEFINIZIONI DELLE SCALE (4) Ø Specificazione del tempo Ai pazienti viene chiesto di valutare retrospettivamente il proprio stato di salute, è quindi importante definire quanto indietro nel tempo il paziente deve andare con la mente per raccogliere le sue impressioni e fornire una valutazione Ø Regola: • Non c’è nessuna regola fissa per specificare l’intervallo di tempo • In genere si considerano 2 -4 settimane
STESURA DEL QUESTIONARIO (1) COSTRUZIONE INIZIALE DEL COSTRUTTO Ø GIUDIZIO DEGLI ESPERTI Ø INTERVISTE NON STRUTTURATE- FOCUS GROUP Ø REVISIONE LETTERATURA/QUESTIONARI VALIDATI
STESURA DEL QUESTIONARIO (2) PRE-TEST OBIETTIVI • Controllo del vocabolario e della chiarezza delle domande • Esame dei quesiti problematici • Valutazione delle istruzioni per la compilazione • Chiusura di eventuali domande aperte • Verifica dell’utilità dello strumento • Definizione delle scale ed il loro contenuto • Prima verifica degli assunti psicometrici del questionario
PRE-TEST MODALITA’ DI USO • Nella stesura del questionario sono necessarie più edizioni di pre-test • Il pre-test è un processo iterativo in cui ogni prova viene utilizzata per modificare gli aspetti critici emersi nella prova precedente, fino a raggiungere risultati soddisfacenti • Il campione utilizzato nel pre-test non è un campione casuale, le unità sono selezionate con cura cercando di ottenere la massima rappresentanza delle variabili oggetti di studio • La numerosità campionaria non è elevata (100 -500 unità campionarie)
ANALISI DI VALIDAZIONE Lo scopo dell’analisi di validazione è quello della verifica degli assunti psicometrici del questionario Caratteristiche: • L’analisi è condotta su un numero elevato di unità statistiche scelte in modo casuale • L’analisi non serve a modificare ulteriormente il questionario ma a raccogliere informazioni sul raggiungimento degli standard psicometrici di validità
ASSUNTI PSICOMETRICI La teoria psicometrica afferma che uno strumento debba essere attendibile e valido Attendibilità: è il grado in cui l’applicazione dello strumento ripetuta in tempi diversi e nelle stesse condizioni riproduce gli stessi risultati Validità: è il grado in cui lo strumento misura effettivamente la caratteristica che pretende misurare Un’ulteriore proprietà dello strumento è la sua Responsività, definita come attitudine a percepire il cambiamento delle condizioni del paziente , in relazione al progredire della malattia e alla terapia
ALCUNI LIMITI DEGLI STUDI SULLA QUALITA’ DELLA VITA
Dimensioni, item Ø Le domande presenti nel questionario sono sufficienti? Cioè misurano in toto una dimensione o ne rappresentano solo una parte? E in questo caso, quanto è importante la parte che è stata trascurata per definire la dimensione? Le prove di validità di costrutto valutano la coerenza degli item in relazione alle dimensioni esplorate, non la loro importanza rispetto a item che non sono stati introdotti nel questionario
Valutazione dei punteggi Il calcolo del punteggio di ogni singola scala è data dalla somma delle risposte fornite dal paziente agli item della scala di appartenenza PROBLEMA? ? Ø Un problema rilevante è dato dalla scelta della somma, in quanto da tale scelta dipende il risultato dello studio: media semplice o media ponderata?
Il paziente Ø Pazienti persi al follow-up Ø Selezione dei pazienti che rifiutano di dare il loro consenso a partecipare allo studio: chi sono?
Lo staff Nel pianificare uno studio sulla qualità della vita, uno dei principali problemi da affrontare è vincere lo scetticismo dei medici e degli atri operatori nei confronti di tali studi Ø Il medico, mentre no ha dubbi sul valore di un’aumentata sopravvivenza, non è sempre convinto che il miglioramento della qualità della vita del paziente, più astratto ed incerto da definire, sia un suo specifico compito Ø E’ necessario dedicare del tempo alla fase preparatoria dello studio per fare in modo che lo staff esegua nei migliori dei modi le procedure dello studio
ISTITUTO SUPERIORE DI SANITA’ Dipartimento del Farmaco Fondamenti per la valutazione della Qualità della Vita correlata alla salute
CARATTERISTICHE DEL GRUPPO DI LAVORO • COMPETENZE TRASVERSALI • PARTECIPAZIONE DI PERSONE HIV-POSITIVE A TUTTE LE FASI DEL PROGETTO
GRUPPO DI LAVORO ISS-Qo. L Raffaella Bucciardini Loredana Cafaro Antonella d’Arminio Monforte Cosmo Del Borgo Massimo Fantoni Vincenzo Fragola Roberta Grisetti Mauro Guarinieri Monica Intoppa Daniela Lorenzetti Michela Martini Maurizio Massella Rita Murri Fabrizio Starace Andrea Tramarin Annamaria Vatrella ISS Ospedale D. Cotugno, Napoli Ospedale L. Sacco, Milano IRCCS, L. Spallanzani UCSC, Roma ISS Ospedale L. Sacco, Milano Nadir I-CAB ANLAIDS ISS UCSC, Roma Ospedale D. Cotugno, Napoli Ospedale S. Bortolo, Vicenza LILA
RAZIONALE Perché un nuovo questionario? NECESSITA DI ELABORARE UNO STRUMENTO SULLA BASE DELLE NUOVE NECESSITA’ DELLE PERSONE HIV+ NELL’ERA HAART • CAMBIAMENTO DELL’INFEZIONE VERSO UNA CONDIZIONE DI CRONICITA’ • INSORGENZA DI NUOVI EFFETTI COLLATERALI
OBIETTIVO COSTRUZIONE DI UN NUOVO QUESTIONARIO PER LA VALUTAZIONE DELLA QDV DELLE PERSONE HIV+, CHE RISULTI: • AGGIORNATO E COMPLETO • STRUTTURATO PER DIMENSIONI • UTILIZZABILE SIA NELLA PRATICA CLINICA CHE NELLA RICERCA • SEMPLICE ED AUTOCOMPILABILE
METODOLOGIA ELABORAZIONE DEL QUESTIONARIO PRIMA FASE (2001/2002) STESURA PRIMA VERSIONE QUESTIONARIO (revisione letteratura e questionari già esistenti, pre-test) SECONDA FASE (2003) VERSIONE DEFINITIVA QUESTIONARIO (analisi di validazione)
PRIMA FASE REVISIONE LETTERATURA • REVISIONE DEI QUESTIONARI VALIDATI: - MOS-HIV MODIFICATO (QUAVISC) - WHOQOL-HIV - MQOL - FAHI - HOPES • INDIVIDUAZIONE DELLE SCALE E DEL LORO CONTENUTO
PRIMA FASE PRE-TEST DEL QUESTIONARIO (DUE PROVE) METODOLOGIA: • CAMPIONE RAGIONATO: MASSIMA VARIABILITA’ DI ALCUNE CARATTERISTICHE STRUTTURALI: ETA’, SESSO, ISTRUZIONE, OCCUPAZIONE, FATTORI DI RISCHIO, TEMPO ALLA DIAGNOSI ED ALTRE NUMEROSITA’ CAMPIONARIA: 100 INTERVISTE PER OGNI PROVA DISTRIBUITE SUL TERRITORIO NAZIONALE • INTERVISTATORI FORMATI AD HOC • QUESTIONARI AUTOSOMMINISTRATI
PRIMA FASE PRE-TEST DEL QUESTIONARIO ( I PROVA) OBIETTIVO DELLE INTERVISTE • VERIFICARE L’UTILITA’ DELLO STRUMENTO • VERIFICARE LA CHIAREZZA DELLE DOMANDE E L’ADEGUATEZZA DEL LINGUAGGIO • DEFINIRE LE SCALE ED IL LORO CONTENUTO • DEFINIRE LA VERSIONE PRELIMINARE DEL QUESTIONARIO
PRIMA FASE PRE-TEST DEL QUESTIONARIO (II PROVA) OBIETTIVO DELLE INTERVISTE • VERIFICARE GLI ASSUNTI PSICOMETRICI DEL QUESTIONARIO • DEFINIRE LA PRIMA VERSIONE DEL QUESTIONARIO
SECONDA FASE VERIFICA DI VALIDITA’ DEL QUESTIONARIO ATTENDIBILITA’ : è il grado in cui l’applicazione dello strumento ripetuta in tempi diversi e nelle stesse condizioni riproduce gli stessi risultati VALIDITA’ : è il grado in cui lo strumento misura effettivamente la caratteristica che intende misurare
SECONDA FASE ATTENDIBILITA’ METODO UTILIZZATO Coefficiente alfa di Cronbach
SECONDA FASE VALIDITA’ DI COSTRUTTO: CONVERGENZA INTERNA: relazione lineare tra il punteggio di ogni quesito e la scala di appartenenza (successo di scala: correlazione >=0. 40) DIVERGENZA DEL QUESITO O VALIDITA’ DISCRIMINANTE: correlazione tra il quesito e la propria scala significativamente più elevata della correlazione tra lo stesso quesito e le altre scale (>=2 SE) VALIDITA’ DI CRITERIO: è basata sulla correlazione tra i punteggi dello strumento e uno o più indicatori di risultato esterni e indipendenti
RISULTATI - ANALISI DI VALIDAZIONE STRUTTURA DEFINITIVA DEL QUESTIONARIO: • ISSQo. L: 15 SCALE • 1 SEZIONE relativa ai SINTOMI • 1 SEZIONE relativa agli aspetti SOCIO-DEMOGRAFICI
SCALE • QUALITA’ DELLA VITA GLOBALE • BENESSERE FISICO • BENESSERE DI RUOLO • SUPPORT 0 SOCIALE • BENESSERE SOCIALE • DEPRESSIONE E ANSIA • ENERGIA E VITALITA’ • DISAGIO LEGATO ALLA MALATTIA • FUNZIONE COGNITIVA • VITA SESSUALE • RAPPORTO CON L’EQUIPE CURANTE • IMPATTO DEL TRATTAMENTO • CAMBIAMENTI NELL’ASPETTO FISICO • PROGETTUALITA’ • MATERNITA’/PATERNITA’
DESCRIZIONE DEL CAMPIONE • ANALISI SU UN CAMPIONE NUMERICO SIGNIFICATIVO (CIRCA 350 PERSONE HIV) • DATI RACCOLTI IN 15 REGIONI ITALIANE (ASSOCIAZIONI E CENTRI)
DESCRIZIONE DEL CAMPIONE (1)
DESCRIZIONE DEL CAMPIONE (2)
ATTENDIBILITA’: COEFFICIENTE ALFA DI CRONBACH ISSQo. L SCALE (ITEM #) • BENESSERE FISICO • BENESSERE DI RUOLO • SUPPORTO SOCIALE • FUNZIONE SOCIALE • DEPRESSIONE E ANSIA • ENERGIA E VITALITA’ • DISAGIO LEGATO ALLA MALATTIA • FUNZIONE COGNITIVA • VITA SESSUALE • RAPPORTO CON L’EQUIPE CURANTE • IMPATTO DEL TRATTAMENTO • CAMBIAMENTI NELL’ASPETTO FISICO • PROGETTUALITA’ • QUALITA’ DELLA VITA GLOBALE • MATERNITA’ 6 2 4 2 7 4 4 4 5 9 3 4 2 3 3 alfa di Cronbach. 90. 83. 70. 82. 88. 83. 90. 88. 82. 93. 82. 87. 77. 86. 83
VALIDITA’ DI COSTRUTTO: CONVERGENZA INTERNA ISSQo. L SCALE • BENESSERE FISICO • BENESSERE DI RUOLO • SUPPORTO SOCIALE • FUNZIONE SOCIALE • DEPRESSIONE E ANSIA • ENERGIA E VITALITA’ • DISAGIO LEGATO ALLA MALATT IA • FUNZIONE COGNITIVA • VITA SESSUALE • RAPPORTO CON L’EQUIPE CURANTE • IMPATTO DEL TRATTAMENTO • CAMBIAMENTI NELL’ASPETTO FISICO • PROGETTUALITA’ • QUALITA’ DELLA VITA GLOBALE • MATERNITA’ RANGE DI OONVERGNENZA INTERNA 0. 61 -0. 83 0. 71 -0. 71 0. 31 -0. 62 0. 70 -0. 70 0. 54 -0. 73 0. 61 -0. 74 0. 77 -0. 82 0. 63 -0. 8 3 0. 44 -0. 75 0. 67 -0. 84 0. 61 -0. 74 0. 64 -0. 80 0. 63 -0. 81 0. 56 -0. 80 % SUCCESSI DI SCALA 100% 75% 100% 100% 100%
VALIDITA’ DI COSTRUTTO: VALIDITA’ DISCRIMINANTE ISS-Qo. L SCALE • BENESSERE FISICO • BENESSERE DI RUOLO • SUPPORTO SOCIALE • FUNZIONE SOCIALE • DEPRESSIONE E ANSIA • ENERGIA E VITALITA’ • DISAGIO LEGATO ALLA MALATT IA • FUNZIONE COGNITIVA • VITA SESSUALE • RAPPORTO CON L’EQUIPE CURANTE • IMPATTO DEL TRATTAMENTO • CAMBIAMENTI NELL’ASPETTO FISICO • PROGETTUALITA’ • QUALITA’ DELLA VITA GLOBALE • MATERNITA’ RANGE DI DIVERGENZA 0. 02 -0. 70 0. 09 -0. 76 0. 00 -0. 26 0. 04 -0. 63 0. 03 -0. 65 0. 01 -0. 58 0. 04 -0. 65 0. 03 -0. 68 0. 00 -0. 46 0. 00 -0. 39 0. 01 -0. 48 0. 00 -0. 52 0. 12 -0. 64 0. 02 -0. 39 % SUCCESSI DI SCALA 98% 87% 97% 100% 97% 98% 100% 98% 93% 100% 98% 100%
PROSPETTIVE • UTILIZZO DELL’ISSQo. L NEGLI STUDI CLINICI ITALIANI • VALIDAZIONE DELL’ISSQo. L IN AMBITO EUROPEO
ISSQOL
QUESTIONARIO ISSQo. L 1. In generale, direbbe che la Sua salute è: (metta una crocetta, cioè una X, nel punto della scala che meglio indica il Suo stato di salute attuale) 0______10______20______30______40______50______60______70______80______90___ ___100 Scadente Poco buona Abbastanza buona Molto buona Eccellente 1 a. Utilizzando la scala del punto precedente, potrebbe ora scrivere direttamente il numero che meglio indica il Suo stato di salute attuale? : Scriva un numero compreso tra 0 e 100: ______
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
QUESTIONARIO ISSQo. L
- Tecniche investigative carabinieri
- Istituto di istruzione superiore cristoforo marzoli
- Scuola antonietti iseo
- Istituto tecnico cardano milano
- Istituto superiore mario boella
- Istituto comprensivo tropea
- Istituto superiore mario boella
- Istituto superiore di studi penitenziari
- Nsis sanita
- Competenze e servizi giuridici in sanità
- Organizzazione mondiale della sanità
- Piano sociosanitario integrato lombardo
- Sanita meldere
- Indice terapeutico
- Distribuzione del farmaco
- Farmaco
- Biotecnologie del farmaco
- Legge di fick farmacologia
- Unipv giurisprudenza kiro
- Analisi del testo narrativo esempio
- Que es ladme
- Receptor transmembrana
- Cinetica ordine zero
- Escrezione dei farmaci
- Albulterol
- Emivita farmaco
- Modalina farmaco
- Farmaco
- Fármaco
- Protelos farmaco pericoloso
- Tetrapharmakos
- Farmaco
- Metabolismo do álcool
- Modellistica energetica
- Corso tutela del consumatore
- Dipartimento del tesoro
- Dipartimento del tesoro
- Dipartimento di diritto privato e critica del diritto
- Paleolitico inferiore medio e superiore
- Equazioni irrazionali
- Riforma scuola superiore
- Come scrivere articolo di giornale
- Angolo di spoglia inferiore
- Castellammare valpolicella ripasso superiore
- Velo midollare anteriore
- Matrice triangolare superiore
- Arto superiore
- Matrice triangolare superiore
- Scuola superiore spagna
- Marietti scuola powerpoint sistema scheletrico
- Bacino ossa
- Protesi arto superiore
- Cara oclusal del canino superior
- Scuola superiore di counseling
- Valutazione certificativa
- Chiusura orizzontale superiore
- Potere superiore
- Scuola superiore della magistratura
- Consiglio superiore dei lavori pubblici
- Corso vhdl
- Slide corso gru mobili
- Slide corso rspp
- Corso opem c.r.i. 2021 slide
- Haccp ppt
- Corso monosettimanale significato
- Open foam corso
- Carlo crivelli self portrait
- Slide corso macchine movimento terra
- Corso toscana 108
- Slide corso formazione segnaletica stradale
- Presidente corso di laurea
- Slide corso preposto ppt
- Corso tatuaggi asl lecce 2021
- Corso somministratori cils
- Corso mongodb
- Slide corso antincendio rischio basso
- Corso gascromatografia napoli