La Valutazione della qualit delle attivit didattiche modello

La Valutazione della qualità delle attività didattiche: modello Campus. One Giornata Campus. One Siena, 20 maggio 2003 Emanuela Stefani

I NUMERI Campus. One è un laboratorio permanente che vede coinvolti e impegnati: - 70 atenei - 270 corsi di laurea - 9. 000 docenti - 50. 000 studenti Ad oggi al Progetto hanno aderito, oltre ai 270 Cd. S Campus. One, 137 Cd. S “Campus-like” Elenco atenei e Cd. S: www. campusone. it

I Campus-Like I 20 Atenei che hanno richiesto l’inserimento dei Campus-Like Bari 19 Bari Politecnico 3 Cagliari 2 Camerino 2 Cassino 10 Catania 1 Catanzaro 1 Chieti 2 Milano 2 Napoli Fed. II 1 Palermo 8 Perugia 1 Pisa 45 Reggio Calabria 1 Roma La Sapienza 1 Salerno 18 Torino 10 Trento 1 Trieste 1 Venezia IUAV 5 Valle D’Aosta 3 Avvio di progetti paralleli per estendere la valutazione in tutto l’Ateneo Bologna Calabria Cagliari Genova Padova Pisa Roma Tre Salerno Siena Torino I progetti e le esperienze: www. campusone. it/link/? ID=424

Il Contesto Europeo • • Magna Charta Universitatum (1988) Sorbona (1998) Dichiarazione di Bologna (1999) Comunicato dei Ministri europei dell’Istruzione (Praga, 2001) • Salamanca (2001) • Berlino (settembre 2003)

I documenti e gli attori internazionali • Raccomandazione del Consiglio dell’U. E. del 24 settembre 1998 • Relazione del Consiglio U. E. sugli “Obiettivi futuri e concreti dei sistemi di istruzione e formazione” • Comunicazione della Comunità Europea sul ruolo delle università nell’Europa della conoscenza • EUA Towards an accreditation scheme for higher education in Europe • ENQA Trans-European Evaluation Project (TEEP 2002)

Gli Obiettivi • Improve quality (la valutazione come strumento di miglioramento della qualità) • Provide good information (la valutazione come strumento di comunicazione interna/esterna) • Value for money (la valutazione come strumento di garanzia dell’investimento per lo Stato)

Valutazione istituzionale: motivazioni e risultati Sistema Universitario Sistema Ateneo • Misurare per comunicare e • Processo di Bologna migliorare le competenze • Armonizzazione 3+2 • Valorizzare le esperienze • Orientamento agli realizzate stakeholders • Competitività • Orientamento alla qualità • Accreditamento Obiettivi e risultati • Definizione e realizzazione di un modello di valutazione unico nazionale • Costituzione Agenzia Nazionale per l’accreditamento Value for money Corso di Laurea • Controllo processi formativi • Controllo prodotti formativi • Applicazione sistemi di valutazione (ricerca/didattica/amministrazio • Miglioramento ne) continuo • Diffusione di una cultura della valutazione • Risposta esigenze • Creazione di un sistema di stakeholders valutazione di ateneo • Trasparenza dell’informazione • Flessibilità Provide good information Improve quality

Principi Comuni • Autonomia istituzionale • Indipendenza della metodologia, delle “agenzie” e delle procedure utilizzate • Approccio in due fasi: autovalutazione /valutazione esterna (peer review) • Pubblicazione di un rapporto • Follow-up

Approcci • fitness for purpose (Valutazione) la qualità dipende dal livello di raggiungimento degli obiettivi da parte dell’unità valutata (Corso, ateneo, dipartimento) • standard based (Accreditamento) la qualità corrisponde al grado di aderenza a standard predefiniti

La Metodologia di valutazione Campus. One sulla base di una Metodologia che consente di analizzare e valutare la qualità delle attività didattiche ed il sistema di gestione dei Corsi di Studio Fase I: Autovalutazione condotta dallo stesso Cd. S Fase II: Valutazione esterna realizzata da esperti (peer-review)

La Cabina di regia Ø Ø Acquisisce e analizza: I Rapporti di Autovalutazione Le schede di valutazione dei RAV compilate dai tutori Le relazioni dei tutori Ø Effettua comparazioni ed analisi statistiche per: Ø Individuare impostazioni simili Ø Enucleare fattori critici comuni a più corsi Ø Evidenziare buone prassi

La Metodologia di valutazione Campus. One

LA VALUTAZIONE CAMPUSONE • È svolta a fronte del Modello Campus. One Model lo Campu One • Analizza puntualmente tutti gli aspetti previsti dal modello, utilizzando adeguate tecniche di verifica, verifica mirate ad evidenziare la coerenza delle scelte didattiche e dei processi fatte dal Cd. S (ad es. struttura degli insegnamenti, test d’ingresso, propedeuticità fra insegnamenti, risorse dedicate, ecc. )

Struttura del Modello Domande 5 Dimensioni della valutazione Elementi della valutazione Domande Fattori di guida per rispondere alla domanda Nota esplicativa

Il Modello: le 5 dimensioni Il SISTEMA ORGANIZZATIVO è il tessuto connettivo di tutte le altre dimensioni!!

Il Modello: le 5 dimensioni DIMENSIONI Sistema Organizzativo Esigenze e Obiettivi Risorse Processo formativo Risultati, analisi e miglioramento Iniziative speciali di valorizzazione del Cd. S ELEMENTI Sistema di Gestione Responsabilità Riesame Esigenze delle parti interessate Obiettivi formativi e politiche Obiettivi di apprendimento Risorse Umane Infrastrutture Progettazione Erogazione e Apprendimento Servizi di contesto Risultati Analisi e Miglioramento

I principi dell’EUA 1/3 • autonomia universitaria, strumento di un sempre maggiore livello di prestazione e capacità di competizione • responsabilità • esplicitazione della missione istituzionale e degli obiettivi delle istituzioni e dei corsi • qualità dei curricula

I principi dell’EUA 2/3 • • qualità del personale accademico qualità delle infrastrutture e disponibilità di attrezzature adeguate allocazione delle risorse capacità di rendere conto dell’uso delle risorse umane e materiali e di condurre verifiche e revisioni sistematiche

I principi dell’EUA 3/3 • riscontro da parte dei portatori di interesse • competitività scientifica internazionale • meccanismi interni di garanzia di qualità • periodicità della valutazione

Le modifiche al Modello 2002 Modello 2003 Esigenze e Obiettivi Esigenze delle parti interessate Obiettivi generali e politiche Obiettivi di apprendimento A Sistema Organizzativo Sistema di gestione Responsabilità Riesame Sistema Organizzativo Responsabilità Sistema di Gestione Riesame B Esigenze e Obiettivi Esigenze delle parti interessate Obiettivi formativi e politiche Obiettivi di apprendimento Risorse umane Infrastrutture C Risorse umane Infrastrutture Processo formativo Progettazione Erogazione Servizi di supporto D Processo formativo Progettazione Erogazione e Apprendimento Servizi di contesto Risultati, Analisi e Miglioramento Risultati Analisi e Miglioramento E Risultati, Analisi e Miglioramento Risultati Analisi e Miglioramento Iniziative speciali E-learning e servizi ICT Aggiornamento, formazione continua Servizi logistici

Al fine di utilizzare il RAV come reale stimolo al miglioramento… il Gruppo di Autovalutazione deve riassumere i PUNTI DI FORZA e i PUNTI DI DEBOLEZZA del Cd. S come risultanti delle analisi e le valutazioni riportate nel Rapporto di Autovalutazione PUNTI DI FORZA E DI DEBOLEZZA EVIDENZIATI NEL RAPPORTO DI AUTOVALUTAZIONE DIMENSIONE PUNTI DI FORZA PUNTI DI DEBOLEZZA SISTEMA ORGANIZZATIVO … … ESIGENZE E OBIETTIVI … … RISORSE … … PROCESSO FORMATIVO … … RISULTATI, ANALISI E MIGLIORAMENTO … …

Gli indicatori statistici Coorte Campus. One: è data dagli studenti che risultano iscritti al primo anno di corso nell’anno accademico di riferimento (avremo quindi la coorte 2001/2002, 2002/2003 etc. ). In questo insieme ritroveremo sia gli immatricolati (ovvero coloro che si iscrivono per la prima volta all'università) sia coloro che sono transitati al primo anno del Cd. S da altri corsi. Variabili che si suppone influenzino la carriera universitaria Sesso Tipo di maturità Votazione conseguita alla maturità: è stata scelta la soglia di 9/10 (54) perché si assume che rappresenti la soglia più significativa ai fini dei risultati universitari

Requisiti minimi per i corsi di laurea e di laurea specialistica (CNVSU) • La numerosità degli studenti iscritti al primo anno di corso • La valutazione dei docenti necessari • La valutazione delle strutture (aule, laboratori, biblioteche)

Insieme minimo di indicatori quantitativi (CNVSU) • • Indicatori di risultato Indicatori di risorse Indicatori di processo Indicatori di contesto

FORMAZIONE alla valutazione • Formazione alla cultura della valutazione (motivazione) • Formazione alle metodologie e all’uso degli strumenti • Formazione degli esperti (profili; competenze; professionalità, compiti istituzionali)

Il primo anno di valutazione Campus. One La formazione degli autovalutatori Ø Corsi di formazione e di aggiornamento § 10 moduli formativi per autovalutatori di 40 ore ciascuno § 284 docenti formati Ø Incontri nelle sedi (di confronto, per la discussione dei RAV, etc. ) Ø Seminari

Il primo anno di valutazione Campus. One Il Tutoraggio La Cabina di regia Campus. One ha ritenuto di fornire ai gruppi di autovalutazione dei Corsi di Studio inseriti nel Progetto un ulteriore strumento di crescita, individuando un gruppo di tutori che hanno interagito e interagiscono con i responsabili dei Gruppi di Autovalutazione. I tutori sono uno strumento per accelerare il processo di comprensione e interiorizzazione del Modello di valutazione Campus. One da parte dei Corsi di Studio.

I Tutori Ø Analizzano e valutano i RAV redatti dai Gruppi di Autovalutazione e riportano i risultati alla Cabina di regia Ø Riferiscono alla Cabina di regia sull’andamento dell’azione di tutoraggio per ogni singolo Cd. S Ø Riportano alla Cabina di regia le impressioni, i commenti e le proposte dei Corsi di Studio riguardanti l’applicazione del Modello

Il secondo anno: la valutazione esterna AUTOVALUTAZIONE e VALUTAZIONE ESTERNA hanno lo stesso obiettivo Un rapporto di autovalutazione ben preparato, ovvero in cui si sia risposto in modo sintetico ma puntuale alle domande e che proceda analizzando con serietà le diverse componenti del corso di studio, è la premessa per una costruttiva visita da parte dei valutatori esterni.

La valutazione esterna Campus. One è una PEER REVIEW Processo strutturato, indipendente e documentato di valutazione di una organizzazione da parte di un gruppo di esperti completamente indipendenti da essa e aventi almeno lo stesso livello di conoscenza ed esperienza dei suoi responsabili (peer = pari)

I VALUTATORI • SISTEMISTA Docenti • ESPERTO DELLA MATERIA • RAPPRESENTANTE DELLE PARTI INTERESSATE • RAPPRESENTANTE CRUI

Profilo dei Valutatori 1/2 • SISTEMISTA: è un docente, valutatore esperto di sistemi qualità e delle applicazioni sistemiche dei processi alle realtà universitarie • ESPERTO DELLA MATERIA: è un docente con esperienza nella classe di laurea a cui appartiene il Cd. S; esso dovrà apportare nel gruppo di valutazione le sue conoscenze in merito alle discipline sviluppate dal Cd. S valutato

Profilo dei Valutatori 2/2 • RAPPRESENTANTE DELLE PARTI INTERESSATE: è l’esperto del mondo del lavoro, scelto fra i soggetti che hanno interesse al tipo di Cd. S in fase di valutazione • RAPPRESENTANTE CRUI: tecnico in rappresentanza della Conferenza che può essere presente e partecipare alla valutazione in appoggio al gruppo Guida alla Metodologia e Modello: www. campusone. it/link/? ID=429

La formazione dei valutatori: i contenuti Sistemista Le ISO + Modello CRUI + Metodologia di valutazione (tecniche approfondite) Materia Modello CRUI + Metodologia di valutazione Parti Interessate Calibrazione Modello CRUI (sintesi con evidenza contatti PI) + Metodologia di valutazione Esercitazione di ogni valutatore e confronto collegiale di tutti i gruppi di valutazione

Il Calendario delle attività di valutazione Campus. One 2003 Compilazione secondo RAV e tutoraggio marzo/giugno 2003 Corsi di formazione per i Valutatori marzo/settembre 2003 Consegna secondo RAV Valutazione esterna presso le sedi di tutti i Cd. S Campus. One 14 giugno 2003 settembre/dicembre 2003

Gli Strumenti Informatici 1/2 Software sulla valutazione • Rapporti di Autovalutazione • Indicatori Statistici • Rapporti di Valutazione • Gestione di studenti, docenti, insegnamenti, esami, stage ed enti Monitoraggio carriera degli studenti • Raccolta dettagliata dei regolamenti didattici • Calcolo automatico indicatori e coorte

Gli strumenti informatici 2/2 Questionario dati Cd. S Campus. One Monitoraggio della spesa • Struttura Corso • Didattica • Servizi • Grado di attrattività ed efficacia • Mondo del lavoro • Raccolta dati standardizzata di impegni e spese per azioni di ateneo e di Cd. S • Controllo in tempo reale dell’andamento della spesa sia a livello locale che centrale, con eventuale riparametrizzazione degli impegni assunti

We don’t know what we don’t know We don’t do what we don’t know We won’t know until we measure We don’t measure what we don’t value We don’t value what we don’t measure Mikel Harry Six Sigma Academy