VQR 2011 2014 INFN Giorgio Chiarelli INFN Pisa

VQR 2011 -2014 & INFN Giorgio Chiarelli INFN Pisa 1

Gli attori dal lato INFN Il GLV Ø Raccoglie ed analizza dati sulle performance di missione dell’Ente Ø Presenta un rapporto annuale al Comitato di Valutazione Internazionale Ø È incaricato di preparare l’Ente per la VQR 2

La breve storia Pur non avendo favorito nessuno il GLV è andato sotto accusa. . . 3

Alcuni commenti Il nuovo esercizio coprirà il periodo 2011 -2014. Ø Conclusioni e dati finali ad ottobre 2016 La scorsa VQR (2004 -2010) Ø Dati raccolti nel 2012, conclusioni nel luglio 2013 Più veloce Ø In parte perchè ricalca la vecchia Ø In gran parte perchè molta dell’infrastruttura (ANVUR) è in logo Ø In parte perchè gli attori sanno che è importante Ø Nel 2015 il 70% del Fondo Premiale per gli Enti di Ricerca è stato assegnato sulla base dei risultati VQR 2004 -2010 4

Il passato prossimo in comparazione VQR 2011 -2014 Ø Decreto MIUR (linee guida) del 1 luglio 2015 Ø Pre-Bando ANVUR del 7 luglio Ø Commenti entro il 27 luglio Ø Bando finale ANVUR il 1 agosto VQR 2004 -2010 Ø La bozza delle linee guida della VQR 2004 -2010 esce nel Luglio 2011 Ø Aperto il dibattito Ø Nell’Ottobre 2011 pubblicata la bozza del bando Ø Versione finale (bando) appare il 7 Novembre 2011

Le novità Tutto il personale in VQR deve essere identificato via ORCID Ø Nella scorsa VQR via Codice Fiscale Ø Documento sensibile Ø ORCID è pubblico, ed unico L’INFN è separato in Sezioni Ø La volta scorsa era unica struttura Ø Tecnicamente un articolo può essere presentato da tutte le sezioni che hanno un firmatario Ø Esisterà una tabella con i risultati per Sezione Gli incaricati Ø Presenteranno 2+1 prodotto, voto separato 6

Altre novità Ø Maternità considerata per diminuzione prodotti Ø Ruoli di responsabilità in Università/Enti: idem Ø Questa volta si misura solo la ricerca Ø Peso: 0. 75 all’indicatore di ricerca Ø Peso: 0. 20 all’indicatore di «reclutamento» Ø Peso: 0. 01 all’indicatore di fondi esterni Ø Peso: 0. 01 all’indicatore di alta formazione Ø Peso: 0. 03 al miglioramento rispetto alla scorsa VQR Ø Qui verrà calcolato un apposito parametro per la comparazione Ø La III missione Ø Brevetti, conto terzi, incubatori spin-off Ø Public engagement etc Ø Misurata (e valutata) a parte 7

Gli addetti alla ricerca Gli addetti in VQR vanno Ø Accreditati entro il 30/11 Ø Muniti di ORCID entro quella data Personale a TI e TD in servizio al 1/11/15 Ø Per gli Enti di Ricerca: Ø Ricercatori Ø Tecnologi Ø Che svolgono attività di ricerca e non solo attività amministrativa o di servizio Ø Universitari con incarico di ricerca Ø Per le Università: Ø Ricercatori e docenti 8

Gli addetti 9

Cosa devono presentare 3 prodotti di ricerca Ø Dirigenti di ricerca, Primi ricercatori 2 prodotti di ricerca Ø Dirigenti Tecnologi e Primi Tecnologi 3 prodotti Ø Ricercatore in servizio prima del 1/9/2011 2 prodotti Ø Ricercatori assunti tra il 1/9/11 e 31/12/12 Ø Tecnologi assunti prima del 1/1/2012 1 prodotto Ø Ricercatori assunti tra il 1/1/12 ed il 31/12/13 Ø Tecnologi assunti tra il 1/1/12 ed il 31/12/13 0 prodotti Ø Ricercatori e tecnologi assunti dopo il 1/1/14

Altri casi: Universitari: 2 prodotti dal lato Università Ø 1 prodotto dal lato INFN se hanno incarico di ricerca Diminuzione di 1 prodotto in caso di attività istituzionali di Ø Docenti e ricercatori universitari Ø Ricercatori degli Enti (con qualche complicazione) Ø Non nel caso dei tecnologi Esenzioni periodi di congedo nel quadriennio Ø Per motivi estranei all’attività di ricerca Ø Vanno richieste per casi speciali (rettori, direttori di 11 dipartimento o di Sezione etc)

Alcuni numeri Circa 960 dipendenti, 740 associati Ø Oltre 200 tecnologi tra i dipendenti Quanti prodotti Ø Numeri un po’ incerti, O(3000) Ø Simulazione non ancora completamente modificata Quali sono le criticità Ø Ovvie: personale che non ha abbastanza prodotti Ø Meno ovvie: Ø Come viene valutato un prodotto Ø Criteri Ø Indicatori bibliometrici al 31/12/15 ma Ø Inserimenti a partire dal 30 novembre (mah. . ? ) 12

Il GEV 02 A valutare i prodotti dell’Ente sarà il Gruppo di Esperti Valutatori dell’area di Fisica Ø 33 persone, coordinatore Zecchina Ø Alcuni nomi: Lerda, Pastrone, Pepe, Troncon, Isidori. . Ø Cosa devono fare? Ø Entro il 15 novembre pubblicare i criteri Ø Dopo il 15 febbraio 2015 iniziare la valutazione Ø Terminarla per il 30 settembre 2016 13

Comparazioni. . . VQR 2004 -2010 Ø Eccellente (1) Ø Top 20% Ø Buono (0. 8) VQR 2011 -2014 Ø Eccellente (1): Ø Top 10% della produzione scientifica Ø Segmento 20 -40% Ø Elevato (0. 7): Ø Segmento 60 -50% Ø Discreto (0. 4): Ø Segmento 50 -100% Ø Accettabile (0. 1): Ø Voto -1 (mancante) Ø Voto -2 (plagio) Ø Limitato (0) Ø Accettabile (0. 5) Ø Limitato (0) Ø Non valutabile Ø Segmento 10 -30% Ø Segmento 30 -50% Ø Segmento 50 -80% Ø Segmento 80 -100% Ø Mancante/doppioni (0) 14

Significato Si guarda all’ «eccellenza» piuttosto che all’overall e si penalizza chi partecipa con una frazione rilevante alla produzione mondiale Pensando male. . . 15

Attività ed attori Personaggi principali: Ø Gli addetti alla ricerca La regia: Ø GLV (come nella scorsa VQR) Ø Molto supporto da parte delle strutture necessarie La selezione di chi accreditare tra i tecnologi Ø Direttori I referenti nelle Sezioni/Laboratori Ø I rappresentanti dei tecnologi e dei ricercatori Ø Sono i più vicini (con i Direttori) ai personaggi principali 16

La strategia Ottenere il massimo per l’Ente Problemi Ø Oltre alle differenze già discusse Ø Il voto dei prodotti degli incaricati non sarà più diviso equamente tra l’Ente e l’Università ma ciascuno prenderà il suo voto Ø Nella scorsa VQR noi siamo praticamente gli unici (con INAF anche se questo in maniera minore) ad avere un numero rilevante di persone incaricate Ø Qui non si pensa male ma si pensa e basta. . . 17

Lo stato delle cose Programma di massimizzazione del risultato INFN si basa su Ø Elenco anagrafico Ø Quasi pronto Ø Articoli (DB) Ø Sempre in progress Ø Aggancio degli articoli all’elenco anagrafico Ø Più abbiamo aiuto da parte dei singoli e meglio facciamo Ø Nel passato lavoro del GLV: 6105 prodotti controllati, meno di 30 sbagli Ø Voto (presunto) di ciascun prodotto Ø Nella scorsa VQR fu sottostimato (per scelta): Ø - 5% Ø Qui dobbiamo aspettare i criteri del GEV 18

19

Come operiamo: Unico bias: migliorare il voto per i «neo assunti» Nel passato siamo stati accusati di aver favorito questo o quello Ø L’unico obiettivo e’ massimizzare il risultato dell’Ente Ø Questo (e solo questo) è il nostro obiettivo Ø Problemi: Ø Interazione con i Dipartimenti Ø chi prende che cosa Ø evitare presentazioni di duplicati Ø Il risultato delle singole Sezioni Ø Non interverremo ma potrebbe essere influenzato da quel che succede nei vari Dipartimenti

Qualche parola sulla 3 M In questa VQR non sono comprese le attività di Terza Missione. Verranno valutate in parallelo Ø Per le Università a partire dalle SUA-RD Ø Per gli Enti a breve raccolta dell’informazione Già nominato il Comitato Esperti Terza Missione (analogo ai CETM). Ø Due aree: Ø Valorizzazione della Ricerca Ø Trasferimento Tecnologico, attività con diretto impatto economico Ø Produzione di beni di pubblico valore • Public Engagement, valorizzazione beni culturali, trials clinici, formazione continua 21

Last but not least A cosa serve tutto ciò? Assegnazione dei fondi: Ø Per il 2015 il 70% del fondo premiale è stato assegnato sulla base della VQR 2004 -2010 Ø La VQR 2011 -2014 sarà la base per assegnazione dei fondi nel 2017(? ) Ø Il risultato nella. Terza Missione «potrà essere utilizzata nell’assegnazione di fondi governativi» 22

Sommario La VQR è incominciata, servirà a valutare l’Ente Ø I protagonisti siamo noi L’Ente vuole rimanere al top Ø Non sarà facile Ø Avremo bisogno del supporto di tutti Ø Le scadenze sono pressanti Ø 15 settembre Definizione Dipartimentali (strutture) Ø 15 novembre I GEV definiscono i criteri Ø 30 novembre Ø termine accreditamento e elenco mobilità Ø Inizio inserimento prodotti Ø 31 dicembre data di riferimento per bibliometrie Ø 31 gennaio termine inserimento prodotti per le Uni Ø 15 febbraio termine inserimento prodotti per gli Enti Ø 29 febbraio Ø Verifica figure in formazione Ø Altre informazioni Ø 30 settembre: rapporto finale GEV Ø 31 ottobre: rapporto finale ANVUR 23