Metodologie per la valutazione delle politiche industriali Davide

Metodologie per la valutazione delle politiche industriali Davide Ciferri MET e Università di Perugia

Dimensioni chiave per la valutazione e le sue finalità: • Responsabilità Ø rendere conto dell’uso delle risorse a finanziatori e cittadini Ø allocazione ottimale delle risorse tra priorità e strumenti • Attuazione Ø processo di trasformazione delle politiche in azioni e pratiche amministrative concrete come “black box” Øinterazioni tra gli attori • Produzione di conoscenza Ø comprendere cosa funziona e perché si impara dai successi Øma anche dai fallimenti

Valutare il successo di un intervento vuol dire domandare L’intervento produce gli effetti desiderati? E’ implicito il concetto di cambiamento/confronto rispetto ad una situazione base Cosa sarebbe successo senza l’intervento?

• Il processo valutativo degli interventi viene comunemente diviso in un’analisi di tipo ex-ante ed una di tipo ex-post. • Alla prima classe di studi appartengono quelle ricerche sviluppate al fine di descrivere la situazione economica specifica relativa all’unità target (ad esempio l’impresa oggetto di agevolazione) e gli effetti attesi. • L’analisi di tipo ex-post, invece, considera gli effetti degli interventi sulle unità di riferimento (imprese finanziate) offrendo generalmente un’analisi comparativa rispetto ad un gruppo di unità alternative usate come controllo (imprese non finanziate). • Questo approccio può, successivamente, essere distinto in due componenti principali: la prima riguarda la dimensione macroeconomica dell’intervento, mentre la seconda si riferisce agli effetti su ogni singola impresa beneficiaria dell’incentivo (dimensione microeconomica).

• Sul piano strettamente metodologico l’oggetto fondamentale della valutazione ex post si articola in tre aspetti fondamentali: • l’efficacia lorda • lo spiazzamento delle imprese non agevolate (displacement) • l’effetto netto, (al netto cioé del cosiddetto deadweight, ovvero le attività agevolate che sarebbero state realizzate anche in assenza di agevolazioni pubbliche). Ci si riferisce spesso in letteratura al termine di aggiuntività.

Le metodologie di valutazione dell’effetto netto degli incentivi alle imprese si possono distinguere in tre grandi famiglie: • Analisi microeconomiche con dati anagrafici degli aiuti e dati di bilancio delle imprese • Analisi microeconomiche con dati derivati da indagini campionarie (e dati di bilancio) e analisi su dati amministrativi anche con interviste a stakeholders • Analisi macroeconomiche con dati aggregati a livello locale, regionale ovvero nazionale

Definizione di effetto Effetto di un intervento è la differenza tra ciò che osserviamo DOPO che l’intervento è stato attuato e ciò che avremmo osservato, nello stesso periodo e per gli stessi soggetti, in ASSENZA di intervento. Quindi l’effetto è definito come differenza tra un valore OSSERVABILE e uno IPOTETICO, per sua natura non osservabile. Quest’ultimo viene detto CONTROFATTUALE.

Obiettivo conoscitivo dell’approccio controfattuale: Stabilire l’esistenza di un legame causale tra la realizzazione dei un intervento e ciò che si osserva tra i destinatari di quell’intervento Identificare cioè il contributo netto dell’intervento, separandolo dai molteplici fattori, estranei all’intervento, che influenzano comunque i destinatari e le loro condizioni o comportamenti

Le metodologie econometriche • L’impostazione fondamentale della valutazione di ogni politica pubblica si fonda sulla specificazione della differenza tra il valore della variabile sotto osservazione a seguito dell’intervento ed il valore che la stessa variabile avrebbe avuto in assenza di intervento. • Lo scenario controfattuale richiede specifiche metodologie. • Poiché le variabili impiegate nell’esercizio di stima non sono direttamente osservabili, tali stime soffrono implicitamente di una debolezza che le potrebbe rendere non metodologicamente accettabili. È la cosiddetta threats to validity (minaccia alla validità della valutazione) che viene generalmente scomposta in due aspetti principali: • l’omitted variable bias (ovvero la difficoltà di specificare modelli che includano tutte le variabili esplicative) • il self selection bias (ovvero il problema derivante dall’autoselezione dei soggetti che accedono ai benefici di legge, tale da renderli sostanzialmente diversi dal resto dell’universo di riferimento).

Omitted variable bias • Il primo problema è connesso al possibile errore che si compie attribuendo al programma degli effetti che in realtà sono derivanti da fattori indipendenti al programma stesso. • Questo tipo di problema, nell’ipotesi che i fattori esogeni influenzano in modo analogo tutte le imprese (incentivate e non), è particolarmente forte nelle stime che utilizzano uno schema di analisi di tipo one group design. In questa strategia di ricerca, infatti, vengono generalmente calcolati i valori della variabile sotto osservazione prima e dopo l’intervento. Il valore pre-intervento si può discostare dall’ipotetico valore del controffattuale proprio in diretta conseguenza dell’omitted variable bias.

Omitted variable bias • Un semplice schema di calcolo utilizzato per stimare gli effetti considerati si basa su di un’applicazione dell’analisi shiftshare (si veda Armstrong e Taylor 1985, Dowall 1996, Rubin Wilder 1989 e Rubin 1991) la quale, applicata alla valutazione di variabili obiettivo pre e post intervento, ha la caratteristica di distinguere gli effetti dei programmi di incentivo da quelli dovuti alla situazione economica congiunturale che determina la dimensione del bias

Selection bias • Il secondo problema deriva, invece, dalla natura di eterogeneità tra le variabili risultato delle unità beneficiate e di quelle non beneficiate. • Il selection bias emerge, quindi, quando il gruppo delle unità escluse viene utilizzato come proxy del controfattuale (comparison group design), in conseguenza della sostanziale disomogeneità rispetto alle unità che invece hanno usufruito dell’intervento • le principali tecniche utilizzate per ridurre la distorsione legata al processo di selezione dei gruppi possono raggruppate in due categorie: le stime difference in difference, i metodi di matching

Lo stimatore difference in difference • Le stime difference in difference necessitano di un campione panel delle variabili obiettivo al fine di ottenere un insieme di informazioni temporalmente adeguato che permetta un miglioramento nella qualità di valutazione dello scenario controfattuale

Lo stimatore difference in difference • Nella sua rappresentazione più semplificata questo stimatore si può calcolare come la differenza tra la variazione della media della variabile target prima e dopo l’intervento e la corrispondente variazione della media della variabile controfattuale

Lo stimatore matching • L’approccio non parametrico che utilizza la metodologia di matching consiste nell’identificazione per ogni unità target considerata di un’unità gemella scelte tra il gruppo di unità che non rientrano nel programma. • L’ipotesi implicita di questa strategia è che l’eterogeneità presente nei gruppi di imprese possa essere in gran parte spiegata attraverso l’utilizzo di variabili osservabili e ciò comporta l’esistenza di fattori specifici che determinano la partecipazione di un’ipotetica unità al programma di incentivi. • Tuttavia questi fattori siano indipendenti dalle future realizzazioni della variabile target sia per il gruppo incluso che per quello di controllo.

Lo stimatore matching • Si ipotizza che la variabile target dipenda da alcune variabili esplicative sia nelle unità trattate che in quelle non trattate (controfattuale)

Lo stimatore matching • NT rappresenta il numero delle unità trattate mentre Wij è il peso assegnato per la comparazione tra l’i-esima unità del gruppo dei trattati e la j-esima unità gemella appartenente al gruppo dei non trattati.

Il matching e il propensity score • Si sceglie spesso di utilizzare un unico indicatore sintetico che abbia la caratteristica di rendere particolarmente facile l’operazione di identificazione delle unità da accoppiare. • Questo indicatore prende il nome di propensity score ed esprime la probabilità di partecipare al programma di incentivi date un set di caratteristiche osservabili:

Il matching e il propensity score 1. Balancing Property: garantisce che, dato il propensity score, il trattamento e le caratteristiche osservabili dell’impresa siano indipendenti. Se la balancing property è soddisfatta, le imprese con lo stesso PS hanno le stesse caratteristiche osservabili (la stessa distribuzione) indipendentemente dall’aver o meno ricevuto il trattamento. In altre parole, per un dato valore del PS, l’esposizione al trattamento è casuale: le imprese trattate e quelle di controllo sono, in media, identiche. Test: All’interno di ogni intervallo si verifica che il PS medio delle imprese trattate e di quelle di controllo sia uguale. 2. Unconfoundedness property: 1. se allora 2. ci assicura che, dato lo stesso PS, il trattamento ed il risultato potenziale dell’impresa sono indipendenti.

Il propensity score • Il propensity score può essere facilmente stimato per tutte le osservazioni a disposizione attraverso l’utilizzo di un modello probit o logit. • Una volta ottenuta la misura della probabilità di essere inserito nel programma non resta che definire il criterio con il quale si possa scegliere la prossimità tra unità appartenenti ai due gruppi e quindi come strutturare la matrice di pesi.

Il propensity score • I principali problemi di questa fase della stima riguardano la scelta del numero di unità non trattate da abbinare all’i-esima unità trattata. • L’utilizzo di più di un’unità di confronto migliora la precisione della stima pur aumentando la sua distorsione. • La scelta dell’utilizzo plurimo della unità non trattate per l’identificazione dello scenario controfattuale dipende dal grado di dissomiglianza delle distribuzioni del propensity score relative ai due gruppi. In particolare, nel caso in cui la sovvrapposizione tra le due distribuzioni sia scarsa, sarà necessario utilizzare le unità non trattate per più abbinamenti (matching with replacement) al fine di ridurre il rischio di escludere unità trattate per le quali non sia stato possibile individuare un possibile abbinamento; viceversa, nel caso di ampia sovrapposizione, è preferibile utilizzare per un solo abbinamento le unità non trattate (matching without replacement).

Il propensity score • Nell’ambito della strategia di matching witout replacement possono essere individuate due diverse procedure di abbinamento tra gruppi: il nearest neighbor matching, il Kernel matching. • Il primo metodo definisce la matrice di pesi W in funzione dell’insieme delle unità non trattate che minimizza la distanza tra i rispettivi propensity score:

Il propensity score • Il Kernel matching, consiste nell’abbinare alle unità trattate una media ponderata di tutte quelle non trattate. In questa media i pesi sono inversamente proporzionali alla distanza dei propensity score. Lo stimatore finale dipenderà, quindi, dalla funzione di kernel scelta, G, e da un parametro di bandwitch, h:

Principali lavori

Le valutazioni con dati di survey • Gli esercizi valutativi che utilizzano le indagini dirette sulle imprese tendono in qualche modo a mitigare l’effetto di selezione, in ragione del fatto che sono le imprese stesse nel rispondere alle domande in questione a definire lo scenario controfattuale che ha caratterizzato la propria esperienza. • In questo caso, quindi, chi valuta l’efficacia dell’aiuto è la stessa impresa sussidiata che descrive, rispondendo alle domande, i possibili scenari alternativi alla situazione realizzata e non si tratta quindi di stime del ricercatore. • In realtà si può parlare piuttosto che di gruppi di controllo, di un disegno di “situazione” controfattuale, che riguarda il diverso comportamento che l’impresa avrebbe potuto assumere se le agevolazioni richieste non le fossero state concesse.

L’approccio di studio del deadweight • definiamo il deadweight come il grado con cui il progetto sviluppato dalla singola imprese sarebbe stato comunque realizzato senza l’assistenza degli aiuti pubblici. L’intensità del deadweight può quindi dipendere dal volume, dalla localizzazione e dal timing con cui l’investimento è infine realizzato. • Si definisce deadweight zero, una situazione per la quale il contributo pubblico risulta in pratica totalmente aggiuntivo, in quanto, in assenza di questo, l’impresa non sarebbe stata in grado di realizzare l’investimento. • Il caso opposto è quello in cui l’investimento sarebbe andato avanti comunque; ci troviamo nella condizione di puro deadweight nella quale la politica industriale risulta totalmente inefficace rispetto all’obiettivo di favorire attività od occupazione addizionale.

L’approccio di studio del deadweight • La linea di ragionamento è stata la seguente: (i) abbiamo chiesto alle imprese se negli ultimi tre anni avevano ricevuto agevolazioni pubbliche; (ii) per le imprese che avevano risposto in senso affermativo, abbiamo quindi chiesto di indicare l’importo; (iii) infine abbiamo chiesto se gli investimenti cofinanziati sarebbero stati realizzati anche in assenza delle agevolazioni ricevute. • Le possibili risposte erano: (a) si, nella stessa misura (deadweight puro); (b) si, ma in misura leggermente inferiore, (c) si, ma in misura molto inferiore; (d) si, ma in anni successivi; (e) No (zero deadweight).

L’approccio di studio del deadweight

L’approccio di studio del deadweight Il modello empirico generale è stimato attraverso una metodologia logit che permette di trattare la variabile dipendente nella sua caratteristica forma binaria in funzione del set di regressori descritti

Un modello macroeconomico regionale • Definiamo un modello con tre equazioni che descrivono il livello d’investimento, di prodotto e di occupazione del settore industriale a livello regionale. • Il livello di prodotto regionale aggregato è definito attraverso una funzione di produzione del tipo Putty-Clay, partendo dall’assunzione che tutte le imprese minimizzano i loro costi di produzione dato un livello prefissato di output.

Un modello macroeconomico regionale • Si derivano le funzioni per il livello di investimento e di domanda del fattore lavoro, che sono rispettivamente:

Il costo d’uso del capitale • La funzione del costo d’uso del capitale, di cruciale importanza in quanto introduce direttamente i principali strumenti di agevolazione articolati a livello regionale è definita come:

Stima dell’elasticità di lungo periodo

L’effetto netto degli incentivi

Crescita economica e politica industriale