MODELLO DI REGRESSIONE LINEARE MULTIPLA 1 Modello e

MODELLO DI REGRESSIONE LINEARE MULTIPLA 1. Modello e assunzioni 2. Stimatori OLS e proprietà 3. R 2, variabilità totale, spiegata e residua 4. Previsione 5. Test per la verifica di ipotesi 6. Variabili dummy 7. Multicollinearità 8. Eteroschedasticità 9. Autocorrelazione dei residui 1

REGRESSIONE LINEARE MULTIPLA: IL PROBLEMA • • Ricerca di un modello matematico in grado di esprimere la relazione esistente tra una variabile di risposta y (quantitativa) e ( ad esempio) k variabili esplicative Si tratta di una relazione asimmetrica del tipo Nel caso del modello di regr. lineare multipla abbiamo che: che geometricamente corrisponde ad un iperpiano a k dimensioni • Perché si studia tale modello i) facilità con cui può essere interpretato un iperpiano a k dimensioni ii) Facilità di stima dei parametri incogniti bj ( j = 1…k) Nella realtà studiamo un modello del tipo Componente sistematica componente casuale 2

IL MODELLO In forma matriciale dove : vettore (n x 1) di osservazioni sulla variabile dipendente : matrice (n x k) di osservazioni su k regressori : vettore (k x 1) di parametri incogniti : vettore (n x 1) di disturbi stocastici 3

Le matrici e i vettori sono così definiti N. B. La matrice X ha la prima colonna unitaria nel caso in cui si consideri un modello con intercetta b 1 nel sistema di riferimento multidimensionale 4

ASSUNZIONI DEL MODELLO 1) 2) 3) 4) 5) 6) 7) Esiste legame lineare tra variabile dipendente e regressori Le variabili sono tutte osservabili I coefficienti bi non sono v. c. I regressori X sono non stocastici Il termine u non è osservabile le ui sono omoschedastiche ed incorrelate 8) X ha rango pieno 9) condizione necessaria hp aggiuntiva da utilizzare nell’analisi inferenziale rank (X) = k 5

STIMATORE OLS Y = Xb + u Si cercherà quel vettore che minimizza gli scarti al quadrato: dove Xi è la riga i-esima di X In forma matriciale = perché scalare (1) 6

perché è uno scalare dalla (1) si ottiene pre-moltiplicando ambo i membri perché rank (X’X) = rank (X) = k X’X è a rango pieno ovvero invertibile stimatore OLS di b 7

CARATTERISTICHE STIMATORE OLS Teorema di Gauss-Markov è uno stimatore di tipo BLUE Best Linear Unbiased Estimator ovvero ha varianza minima nella classe degli stimatori Lineari e Corretti 1. La matrice costanti per cui di y. è formata da elementi è una trasformazione lineare 2. È uno stimatore corretto Inoltre: 8

3. Si consideri più in dettaglio Pertanto la varianza di ogni parametro si desume prendendo il corrispondente valore sulla diagonale principale della , moltiplicato per : 9

STIMA MX DI è simmetrica e idempotente, cioè: 1. 2. Da queste proprietà di MX si ottiene perché scalare tr(ABC)= tr(BCA)= tr(BAC)10

Se definiamo è uno stimatore corretto ESEMPIO (Greene p. 200) i : 1960 … 1986 , n = 27 Gi = consumo di benzina in $ Pgi = indice dei prezzi benzina Yi = reddito pro-capite in $ Pqi = indice dei prezzi auto nuove 11

Vettore y x 1 x 2 121. 01034 130. 20306 136. 62968 134. 39852 150. 34150 171. 88391 175. 44395 172. 03874 198. 65222 208. 37573 214. 38531 228. 52113 237. 37202 234. 34193 222. 32567 228. 16247 242. 33362 248. 32557 240. 93266 229. 58893 227. 13648 210. 44373 236. 85998 255. 36365 243. 75057 277. 31965 1 1 1 1 1 1 1 0. 9250000 0. 9140000 0. 9190000 0. 9180000 0. 9140000 0. 9490000 0. 9700000 1. 0000000 1. 0470000 1. 0560000 1. 0630000 1. 0760000 1. 1810000 1. 5990000 1. 7080000 1. 7790000 1. 8820000 1. 9630000 2. 6560000 3. 6910000 4. 1090000 3. 8940000 3. 7640000 3. 7070000 3. 7380000 2. 9210000 x 3 6036. 0000 6113. 0000 6271. 0000 6378. 0000 6727. 0000 7027. 0000 7280. 0000 7513. 0000 7891. 0000 8134. 0000 8322. 0000 8562. 0000 9042. 0000 8867. 0000 8944. 0000 9175. 0000 9381. 0000 9735. 0000 9829. 0000 9722. 0000 9769. 0000 9725. 0000 9930. 0000 10421. 000 10563. 000 10780. 000 x 4 1. 0450000 1. 0410000 1. 0350000 1. 0320000 1. 0090000 0. 9910000 1. 0000000 1. 0440000 1. 0760000 1. 1200000 1. 1110000 1. 1750000 1. 2760000 1. 3570000 1. 4290000 1. 5380000 1. 6600000 1. 7930000 1. 9020000 1. 9760000 2. 0260000 2. 0850000 2. 1520000 2. 2400000 Matrice X’X; 27. 000000 51. 357000 229865. 00 37. 296000 Matrice inv (X’X); 51. 357000 133. 15081 473127. 10 83. 319118 2. 6605735 0. 51586178 0. 30384762 -0. 00029970528 -6. 4047001 e-07 -0. 76246362 -0. 78790617 Stime b=inv(X’X) * X’y; -89. 761482 -12. 588147 0. 039938109 -14. 443884 229865. 00 473127. 10 2. 0120502 e+09 331319. 22 37. 296000 83. 319118 331319. 22 56. 280428 -0. 00029970528 -0. 76246362 -6. 4047001 e-07 -0. 78790617 6. 6199636 e-08 -0. 00019015563 2. 8089108 12

Y 121. 01034 130. 20306 136. 62968 134. 39852 150. 34150 171. 88391 175. 44395 172. 03874 198. 65222 208. 37573 n=10 X 1 1. 0000000 1. 0000000 X 2 0. 92500000 0. 91400000 0. 91900000 0. 91800000 0. 91400000 0. 94900000 0. 97000000 1. 04700000 1. 05600000 X 3 6036. 0000 6113. 0000 6271. 0000 6378. 0000 6727. 0000 7027. 0000 7280. 0000 7513. 0000 7891. 0000 8134. 0000 X 4 1. 0450000 1. 0410000 1. 0350000 1. 0320000 1. 0090000 0. 9910000 1. 0000000 1. 0440000 1. 0760000 (X’X) 10. 000000 9. 6120000 69370. 000 10. 318000 9. 6120000 9. 2665480 67031. 717 9. 9199470 69370. 000 67031. 717 4. 8631105 e+08 71575. 421 10. 318000 9. 9199470 71575. 421 10. 651854 -30. 407072 489. 93203 -0. 034015993 -198. 24254 0. 00072941000 -0. 034015993 2. 558142 e-06 0. 013782628 -167. 53347 -198. 24254 0. 013782628 254. 38467 Inv (X’X) 197. 12839 -30. 407072 0. 00072941000 -167. 53347 Beta = inv(X’X)*X’y -131. 78025 -90. 513381 0. 045503884 61. 076792 13

ANOVA Analisi della varianza Se vogliamo testare simultaneamente ipotesi su tutti i parametri o coefficienti dei regressori andiamo a considerare la statistica F di Fisher -Snedecor. Considerando il modello in forma di scarti 14

Si può dimostrare che e ricordando che Fp, q Sotto 15

TABELLA ANOVA Causa var. Devianza G. L. Modello x 2…. . xk k-1 Residuo n-k Totale n-1 Stime var. • Si costruisce la statistica F • Si individua il 95% o il 99% quantile della distribuzione F(k-1), (n-k) • Se si rifiuta H 0 16

COEFFICIENTE DI CORRELAZIONE MULTIPLA Il coefficiente di correlazione è un indicatore del legame lineare tra Y e i regressori. Ha però un difetto: Esso può aumentare anche se viene aggiunto un regressore che non “spiega” y. Se dividiamo le devianze per i gradi di libertà andiamo a pesare il contributo a R 2 di ogni regressore 17

APPLICAZIONE n = 12 k= 3 Facendo riferimento ai valori Determinare il vettore di stime OLS 18

Se consideriamo il modello in forma di scarti dalle medie Dove 19

da cui 20

RICAPITOLANDO Fino ad ora nessuna ipotesi è stata posta per la distribuzione degli errori nel problema della stima. Aggiungiamo : 21

TEST PER LA VERIFICA DI IPOTESI Dal teorema di GAUSS-MARKOV : Vogliamo testare Ovvero vogliamo verificare se il regressore Xi spiega effettivamente la variabile dipendente Y nel caso (improbabile) che sia nota s 2 Sotto andiamo a considerare la statistica 22

Se il valore cade all’esterno dell’intervallo di confidenza al 95% della rifiutiamo H 0 ed il parametro bi sarà “significativamente” diverso da zero. In generale rifiuto H 0 al livello 100 e% di significatività quando 23

QUANDO s 2 NON E’ NOTA Utilizziamo la sua stima Abbiamo già visto che MX e idempotente con tr(MX) = n-k da cui rank (MX) = (n-k) Per il teorema spettrale esiste una matrice ortogonale P : P’P = In 24

dove (n-k) k E’ una matrice diagonale con (n-k) unità e k zeri sulla diagonale principale Esempio n=6 k=2 Sulla base di P u può essere trasformato 25

con P ortogonale Inoltre dimostriamo che e sono indipendenti: Si dimostra verificando che e è incorrelato da 26

e e sono Normali e incorrelate quindipendenti ; lo saranno anche e N. B. Quindi 27

(*) elemento generico di posto ii nella diagonale della (X’X) Le ipotesi su bi possono essere verificate sostituendo i valori nella (*) e controllando poi che la statistica superi o meno i valori della regione critica della distribuzione tn-k. 28

RIPRENDIAMO L’ESERCIZIO (Applicazione lucidi precedenti 18 -20) ( F 0. 01 , 2 , 9 = 8. 02) Ricordiamo: n = 12 k = 3 con intercetta 2 var. esplicative in forma di scarti valore empirico di F Si rifiuta H 0 con un livello di significatività del 99% F empirico = 51. 75 >F 0. 01, 2, 9 = 8. 02 29

Se avessimo voluto testare Ovvero la significatività di X 2 (t 99. 9 = 2. 82) Anche adesso rifiutiamo H 0 è significativo valore empirico di t il regressore X 2 30

PROBLEMI DI PREVISIONE Si vuole prevedere il valore di Yn+1 per un insieme di valori X osservati. Supponiamo però per X i valori E’ possibile fare una previsione puntuale o stimare un intervallo di previsioni. Utilizzando le proprietà BLUE di avremo il PREVISORE PUNTUALE sarà BLUFF Best Linear Unbiased Forecasting Function 31

Per ottenere un intervallo di previsione è necessario individuare la distribuzione di Quindi una stima intervallare con un livello fiduciario del 100(1 -e)% : 32

APPLICAZIONE Voglio prevedere Y da X 0. Per calcolare l’intervallo devo determinare Infatti . 33

L’intervallo fiduciario sarà A parità di dati osservati l’intervallo sarà tanto più largo quanto più X 0 è distante da 34

CENNI SULLE VARIABILI DUMMY (Variabili di comodo) Fino ad ora abbiamo assunto che nella equazione generale Y = Xb + u Le variabili X siano variabili cardinali date dalla teoria economica. E’ possibile introdurre variabili cosiddette “di comodo” che riescano a rappresentare diversi fattori : – EFFETTI TEMPORALI – EFFETTI SPAZIALI – VARIABILI QUALITATIVE 35

È possibile che un modello economico possa subire mutamenti strutturali : FUNZIONE DI CONSUMO Tempo di guerra Tempo di pace Si ipotizza comunque che la propensione marginale al consumo rimanga invariata in entrambi i periodi 36

Invece di considerare i due modelli separatamente (stime meno precise) vengono uniti in una sola relazione Dove X 1 e X 2 sono variabili dummy : La matrice b dei coefficienti sarà e la matrice dei dati 37

La trappola delle variabili di comodo Quando utilizziamo le variabili dummy è necessariob fare attenzione a come viene costruito il modello, per non rendere la matrice (X’X) singolare. Infatti se nel modello precedente lasciavamo una intercetta : Abbiamo che le 4 colonne di X sono linearmente dipendenti 38 (X’X) non è invertibile

Volendo utilizzare una regressione con intercetta si utilizzerà così solo una dummy : • b = PMC in entrambi i periodi a 1 = g 1 = intercetta anni di guerra a 2 = g 1 + g 2 = intercetta anni di pace a 1 – a 2 = g 2 = differenza tra l’intercetta del periodo guerra e pace Cambiamento di coefficiente angolare b 2 – b 1 = differenza propensione marginale al 39 consumo nei due periodi

APPLICAZIONE (p. 255 Maddala) Y = b 1 + b 2 SVA + u Y = km / litro SVA = Stima Vita Auto in anni W = peso in Kg 40

MULTICOLLINEARITA’ Quando tra due o più variabili esplicative vi è perfetta collinearità o multicollinearità, la matrice (X’X) non è più a rango pieno e le stime OLS non possono essere calcolate. Si può però facilmente fare una sostituzione di variabile Es : 41

Il problema della multicollinearità esiste quindi quando due o più regressori sono quasi-collineari ovvero quando il coefficiente di correlazione tra i regressori è alto. • MODELLO A 3 VARIABILI 42

È facile vedere che valori molto alti di rendono le stime OLS molto imprecise. Inoltre piccole variazioni nella matrice dei dati provocano o possono provocare grandi variazioni nella stima dei parametri. 43

ESEMPIO-APPLICAZIONE: instabilità delle stime Dati : 44

Togliendo solo una osservazione: Si modificano molto le stime 45

ETEROSCHEDASTICITA’ Avevamo ipotizzato che tale assunzione è in molte situazioni non valida dobbiamo quindi riformulare il problema nella forma 46

Sono ancora corretti ma non efficienti (ovvero non sono necessariamente a varianza minima) 47

GOLDFELD – QUANDT TEST - Si ordinano le osservazioni secondo la variabile Xj che si ipotizza sia la causa dell’eteroschedasticità - Si divide il campione in tre parti di numerosità n 1 n 2 n 3. - Dopo la stima OLS nei tre sottocampioni si calcola e Sotto H 0 : omoschedasticità : (il valore di F è piccolo) 48

RIMEDI 1. si i=1, …, n siano valori noti. si applicano i MINIMI QUADRATI PESATI (WLS) ovvero si applica OLS al modello trasformato Ovvero Dove 2. relazione tra la componente stocastica e uno dei regressori Es. 49

Trasformiamo il modello Dove Applico OLS 50

ESERCIZIO La stima di un modello lineare sulla base dei valori del Reddito e del Consumo di 30 famiglie americane fornisce i seguenti valori : La stima dello stesso modello sulle prime 12 e sulle ultime 12 osservazioni fornisce i seguenti valori: Verificare l’ipotesi di presenza di eteroschedasticità ed in caso affermativo indicare la procedura di correzione. C’è presenza di eteroschedasticità 51

AUTOCORRELAZIONE DEI RESIDUI Molto spesso la assunzione cade perché gli errori sono autocorrelati, effetto molto usuale nelle serie storiche. Per illustrare il problema consideriamo una semplice relazione a due variabili 52

0 0 0 53

54

CONSEGUENZE 1. 2. 3. 4. Stime OLS di b corrette Varianze di molto grandi ovvero Sottostima di tali varianze inefficienti Conseguente non validità dei test t ed F Infatti si può dimostrare che Solo se r 2 = 0 Con N=20 ; r = 0. 5 : sottostima 4% Con N=20 ; r = 0. 8 sottostima 19% 55

TEST DI DURBIN - WATSON residui nella stima OLS per n grande 0 d. L autocorr. (+) d. H ? 2 4 -d. H No autocorr. 4 -d. L ? 4 Autocorr. (-) Il limite tra la zona di accettazione e quella di rifiuto è funzione della matrice X. D – W hanno costruito delle bande valide 56 sempre.

METODI RISOLUTIVI 1. GLS : se ho una stima di r Riesco a trovare la matrice e trasformo il modello in stima OLS 2. Procedura iterativa per stimare r Avendo: E et Procedura: - Da (1) stimo a e b con OLS (partendo da un valore iniziale per r ) - Sostituisco e in (2) (1) (2) 57