Riduzione dei Dati Riduzione dei Dati Nelle scienze

Riduzione dei Dati

Riduzione dei Dati Nelle scienze sociali ci si trova molto spesso di fronte a ricerche in cui vi è una sovrabbondanza di misurazioni nel tentativo di comprendere meglio il fenomeno che si sta studiando. Molto spesso misurazioni differenti possono avere un denominatore comune ovvero potrebbero in effetti rappresentare manifestazioni differenti con un’origine comune.

Riduzione dei Dati Diverse tecniche e varianti ricadono sotto tale denominazione. • Analisi delle Componenti Principali • Modello di Analisi dei Fattori (Fattoriale) Le analisi statistiche di riduzione dei dati possono avere un ruolo: • esplorativo • confermativo

Analisi delle Componenti Principali Rappresentare la complessità di un fenomeno rilevato da un numero elevato p di variabili attraverso un numero ridotto di variabili (indicatori sintetici o fattori latenti) in grado di semplificare il problema pur mantenendo il più possibile la corrispondenza con la complessità dell’insieme di dati originario. Quando le p variabili sono numerose è molto difficile riuscire a cogliere le strutture esistenti nei dati. Si pone quindi il problema di sostituire le p variabili originarie con un numero k minore di variabili “artificiali” (k < p) (COMPONENTI PRINCIPALI) che garantiscono la SINTESI con la MINOR PERDITA DI INFORMAZIONE POSSIBILE. RIDUZIONE DELL’INFORMAZIONE INDIVIDUAZIONE “DIMENSIONI LATENTI” (ricerca di raggruppamenti di variabili fortemente correlate rappresentabili da un singola variabile non osservabile)

Matrice dei dati, unità variabili xis rappresenta la determinazione della s-esima variabile quantitativa osservata sull’i-esima unità statistica (i=1, . . , n; s=1, …, p). variabile s unità n

Matrice dei dati

Analisi delle Componenti Principali La sintesi può essere perseguita con l’ACP sostituendo le p variabili osservate con k (k<p) variabili artificiali che garantiscono la minore perdita d’informazione. PROBLEMA: COME SCEGLIERE LE VARIABILI ARTIFICIALI CHE SINTETIZZANO, con la minor perdita d’informazione, le variabili osservate? Il problema viene risolto assumendo che le variabili artificiali siano COMBINAZIONE LINEARE delle variabili osservate. PROBLEMA: quale COMBINAZIONE LINEARE scegliere? Il CONTRIBUTO INFORMATIVO fornito da una variabile statistica è legato alla sua VARIABILITA’. Infatti una variabile statistica con ELEVATA VARIABILITA’ fornisce di solito PIU’ INFORMAZIONE di una con BASSA VARIABILITA’. Ciò accade poiché una variabile statistica con elevata variabilità tende ad essere “DISPERSA”, cioè ad assumere modalità molto differenti tra loro.

Analisi delle Componenti Principali In che modo le Componenti Principali mantengono l’informazione contenuta nella matrice dei dati e rappresentata dalla matrice di varianze e covarianze (o di correlazione)? La somma delle varianze delle variabili viene interpretata come misura della variabilità complessiva contenuta nella matrice di dati. Dalla matrice di varianze e covarianze (o di correlazione) si possono estrarre i coefficienti della combinazione lineare delle variabili (coefficienti di punteggio) che consentono di ottenere le componenti principali. Tali coefficienti di punteggio sono scelti in modo tale che la Componente Principale ottenuta come somma delle variabili originarie pesata con questi punteggi (combinazione lineare) abbia varianza massima. La somma delle varianze di tutte le Componenti Principali è uguale alla somma delle varianze delle variabili originarie. La covarianza tra due qualunque Componenti Principali è nulla. Si osserva che se le variabili originarie sono tra loro correlate, le dimensioni d’interesse sono in realtà meno di p.

Analisi delle Componenti Principali PUNTO DI PARTENZA MATRICE DI VARIANZE E COVARIANZE o MATRICE DI CORRELAZIONE tra p VARIABILI rilevate su n UNITA’ PUNTO DI ARRIVO CPs =as 1 X 1+ as 2 X 2 +. . . + asp. Xp s=1, . . , k MATRICE DEI COEFFICIENTI DI PUNTEGGIO DI k<p COMPONENTI PRINCIPALI. VARIANZA DI CIASCUNA COMPONENTE

Analisi delle Componenti Principali L’informazione contenuta nella matrice dei dati è rappresentata dalla matrice di varianze e covarianze o di correlazione (se le variabili sono standardizzate). X 1 Xs Xp X 1 S= Xj R=Xj Xp Xp X 1 Xs Xp

Analisi delle Componenti Principali Varianza della nuova variabile CPs in termini matriciali CPs =as 1 X 1+ as 2 X 2 +. . . + asp. Xp = a’ X (=X’a) Varianza di CPs = Varianza di (a’X) = a’Sa S matrice di varianze e covarianze di X (Var(as 1 X 1+as 2 X 2)=a 2 s 1 Var(X 1)+a 2 s 2 Var(X 2)+2 as 1 as 2 Cov(X 1, X 2) se p=2) Problema: determinare il vettore a tale che a’Sa sia massima CP 1 = a’ 1 X delle variabili originarie che dà luogo al massimo valore di a 1’Sa 1 sotto il vincolo che a’ 1 a 1 = 1 Trovare il vettore che massimizza a 1’Sa 1 sotto il vincolo che a’ 1 a 1 = 1 equivale a trovare il vettore che rende massima la quantità a’ 1 Sa 1 -�� 1(a 1’a 1 -1)

dove �� 1 è noto come moltiplicatore di Lagrange Sa 1 = �� 1 a 1 (S- �� 1 I) a 1=0 det (S- �� 1 I) =0 Quindi é un autovalore di S e la soluzione a 1 il corrispondente autovettore normalizzato La soluzione fornisce: - la varianza di CPs =ls=Varianza(CPs) (s-mo autovalore in ordine decrescente di S che soddisfa Sa=lsa. Var(CPs)= a’Sa = a’lsa =ls a’a=ls se a’a=1) - il vettore as (as 1 as 2 asp) dei coefficienti della s-ma combinazione lineare (s-mo autovettore di S)

Analisi delle Componenti Principali X 1 Xj Xp X 1 Xs Xp CP 1 CPs CPp CP 1 =S CPj CPp La stessa proporzione di varianza totale è spiegata da un numero minore di variabili l 1=Varianza(CP 1), … lj=Varianza(CPj) proporzione (percentuale) di varianza spiegata dalla v-ma o prime k CP

Analisi delle Componenti Principali CPs =as 1 X 1+ as 2 X 2 +. . . + asp. Xp = a’ X (=X’a)

Analisi delle Componenti Principali CPs =as 1 X 1+ as 2 X 2 +. . . + asp. Xp = a’ X (=X’a)

X 1 X 2 X 3 X 4 X 5 X 6 X 7

Y 1=CP 1=0. 196(sicuro)+0. 204(deciso)+0. 2(forte)+0. 212(socievole)+0. 096(preciso)+ +0. 111(metodico)+0. 22(attivo) Y 2=CP 2=-0. 207(sicuro)-0. 241(deciso)-0. 15(forte)-0. 002(socievole)+0. 526(preciso)+ +0. 492(metodico)+0. 069(attivo)

Scelta numero componenti -Tutte le componenti principali a cui corrisponde varianza (autovalore) > 1 -Ispezione grafica dello Scree-Plot (grafico decrescente delle varianze) -Tutte le componenti principali fino al raggiungimento di una quota percentuale (fissata) di variabilità spiegata

Scelta numero componenti Varianza totale associata alle prime due componenti

Scelta numero componenti Si scelgono 2 componenti

Interpretazione delle componenti Coefficienti di punteggio delle componenti Coefficienti di correlazione tra Componenti Principali e Variabili Originarie Interpretazione geometrica delle componenti principali Interpretazione semantica delle componenti principali Valenza descrittivo-esplorativa delle componenti principali

Interpretazione delle componenti estroversione coscienziosità Combinazioni lineari CP 1= 0. 196(sicuro)+0. 204(deciso)+0. 2(forte)+0. 212(socievole)+0. 096(preciso)+ 0. 111(metodico)+0. 22(attivo) CP 2= -0. 207(sicuro)-0. 241(deciso)-0. 15(forte)-0. 002(socievole)+0. 526(preciso)+ 0. 492(metodico)+0. 069(attivo)

CP 1= 0. 196(sicuro)+0. 204(deciso)+0. 2(forte)+0. 212(socievole)+0. 096(preciso)+ 0. 111(metodico)+0. 22(attivo) CP 2= -0. 207(sicuro)-0. 241(deciso)-0. 15(forte)-0. 002(socievole)+0. 526(preciso)+ 0. 492(metodico)+0. 069(attivo)

Grafico componenti 1, 0 preciso metodico Componente 2 0, 5 attivo 0, 0 socievole forte sicuro deciso -0, 5 -1, 0 -0, 5 0, 0 Componente 1 0, 5 1, 0

coscienziosità estroversione