Seminario di Metodologia della Ricerca Psicologica MARIAGRAZIA BENASSI

Seminario di Metodologia della Ricerca Psicologica MARIAGRAZIA BENASSI ROBERTO BOLZANI SARA GIOVAGNOLI Magritte, Age of Reason

Metodologia della Ricerca • Non indica semplicemente i metodi e le tecniche da utilizzare nella ricerca ma l’attività critica che si applica ai diversi prodotti della ricerca (Boudon, 1991) • Aspetto normativo della metodologia: l’importanza di fare buone ricerche

Ricerca scientifica • Scopo: generare e controllare teorie metodologicamente corrette – Aderenza alla realtà empirica di riferimento – Riduzione dei costi e degli errori

Programma del corso I PARTE (3 cfu) Elementi di statistica inferenziale 1. 2. 3. 4. 5. 6. 7. 8. Misura: Tipi di variabili e scale di misurazione Procedura della statistica inferenziale Logica del test statistico Errori nell'interpretazione dei risultati del test statistico Disegni di ricerca Metodi di campionamento Fallacia nel campionamento Affidabilità e validità

Programma del corso II Parte (+3 cfu) Procedure statistiche avanzate 1. Analisi della correlazione 2. Analisi fattoriale 3. Analisi discriminante e cluster analysis 4. Modelli non parametrici 5. Metanalisi

Modalità d’esame Orale Ø 3 cfu I Parte Ø 6 cfu I + II Parte

Bibliografia Ø I Parte: • Bolzani R. , Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 2) • Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 2) • Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 1) • Mc. Burney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. da 3 a 10) • Mucciarelli G, Celani G (a cura di) (2002) Quando il Pensiero Sbaglia. Torino, Utet Libreria (Cap. 3, 4, 5) Ø II Parte: • Bolzani R. , Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 5) • Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 4, 5) • Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 7, 8)

Strumenti • Diapositive e esercizi sul sito di Psice. Pagine Insegnamenti • Lezioni e esercitazioni on-line disponibili sulla piattaforma A 3

Piattaforma A 3 • Registrazione atutor. psice. unibo. it/registrazione/ Id: Psicologia. Freq Password: poqevipe 36 » Mail e matricola • http: //atutor. psice. unibo. it

Piattaforma A 3 • Moduli didattici e esercitazioni • Chat (orari di ricevimento CESENA) • Forum

Verifiche • Pre-appelli per frequentanti (1 per ogni parte per 1 cfu): durante il corso (15 Marzo; 5 Aprile) • Appelli ufficiali (esame orale)

PRE-REQUISITI • Logica della dimostrazione sperimentale • Distribuzioni di Probabilità • Test parametrici e non parametrici

Note sulla teoria della Misura in Psicologia Definizione di Misura: misurare significa attribuire agli elementi di un insieme le caratteristiche di un sistema di riferimento tali per cui queste caratteristiche siano rappresentative rispetto alle caratteristiche dell’insieme di partenza

Per definire il rapporto (funzione di omeomorfismo) fra l’insieme misurato e il sistema di riferimento occorre che sia definibile: • • Il sistema relazionale empirico (oggetto) Il sistema relazionale di riferimento (strumento)

• le relazioni fra gli elementi dell’insieme misurato sono riprodotte (omeomorfe) dagli elementi dell’insieme misurante • permette di fare operazioni fra gli elementi dell’insieme e quindi di meglio comprendere le caratteristiche delle parti rispetto all’insieme stesso • permette di condividere e quindi confrontare le informazioni di insiemi diversi in base a un linguaggio comune

CRITICITA’: a. Precisione dello strumento b. Determinazione dell’Oggetto c. Generalizzazione

Precisione dello strumento • Non c’è mai corrispondenza perfetta fra i due sistemi (misurante-misurato) • Lo strumento di misura deve essere in grado di dare anche una stima dell’errore di misura • La stima viene data attraverso l’intervallo di tolleranza che è definibile solo se sono definiti i metodi di misurazione e se la misura è empirica

Statistica inferenziale Falsificazione Ho INTERVALLO DI CONFIDENZA: rappresenta la zona attorno al parametro stimato entro cui ci aspettiamo, con una probabilità 1‑ , di trovare il parametro relativo a un nuovo campione. Ha la stessa estensione dell'intervallo attorno all'ipotesi nulla. Se nell'intervallo di confidenza cade il valore di H 0 non si può respingere l'ipotesi nulla.

Statistica inferenziale Falsificazione Ho INTERVALLO DI TOLLERANZA: rappresenta la zona attorno al parametro stimato entro cui ci aspettiamo, con una probabilità 1‑ , che cada un nuovo caso.

Determinazione dell’oggetto • Semplicità della teoria • Conformità alle leggi o alle regolarità della natura • Semplicità come Falsificabilità • Universalità della teoria • Parsimonia

Generalizzazione • Scopo della misura • Punto di partenza e di arrivo di ogni misurazione

SCALE DI MISURA Classificazione Stevensiana: • sistema di riferimento: sistema dei numeri reali R • Va da una classe più semplice a una classe più complessa

SCALE DI MISURA Classificazione Stevensiana • • Scale nominali Scale ordinali Scale intervalli Scale rapporto

Scale Nominali • la relazione fra gli eventi è la categorizzazione • le categorie sono distinte in base alla sola operazione di uguaglianza o differenza • La proprietà dei R corrispondente è la cardinalità • Gli eventi sono raggruppabili in classi mutualmente esclusive • Le operazioni statistiche possibili sono il calcolo delle frequenze, test non parametrici. • I parametri descrittivi tipici sono moda e mediana

Scale Ordinali • Gli elementi dell’insieme sono oltre che sottoposti a categorizzazione anche ordinati gerarchicamente seguendo una relazione di asimmetria • i numeri sono disposti in modo tale da riflettere l’ordine di graduatoria degli elementi • Non è possibile quantificare la distanza fra gli elementi • La proprietà dei R corrispondente è l’ordinalità • Le operazioni statistiche possibili sono il calcolo delle frequenze, test non parametrici • I parametri descrittivi tipici sono moda e mediana

Scale Intervalli • alle caratteristiche delle prime due scale si aggiunge anche la definizione della distanza fra ogni elemento dell’insieme • costanza degli intervalli fra le diverse classi • non viene definito lo zero assoluto • Con queste scale sono possibili solo le operazioni di somma e sottrazione • Test statistici parametrici • I parametri descrittivi tipici sono media e varianza

Scale Rapporto • oltre ad esserci una costanza fra le classi è anche definito un valore di zero assoluto non arbitrario • applicabili le operazioni matematiche di moltiplicazione e divisione • Test statistici parametrici • I parametri descrittivi tipici sono media e varianza

SCALE DI MISURA Critiche alla classificazione stevensiana: 1. non comprende tutte le possibili classi di eventi. 2. Rigidità nell’accostamento scalastatistica

Variabili • Eventi empirici oggetto della misura • Possono essere parte di categorie e assumere diversi valori

VARIABILI CRITICITA’ • Aderenza fra sistema numerico e sistema empirico • Metodo di misurazione sintetico o analitico

TIPI DI VARIABILI Classificazione in base al ruolo nel disegno sperimentale Ø Relazione causale • Variabile dipendente • Fattore • Variabile confondente

TIPI DI VARIABILI Classificazione in base alle caratteristiche • Variabili qualitative • Variabili quantitative Classificazione in base alla distribuzione • Variabili gaussiane • Varibili non gaussiane

VARIABILI E SCALE DI MISURA VARIABILI E - OPERAZIONI STATISTICHE POSSIBILI – Scelta è dettata da: • dal disegno sperimentale • dall’ipotesi sperimentale • dal tipo di variabili

VARIABILI E SCALE DI MISURA VARIABILI E - OPERAZIONI STATISTICHE POSSIBILI – Dal disegno sperimentale • Multivariato • Univariato • …

VARIABILI E SCALE DI MISURA VARIABILI E - OPERAZIONI STATISTICHE POSSIBILI – Dall’ipotesi sperimentale • Inferenza (rapporti di causa-effetto generalizzabili) • Descrizione (esplorazione di un fenomeno di diversa complessità)

VARIABILI E SCALE DI MISURA VARIABILI E - OPERAZIONI STATISTICHE POSSIBILI – Dal tipo di variabili • Se a distribuzione gaussiana allora test parametrici • Se a distribuzione non gaussiana allora test non parametrici

VARIABILI E SCALE DI MISURA VARIABILI E - OPERAZIONI STATISTICHE POSSIBILI – Criticità: - criteri decisionali rigidi - ambiguità della situazione Soluzioni: - motivazioni del criterio

Statistica Descrittiva • La statistica DESCRITTIVA rappresenta sinteticamente i diversi valori relativi ai soggetti di un determinato gruppo (media, frequenza, percentuale etc. ) • Oggetto: riguarda esclusivamente i soggetti esaminati • Processo: il processo sulla quale è basata va dalla raccolta dei dati alla descrizione alla successiva formulazione di un’idea da verificare • Misura: i test statistici sono di tipo esplorativo: utilizzano modelli matematici molto raffinati ma non hanno valore dimostrativo. I parametri che utilizzano non sono basati sul calcolo probabilistico.

Statistica Inferenziale • Oggetto: l'esistenza di relazioni fra una generica variabile dipendente e un insieme di variabili indipendenti (fattori) • Processo: procede secondo una sequenza di operazioni ben definita e rigida • Logica di tipo falsificazionista • Misura: calcolo probabilistico R. Fisher, 1890 -1962

Inferenza: regole RELAZIONE FRA FATTORI E VARIABILE DIPENDENTE IPOTESI E TEST STATISTICO SEGUONO UNA LOGICA DI TIPO CAUSA-EFFETTO TUTTAVIA: • I RISULTATI NON SONO VINCOLATI DA QUESTA LOGICA • LE CONCLUSIONI NON VENGONO ACCETTATE SE SOSTENGONO UNA LOGICA CAUSA-EFFETTO

Inferenza: regole ESEMPIO 1: INDAGINE SULLA RELAZIONE FRA ALCOOLISMO E CIRROSI EPATICA ESEMPIO 2: INDAGINE SULLA RELAZIONE FRA ETA’ E CAPACITA’ MNEMONICHE

Inferenza: regole Metodologia: teoria delle regole alla base del processo euristico Motivazioni dell’esplicitazione delle regole: – Ragioni epistemologiche – Ragioni etiche – Ragioni politiche *** KR Popper (1934) La logica della scoperta scientifica, cap 2. Einaudi (1998)

Inferenza: regole RIGIDITA’ DEL PROCESSO DIMOSTRATIVO Regole di metodo come convenzioni ØControllo ØCorroborazione ØReplicabilità ØRevisione

Inferenza: regole Controllo • Coerenza interna (confronto logico delle conclusioni) • Indagine sulla forma logica (teoria empirica, scientifica o tautologica) • Confronto con altre teorie • Confronto mediante le applicazioni empiriche

Inferenza: regole L’oggettività della scienza sta nell’intersoggettività delle asserzioni della scienza stessa.

Inferenza: regole

Inferenza: regole (1) Formulazione Idea sperimentale (H 1): generale e falsificabile ipotesi di differenza

Inferenza: regole (2) Formulazione di H 0 da falsificare complementare a H 1 ipotesi di uguaglianza

Inferenza: regole (3) Raccolta del Campione Idoneo a confermare l'idea Rappresentativo dell'intera popolazione (casuale, sufficientemente ampio) Conforme alle richieste del test che si intende utilizzare (distribuzione, indipendenza)

Inferenza: regole (4) Applicazione del TEST STATISTICO indipendenza riferimento alle distribuzioni teoriche (continuità, normalità. . ) in grado di falsificare tipi determinati di ipotesi nulle

Inferenza: regole (5) SIGNIFICATIVITÀ Probabilità di respingere l'ipotesi nulla pur essendo questa vera Il suo limite è stabilito a priori (livello di significatività normalmente 0. 05 o 0. 01)

Inferenza: regole (6 a) Falsificazione di H 0 & dimostrazione di H 1 (6 b) Non falsificazione di H 0 & riflessioni sulla ricerca*** ***NON SI PUO’ DIMOSTRARE H 0***

Inferenza: regole Attraverso la distribuzione dell’ipotesi nulla vengono individuate due zone: • una zona attorno all'ipotesi nulla in cui non è possibile escludere, in base al risultato ottenuto, che l'ipotesi nulla sia vera • La rimanente regione riguarda una zona in cui è estremamente improbabile ottenere un risultato sperimentale se è vera l'ipotesi nulla

Inferenza: regole

Inferenza: regole ERRORI DI MISURA Misurare implica sempre un errore • ineliminabile • di diversa origine • può essere quantificabile Occorre identificare e misurare anche l’errore

Inferenza: regole ERRORI DI MISURA Errori di metodo – controllo tramite evitamento Errori di decisione – controllo tramite stima

Inferenza: regole ERRORI DI DECISIONE

ERRORI DI DECISIONE Errore alpha • Errore relativo alla probabilità di falsificare H 0 quando H 0 è vera • Legato alla significatività del test • Il suo valore è determinato a priori (<=0. 05 o 0. 01) • Legato a errore beta

ERRORI DI DECISIONE Errore beta • Errore relativo alla probabilità di non falsificare H 0 quando H 0 è falsa • Legato alla potenza del test • Il suo valore è determinato a priori • Legato a errore alpha

Inferenza: regole • Potenza del test: probabilità di respingere H 0 quando H 0 è falsa. È data da 1‑ • Dipende : Ñ da H 0 e da H 1 Ñ dalla numerosità del campione Ñ dalla minima differenza apprezzabile Ñ dalla varianza casuale Primit

Inferenza: regole (6 b) Non respingo H 0 ¨l'ipotesi nulla è “vera” o meglio le differenze analizzate da H 1 sono troppo piccole ¨scarsa potenza del test: • il campione ha varianza elevata · scarsa numerosità del campione · il campione non soddisfa le condizioni relative alla distribuzione · il campione non è rappresentativo dell'intera popolazione · non sufficiente separazione fra H 0 e H 1

Inferenza: regole La forza dell’effetto (effect size) Indice della relazione fra la variazione dovuta al fattore considerato e la variazione totale del modello (dovuta alla somma fra variabilità del fattore e variabilità errore)

Inferenza: regole La forza dell’effetto (effect size) Parametro: Partial Eta squared Utile per il confronto fra diversi studi perché è indipendente dalla numerosità Permette di confrontare campioni di numerosità diversa Non è associato alla probabilità di errore ovvero alla significatività

Inferenza: regole Un esempio: nell’analisi della covarianza è possibile calcolare la potenza del test (observed power) e la forza dell’effetto (partial Eta squared)

ERRORI DI DECISIONE Tuttavia… • La potenza del test a posteriori è calcolata sulla differenza misurata e non sulla minima differenza apprezzabile

Inferenza: regole Logica falsificazionista Un sistema empirico per essere scientifico deve poter esser confutato dall’esperienza Asimmetria fra verificabilità e falsificabilità Limite alpha funge da sbarramento

Inferenza: regole CRITICHE • Essendo asimmetrico le ipotesi nulle non falsificate non vengono prese in considerazione • Rigidità nella scelta • Arbitrarietà di Alpha • Il problema della numerosità • Non permette di analizzare direttamente ipotesi alternative

Inferenza: regole Possibili errori dalla logica falsificazionista: • Non valutazione della Potenza del test • Confronto fra i valori di p relativo ad alpha • Utilizzo della logica falsificazionista per confermare H 0 • La significatività indica una differenza ma non è né un indice di senso né un indice di forza

esercizio 1 • Analizza l’articolo dal punto di vista delle variabili in studio e dei test statistici applicati. “L’indice di capacità di lavoro in operatori sanitari”, Giornale Italiano di Medicina del lavoro e Ergonomia, p. 355 -358

Domande • Quale è l’ipotesi sperimentale? – E’espressa chiaramente? E’ semplice e generale? • Quali sono le variabili in studio? – Sono identificabili? Fanno riferimento a un disegno sperimentale univariato o multivariato? Quali le dipendenti e i fattori? Che scala rappresentano? • Quale è la statistica applicata? – I test sono parametrici o non? – C’è una corrispondenza fra test utilizzato e tipo di variabile? – E’ visibile la distribuzione di probabilità della dipendente?

Inferenza: regole La logica falsificazionista deriva da due approcci – il p-value approach (PVA), di Fisher (1935) – il fixed alpha approach (FAA), di Neyman e Pearson (1933) Fisher 1890 -1962 J. Neyman 1884 -1981 E. Pearson 1885 -1980

Inferenza: regole Entrambi gli approcci condividono: • l’utilizzo dell’ipotesi nulla H 0 • l’utilizzo di un valore critico di probabilità p (p-value) e del livello per determinare la probabilità del verificarsi di eventi dovuti al caso o ad errori di campionamento

Inferenza: regole METODO ALTERNATIVO ALLA LOGICA FALSIFICAZIONISTA FAA di Neyman e Pearson metodo per selezionare una ipotesi tra due ipotesi possibili H 1 e H 0

Inferenza: regole • Oltre al valore di alpha si fissa anche quello di beta; di solito, rispettivamente 0. 05 e 0. 2 • Non si determina più la probabilità dei dati per H 0 vera, ma la probabilità condizionata di H 0 e H 1 per quei dati osservati, da confrontare con i valori posti di alpha e beta [e cioè, p(H 0, H 1 dati)].

Inferenza: regole …Tuttavia • Non ci sono oggi test statistici basati sul FAA salvo calcoli probabilistici bayesiani • Tutti i test sono basati sulla falsificazione di H 0 secondo la logica falsificazionista

Inferenza: regole Consigli dell’ APA – Chiarezza nella presentazione dei dati (presentazione dei casi, dei dati mancanti e degli outliers) – Scelta di analisi semplici – Rinunciare alla scelta dicotomica fra accettazione e rifiuto di H 1 e riportare oltre al valore di p anche gli intervalli di confidenza e la forza dell’effetto

Inferenza: regole Letture consigliate: • Fisher RA (1935) The design of Experiments, Edimburgh, Oliver & Boyd; trad. it. La programmazione degli esperimenti, Pisa, Nistri Lischi, 1954. • Neyman J e Pearson ES (1933) On the problem of the most efficient tests of statistical hypothesis, in Philosophical transaction of the Royal Society of London, A 231, pp 289 -337. • Cohen, J (1994) The Earth is round (p<0. 05), American Psychologist, 49, 12, pp 997 -1003.

Disegno di ricerca Definizione: è il progetto nel quale sono specificati i legami fra le variabili che si andranno ad analizzare e i possibili risultati che ci si aspetta di trovare ovvero il modo con cui si analizzano le variabili in studio.

Tipologie di disegni di ricerca Non c’è concordanza fra gli autori 2 linee 1. Formale: D. Sperimentali, D. Quasi sperimentali e D. Non sperimentali 2. Pragmatica: tutti i disegni sono considerati sperimentali

Tipologie di disegni di ricerca DISEGNI SPERIMENTALI sono caratterizzati dal controllo di tutte le variabili in gioco, del campione raccolto con selezione idonea e casuale e della procedura di raccolta e analisi dei dati

Tipologie di disegni di ricerca DISEGNI QUASI SPERIMENTALI sono caratterizzati dal PARZIALE controllo di tutte le variabili in gioco.

Tipologie di disegni di ricerca DISEGNI QUASI SPERIMENTALI I disegni con un solo campione sono quelli sui quali si campione effettuano diverse misure ma che si trattano non come misure ripetute ma come misure indipendenti. Nei disegni con campioni non equivalenti l’assegnazione dei soggetti ai gruppi non avviene in modo casuale. I disegni ex-post-facto sono riferiti a situazioni nelle ex-post-facto quali l’evento in studio si è già verificato.

Tipologie di disegni di ricerca DISEGNI NON SPERIMENTALI sono caratterizzati dall’IMPOSSIBILITA’ del controllo sulle variabili in gioco, sul campione sulla procedura di raccolta e analisi dei dati

Tipologie di disegni di ricerca DISEGNI NON SPERIMENTALI • le ricerche di osservazione nelle quali l’attenzione è osservazione spostata sulla struttura del problema che si sta indagando • le ricerche d’archivio nelle quali si fa riferimento a dati d’archivio raccolti in passato in archivi • le ricerche sui casi singoli

Tipologie di disegni di ricerca DISEGNI FATTORIALI • sono presenti tutte le possibili combinazioni di fattori • è possibile analizzare tutti gli effetti a cui i criteri di classificazione utilizzati fanno riferimento e tutte le possibili interazioni tra gli effetti principali

Tipologie di disegni di ricerca DISEGNI FATTORIALI • disegni entro i soggetti o per prove correlate nei quali la misura è effettuata sullo stesso campione • disegni fra i soggetti nei quali è misurato l’effetto di una variabile in diversi gruppi • disegni misti nei quali le condizioni fra i soggetti e entro i soggetti sono presenti

Tipologie di disegni di ricerca Esempi di disegni fattoriali • entro i soggetti • fra i soggetti • misti

Tipologie di disegni di ricerca DISEGNO INCOMPLETO • non è possibile utilizzare tutte le combinazioni dei fattori • non è conveniente il disegno fattoriale perchè porterebbe all'utilizzo di un numero totale di sottogruppi troppo grande

Tipologie di disegni di ricerca DISEGNI INCOMPLETI: non vengono utilizzati tutti i sottogruppi possibili ma solo quelli che permettono lo studio degli effetti principali. • QUADRATO LATINO Utilizza un criterio di incompletezza ciclica uguale per tutte le interazioni possibili • A BLOCCHI RANDOMIZZATI nel quale le classi di un certo fattore comprendono solo alcune sotto-classi, rappresentanti l'insieme complessivo. Esempio

Tipologie di disegni di ricerca DISEGNI PERSONALIZZATI • I tipi di disegno sperimentale esaminati sono solo una parte dei disegni utilizzabili. • Il tipo di disegno è condizionato dall'ipotesi che vogliamo dimostrare e dal tipo di effetti che riteniamo influenti. • In tutte le analisi statistiche è possibile personalizzare il modello di riferimento che rispecchia il disegno sperimentale utilizzato Esempio

Capitoli di riferimento • Misura: – Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 1) – Mc. Burney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 3) • Statistica inferenziale, logica del test e errori di misura – Bolzani R. , Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 2) – Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 2) – Mc. Burney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 5, 6) • Disegni di ricerca – Mc. Burney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 7, 8, 9, 10)