PRETEST Un approccio cognitivo COS IL PRETEST Il

PRETEST Un approccio cognitivo

COS’È IL PRETEST? Il pretest è la fase successiva alla costruzione del questionario. Serve per controllare se le domande funzionano, ossia raccolgono dati di qualità. Gli obiettivi di un pretest possono essere: Ø Controllare la mappa concettuale Ø Controllare la validità degli indicatori Ø Controllare le definizioni operative Ø Controllare la delle risposte

UNA TIPOLOGIA DI TECNICHE DI PRETEST Le tecniche di pretest possono essere classificate in base a due criteri: ascolto del punto di vista di intervistatori / intervistati. ascolto degli intervistati sì no no ascolto degli intervistatori sì valutazione di esperti codifica del comportamento verbale di intervistatori e intervistati esame dei movimenti oculari analisi basata su software pretest con gruppi di controllo debriefing degli intervistati intervista sull’intervista cognitiva debriefing degli intervistatori

VALUTAZIONE DI ESPERTI Il questionario viene valutato da ricercatori esterni al gruppo di ricerca. La valutazione può essere guidata da uno schema di codifica che indirizza l’attenzione degli esperti sugli aspetti che possono causare distorsioni. Poco dispendiosa e utile soprattutto nelle prime fasi di controllo del questionario, quando lo scopo è raccogliere indizi per impostare le sessioni di pretest successive.

CODIFICA DEL COMPORTAMENTO VERBALE Alcune interviste di prova vengono analizzate per controllare se le interazioni tra intervistatore e intervistato si discostano dalla sequenza ideale domanda risposta. Le deviazioni dalla sequenza ideale sono assunte come indizi di difetti del questionario. Così facendo però si rilevano solo i problemi manifesti e non quelli di cui gli intervistati non sono consapevoli o che non vogliono rivelare.

ANALISI CON SOFTWARE, EYE-TRACKING Alcuni software analizzano le domande dei questionari per individuare se alcuni termini o espressioni o la loro sintassi possono renderne difficile la comprensione. Alcuni centri di ricerca usano una tecnologia hardware e software che permette di registrare i movimenti oculari degli intervistati quando compilano un questionario.

DEBRIEFING DEGLI INTERVISTATORI Dopo aver condotto alcune interviste di prova gli intervistatori discutono in gruppo i problemi che loro stessi o gli intervistati hanno incontrato. Tecnica che richiede intervistatori qualificati che capiscono l’importanza del pretest e conoscono le possibili forme di infedeltà delle risposte.

DEBRIEFING DEGLI INTERVISTATI Gli intervistati sono invitati ad approfondire le risposte durante o poco dopo l’intervista di prova. Tale tecnica è utile soprattutto in combinazione con la codifica del comportamento verbale perché ne integra i risultati (consente di capire le cause dei problemi emersi in sede di codifica e trovare una soluzione).

INTERVISTA SULL’INTERVISTA Intervista non strutturata finalizzata a ottenere informazioni sui processi emotivi e cognitivi degli intervistati quando rispondono alle domande. Come il debriefing degli intervistati e l’intervista cognitiva, si basa sull’assunto che la fedeltà dei dati dipende dai processi mentali degli intervistati.

IL PROCESSO DI RISPOSTA

UN MODELLO DEL PROCESSO DI RISPOSTA Negli anni ‘ 80, psicologi cognitivi e metodologi della ricerca sociale hanno iniziato a collaborare nel movimento CASM, indagando il percorso mentale che gli intervistati seguono per rispondere alle domande. Il modello del processo di risposta più noto è di Tourangeau (1984) e si compone di quattro fasi: 1. Comprensione 2. Rievocazione 3. Giudizio 4. Risposta

LA COMPRENSIONE DELLA DOMANDA Comprendere una domanda significa: Ricostruire il significato letterale della domanda Inferire il significato pragmatico della domanda. Problemi di comprensione: o Difficoltà di comprensione della sintassi o Difficoltà di comprensione della semantica o Difficoltà di comprensione della pragmatica

RIEVOCAZIONE DALLA MEMORIA Rievocare dalla memoria le informazioni necessarie a rispondere alla domanda significa: Generare indizi per la rievocazione Scegliere una strategia di rievocazione Ricostruire i ricordi mancanti. Problemi di rievocazione: La domanda chiede di ricordare eventi lontani La domanda chiede di ricordare eventi ricorrenti La domanda chiede di ricordare eventi irrilevanti La domanda fornisce indizi non pertinenti.

ELABORAZIONE DI UN GIUDIZIO Le informazioni rievocate devono essere spesso combinate o integrate per arrivare a formulare un giudizio, ossia una risposta provvisoria alla domanda. Il processo con cui il giudizio viene elaborato è diverso a seconda del compito richiesto dalla domanda: 1. Stabilire la frequenza di un comportamento 2. Esprimere un atteggiamento

GIUDIZIO PER DOMANDE DI FREQUENZE Per stabilire la frequenza di un comportamento gli intervistati possono ricorrere a diverse strategie: Rievocare ed enumerare i singoli episodi Rievocare il numero esatto Stimare sulla base di un tasso di occorrenza Stimare sulla base di impressioni generali. Per rispondere a una domanda sulla frequenza di un comportamento è necessario anche datare gli episodi rievocati per stabilire se sono accaduti nel periodo di riferimento specificato dalla domanda.

PROBLEMI DI GIUDIZIO Se una domanda induce gli intervistati a stimare la frequenza di un dato comportamento invece di contare il numero esatto di occorrenze, si possono ottenere risposte imprecise. Se una domanda induce gli intervistati a spostare in avanti o indietro la data degli eventi, il numero sarà sovrastimato o sottostimato.

FORMULARE UNA RISPOSTA Formulare una risposta a una domanda significa: Scegliere l’alternativa di risposta più adatta a rappresentare lo stato dell’intervistato sulla proprietà indagata. Stabilire se è socialmente accettabile e coerente con le risposte già date. Problemi di risposta: Le alternative di risposta non sono mutuamente esclusive o esaustive Le alternative di risposta sono ambigue o presentano termini sconosciuti agli intervistati. La domanda non motiva gli intervistati a rispondere con precisione né con sincerità.

L’INTERVISTA COGNITIVA

COS’È L’INTERVISTA COGNITIVA? Intervista del tutto o parzialmente standardizzata finalizzata a ricostruire i processi di pensiero degli intervistati quando rispondono alle domande di un questionario. L’intervistatore somministra il questionario e rileva anche informazioni verbali utili a valutare la qualità delle risposte e determinare se le domande generano informazioni coerenti con le intenzioni del ricercatore (Beatty 2003). Serve per studiare come gli intervistati comprendono le domande, rievocano dalla memoria le informazioni, le combinano in un giudizio e scelgono una risposta e, in particolare, per controllare eventuali problemi in questo processo di risposta (Willis 2005).

OBIETTIVI DELL’INTERVISTA COGNITIVA Indagare come gli intervistati rispondono alle domande e se incontrano qualche difficoltà in una o più fasi del processo di risposta. Esplorare il processo di risposta per controllare i fattori di distorsione che non sono ispezionabili in sede di somministrazione del questionario. Si possono in questo modo ottenere indicazioni su quali domande devono essere corrette, perché non funzionano come atteso, e su come riformularle.

STRATEGIE PROCEDURALI L’intervista cognitiva può essere condotta con: Think-aloud: l’intervistato viene invitato a verbalizzare spontaneamente i suoi pensieri come se stesse parlando a se stesso. Verbal probing: l’intervistatore pone domande per approfondire le risposte degli intervistati e ricostruire i processi cognitivi attraverso cui hanno risposto alle domande del questionario. Nel corso di un’intervista cognitiva si possono usare entrambe le strategie per controllare come funziona una stessa domanda o domande diverse dello stesso questionario.

DESCRIZIONE DEL THINK-ALOUD L’intervistatore da all’intervistato istruzioni su come condurre il compito e lo fa esercitare con alcune domande di prova; quando l’intervistato dimostra di avere compreso cosa fare, gli viene somministrata la domanda del questionario, con l’invito a rispondere esprimendo ad alta voce tutti i suoi pensieri. Il ruolo dell’intervistatore è minimo: si limita a ascoltare il flusso verbale dell’intervistato e deve intervenire solo per ricordare di pensare ad alta voce a coloro che restano in silenzio.

THINK-ALOUD: ESEMPIO I: Ora ti leggerò una domanda e ti chiederò di pensare ad alta voce mentre rispondi. Vorrei che mi dicessi tutto ciò che ti viene in mente nel pensare alla risposta. Per farti comprendere cosa intendo, prova a rispondere a questa domanda: “Quante finestre ci sono nella casa in cui abiti? ” [l’intervistato esegue il compito] I: Passiamo ora alla domanda del questionario. Ricorda di pensare ad alta voce mentre rispondi. “Quante volte hai parlato con un medico negli ultimi 12 mesi? ”

THINK-ALOUD: ESEMPIO R: Dipende da cosa intendi con «parlare» . Parlo con il mio vicino, che è dottore, ma forse non ti riferisci a questo. Vado dal mio dottore circa una volta l’anno per un check-up, e ciò lo considero. Sono stato forse da qualche specialista un paio di volte l’anno scorso, una volta per un dolore al ginocchio e ho anche visto un otorino laringoiatra per una tosse cronica. Sono abbastanza sicuro che sia stato lo scorso anno ma non posso giurarci […] Ho anche visto un chiropratico, ma non so se è un medico nel senso che intendi.

THINK-ALOUD: ESEMPIO L’intervistato ha difficoltà di comprensione della domanda. Non riesce a comprendere il suo intento e ha difficoltà a capire quali figure professionali debba includere nella categoria «dottore» . L’intervistato ha difficoltà in fase di giudizio, e in particolare nella datazione degli eventi. È incerto se gli eventi rievocati ricadano o meno nel periodo di riferimento specificato dalla domanda.

LE CRITICHE AL THINK-ALOUD I resoconti dei processi cognitivi sono infedeli. Le persone non possono riferire fedelmente i loro processi di pensiero semplicemente perché non hanno capacità introspettiva (ossia non hanno possibilità di accedere ai loro processi cognitivi e pertanto non possono verbalizzarli). Il think-aloud è reattivo. Pensare ad alta voce è un compito che obbliga le persone a riflettere sui loro processi di pensiero più di quanto farebbero altrimenti. Il think-aloud altera dunque la loro naturale performance di esecuzione del compito, migliorando o peggiorando le loro prestazioni.

VERBAL PROBING Il verbal probing consiste nel somministrare domande di approfondimento per ricostruire i processi cognitivi degli intervistati nell’atto di rispondere alle domande del questionario. L’intervistatore non si limita al ruolo passivo di ascoltatore del resoconto verbale dell’intervistato ma assume un ruolo attivo: indirizza l’interazione e approfondisce i problemi che emergono nel corso dell’intervista.

CLASSIFICAZIONI DEL VERBAL PROBING simultanei vs retrospettivi (subito dopo la risposta o al termine di tutta l’intervista) generali vs specifici (richiesta generica di approfondimento della risposta o richiesta focalizzata su un aspetto della domanda) standardizzati vs non standardizzati (ideati dal ricercatore prima dell’intervista e inseriti nella traccia o pensati dall’intervistatore nel corso dell’intervista cognitiva) proattivi vs reattivi (somministrati sempre, anche quando l’intervistato non manifesta problemi con la domanda, o solo quando l’intervistato dice o fa qualcosa che può segnalare un problema con la domanda).

PROGETTARE UN PRETEST COGNITIVO Come scegliere gli intervistati Quante interviste cognitive fare Come selezionare e formare gli intervistatori Con quale modalità somministrare le interviste Come organizzare il materiale empirico raccolto Come analizzare i risultati

COME SCEGLIERE GLI INTERVISTATI Disegni di campionamento non probabilistico; in particolare, campionamento per quote (consente di diversificare gli intervistati in base a proprietà come: sesso, età, livello di istruzione, etc. ) Titolo studio alto Titolo studio basso Maschio 18 -30 2 1 Maschio 31 -60 2 2 Maschio over 60 1 0 Femmina 18 -30 0 3 Femmina 31 -60 2 2 Femmina over 60 1 1

COME SELEZIONARE GLI INTERVISTATORI Intervistatori che hanno esperienza nella progettazione dei questionari, conoscono le strategie dell’intervista cognitiva, hanno una buona formazione metodologica e hanno esperienza nella conduzione di interviste cognitive. Le interviste cognitive non standardizzate richiedono intervistatori esperti e sensibili ai problemi degli intervistati mentre quelle parzialmente standardizzate possono essere condotte anche da intervistatori con minori competenze metodologiche e tecniche.

CON QUALE MODALITÀ FARE LE INTERVISTE Faccia a faccia, al telefono o auto-compilate. Le prime sessioni dovrebbero essere condotte faccia a faccia. L’obiettivo è trovare tutti quei problemi del questionario che sono indipendenti dalla modalità con cui viene somministrato. Le successive sessioni dovrebbero essere condotte nello stesso modo previsto per la rilevazione sul campo. L’obiettivo è controllare tutti i problemi posti dalla modalità di somministrazione (es. nel caso di rilevazione telefonica: il questionario è troppo lungo? Le alternative di risposta sono troppe? Il compito richiesto è troppo oneroso in assenza di cartellini? ).

COME ORGANIZZARE IL MATERIALE EMPIRICO Le interviste dovrebbero essere registrate e trascritte integralmente (perlomeno andrebbero trascritte le parti cognitive). Le trascrizioni possono essere lette orizzontalmente (leggiamo, domanda per domanda, le risposte ai probes o i resoconti verbali di tutti i nostri intervistati) o verticalmente (leggiamo, intervistato per intervistato, tutte le risposte ai probes o tutti i resoconti verbali prodotti in risposta alle nostre richieste di pensare ad alta voce).

COME ANALIZZARE IL MATERIALE EMPIRICO È utile sottoporre le trascrizioni delle interviste cognitive ad analisi ermeneutica, anche mediante software di analisi qualitativa come Atlas. ti o NVivo. Il testo, ossia la risposta di un intervistato a un probe oppure il resoconto spontaneo dei suoi processi di pensiero, deve essere scomposto in segmenti autonomi di significato. In ciascun segmento cerchiamo indizi dei problemi dell’intervistato con quella domanda. Se un segmento di testo indica un problema, dobbiamo cercare di capirne la causa e cioè cogliere gli aspetti della domanda che potrebbero averlo generato. In questo modo capiremo quali modifiche apportare al testo della domanda per eliminare, o perlomeno attenuare, il problema.