Pragmatika vzkumu v humanitnch vdch Jan irek IVDMR

Pragmatika výzkumu v humanitních vědách Jan Širůček IVDMR & KP FSS MU

Co číst? � Téměř libovolné „handbooks“ vydané renomovanými nakladatelstvími. � APA (2002). Publication manual of the American Psychological Association. 6 th ed. Washington: APA. � � závazná pro citační aparát a pro prezentaci kvantitativních výsledků Urbánek, T. (2007). K prezentaci výsledků statistických analýz - 1. část. Československá psychologie, 51, 6, 601 -609. ; 2. část. Československá psychologie, 52, 1, 70 -79. � též velmi vhodné pro prezentaci kvantitativních výsledků � Kvalitní učebnice metodologie obsahují kapitoly o prezentaci výsledků. Nekvalitní bohužel často také. � Co nečíst? Lokální (=české) produkty, skripta recyklovaná od roku 1985, atd. To, že dané texty vydal Portál, Grada, Academia a spol. nemusí nic znamenat.

Od výzkumného problému k smysluplnému výsledku � Role výzkumného designu (plánu): � strategie řešení problému -> výzkumný projekt � v případě kvantitativních výzkumů musí téměř vždy existovat relativně konkrétní výzkumný plán před započetím empirického stadia � Tedy výzkumný plán � sjednocuje potřeby výzkumného problému s možnostmi empirického řešení � stanovuje sekvenci kroků, které k řešení vedou (či alespoň mohou vést) � svým zakořeněním v teorii umožňuje adekvátní intepretaci výsledku

Plánování výzkumu (už zase) problematick á teorie => výzkumný problém (teď zrovna) smysluplná teorie konkrétní výzkumné otázky a z nich vyplývající hypotézy designu adekvátní interpretace konkrétní empirické řešení => design � Dodržení návazností je pro kvatitativní výzkum vitální – jednotlivá stadia implikují volby v dalších krocích � Obvykle je zcela nemožné měnit design během výzkumu � Nedodržení nebo chyba plánu v jediném bodě může způsobit naprosté selhání výzkumu

Vztah výzkumného problému, výzkumné otázky a hypotéz Výzkumný problém Výzkumná otázka a hypotézy � Vyplývá ze stavu teorie v � VO: Specifikace VP na určitých podmínkách � důsledek pnutí mezi teorií a (např. časem změněnou) každodenní realitou jevovou úroveň � � Provázaností se stavem, podobou teorie implikuje paradigma (pojmový systém), v němž bude přetvořen do výzkumných otázek � je udržitelná současná představa o struktuře inteligence? jaká je struktura inteligence? tedy, jaké dimenze inteligence má smysl diagnostikovat např. ve vztahu ke škole? � H: Specifikace VO na jedno, či sérii ověřitelných tvrzení (či gramatických otázek; na formě nezáleží) lze diferencovat verbální a neverbální faktor inteligence? � existuje jediný faktor IQ? �

Výsledek řešení sekvence problém -> otázka -> hypotézy � Pojmový aparát (paradigma) � Teoretické konstrukty, použitelné k odvození metod vhodných pro empirické řešení potřebuji změřit spíš interpersonální závislost nebo styl citové vazby? � záleží spíš inteligenci nebo školní znalosti/dovednosti? � � Statistické hypotézy (nejen věcná a nulová ) implikující vlastní výzkumný design potřebuji porovnat skupiny respondentů nebo zjistit vztahy mezi jevy? � jde o kauzalitu, nebo projev souvisejících charakteristik? � � Selhání v řešení sekvence způsobí: � odvození nesmyslného designu, volbu absurdních metod, vznik bezcenných � Snaha o přeskočení stupně v sekvenci způsobí: � objev kokosového ořechu (dojde k užití ad hoc metod a analýze banálních dat)

Hledání empirického řešení - metody Užití metod vyplývá často spíše z otázky, než hypotéz � Metody v širším smyslu � � Metody v užším smyslu � � � psychodiagnostické metody úzké provázání s teorií, problematická přenositelnost mimo původní rámec, problematika zaškolení a autorských práv Bez ohledu na předchozí jsou kritické požadavky na validitu a reliabilitu � � pozorování, rozhovor, ankety, dotazníky, testy, analýza artefaktu kvantifikovatelné nebo kvantitativně zpracovatelné jsou produkty/data téměř jakkékoliv metody, jsou-li získány v adekvátním plánu/designu validita: konstruktová, diferenciální, dimenzionální, obsahová (přinejmenším) a indikace vůči vzorku a problému (vždy) reliabilita dle teoretických vlastností měřeného konstruktu metody postrádající jedno či obojí produkují náhodná nebo (hůře) systematicky chybná data Metody implikují měřené proměnné. Garbage in, garbage out.

Hledání empirického řešení – vzorek � Požadavky na vzorek vyplývají z výzkumné otázky a designu � zohledňujeme přitom možnosti (indikaci) metod k dispozici � Náhodné nebo záměrné výběry? a jak se to vlastně má k reprezentativnosti? � a kolik jich vlastně má být? (očekáváná síla efektu) � � Experimentální designy: � náhodné výběry, konstrastní skupiny, intra-subject vs. intersubject, single case � Korelační designy: � reprezenativní a záměrné výběry, kohortové a cross-sectional výběry, drop-out � Zvláštní designy – jen při jasném způsobu analýzy!

Dodržení disciplíny sběru dat umožňuje intepretaci. . . �. . . a bez intepretace je kvanti výzkum bezcenný. Kdo stojí jen o čísla? � Smysluplná interpretace je možná pouze tehdy, dodrželi jsme-li návaznost teorie – empirie, neopustili sekvenci � neselhalo-li měření � zvládli jsme-li analýzu � chápeme-li jasně souvislost mezi změřenými jevy, jejich tabelovaným popisem (daty), výsledky jejich analýzy a původní teorií � � K smysluplné intepretaci patří i reflexe slabin výzkumu � Dobrá zpráva o výzkumu není success story, ale upřímný odborný text. Bez ohledu na to, zda je kvali-, nebo kvanti-.

K problému měření v humanitních vědách* � Měření je proces, jehož předmětem jsou určité atributy určitých předmětů. Měření je smysluplné pouze � může-li být jednoznačné � � je-li systematické, reprodukovatelné… tedy i popsatelné � � � vzpomeňme operacionální definici proměnné… z definice procesu měření vyplývá reprodukovatelnost operacionální definice proměnné je též jednou z potřebných záruk vztahu mezi měřeným (objekty) a uvažovaným (proměnné) lze-li odhadnout jeho spolehlivost… proč? !? � � � předmět náleží právě do jedné třídy v dané vlastnosti; třídy jsou tedy disjunktní empirické měření nikdy přímé – vždy se děje pomocí nějakého nástroje (škála, oko, člověk, přístroj…) nepřímost měření implikuje chyby měření. A proto se Classical Test Theory zabývá vztahem … celkový (měřením získaný) rozptyl, rozptyl true-score, chybový rozptyl � a nebo na úrovni individuálních skórů vztahem … naměřené skóre, true-score, chyba – pro dané pozorování � CTT se tedy zabývá vztahy mezi měřenými hodnotami, chybou měření a skutečnými hodnotami. 10 * Půlpán, 2000.

Zdroje chyby měření � Nástroj měření � � Pozorovatel � � � Měřená charakteristika „brání měření“: - tím, že je změřena, se změní (měření polohy elementární částice – Werner Heisenberg: „Relace neurčitosti“); co v psychologii? Měření objektu ovlivní (nejen právě měřené) charakteristiky objektu; obtruzivní měření má i závažné etické důsledky Měřená veličina � � Situace a čas (a „milieu“ a „epocha“*): Význam stimulu může být dán kontextem … milieu = kultura, epocha = dějinné období; occasion a state složka rysu… krátkodobý aspekt; v tomto okamžiku a podmínkách se cítím právě tak Měřený objekt � � Přesnost: kompetence – percepční schopnosti, znalosti, zaškolení: reakční čas u stopek, nedostatečné pochopení klasifikačních kriterií v případě kvalitativního výzkumu Objektivita: názorová nezaujatost (deklarovaná i cenzurovaná), predispozice znalostmi, kulturou, výchovou: Odhad úrovně schopnosti, intelektu či morality u osoby z „nepřátelského“ etnika Okolnosti měření � � Zvolený nástroj neměří přesně – není vybaven odpovídající škálou, je“hrubý“: Měření rozměrů podlahy pravítkem; záměna nástroje pro patologickou populaci nástrojem pro normu a naopak nevhodně zvolená latentní proměnná/konstrukt; resp. latentní proměnná o nízké konstruktové validitě. Nesmysl není možné změřit dobře; nanejvýše je možné místo něj změřit něco jiného. „Blbec může říct pravdu jen z nesprávných důvodů. “** Měření samo o sobě (jako proces daný výzkumníkem) � 11 Zvolený nástroj neodpovídá měřené veličině – chyba operacionalizace: Např. odhad intelektu pomocí hodnocení školního výkonu. *Jerome Kagan, kdovíkde; **Umberto Eco, Foucaltovo kyvadlo

Odhad a kontrola chyb měření – – pracovní rámec CTT � Chyby vztažené k nástroji – validita a reliabilita � � validita – shoda zaměření nástroje a účelu; obsahová, kriteriální, faktorová, prediktivní, empirická, ekologická… reliabilita – relativní nepřítomnost chyby měření; stabilita v čase, konzistence, shoda paralelních forem � � dané aspekty lze empiricky kontrolovat; testovat Chyby vztažené k pozorovateli – zejména objektivita � vztahují se obvykle ke konkrétnímu (profesionálnímu) výkonu v diagnostické situaci; současně zdrojem možného zneužití nástroje; obtížně testovatelné nerespektování podmínek pro administraci, „nespravedlnost“, interakční prvky atd. � -> mají charakter intervenujících proměnných � řeší se formálním požadavkem na standardizaci � testovat lze konzistenci posuzovatelů atd. ; obtížná zobecnitelnost pro rutinní práci � � Chyby vztažené k teorii – konstruktová validita � shoda nástroje a teoretického interpretačního rámce � � rozšíření obsahové validity o kontext modelu či teorie; shoda empirických charakteristik dat s předpoklady teorie Chyby interpretační – normalizace, standardizace � � � 12 Navazuje na výše uvedené; týká se výlučně práce s výsledky měření Irelevantní kontext, neznalost, „klinický vhled“, přeceňování osobní zkušenosti atd. Toto ošetřují postupy vážení skórů => normy a intepretační postupy

Položky, proměnné, skóry � Položka (stimul) je operacionalizací proměnné � � � 13 je manifestní, exogenní je výsledkem jednání respondenta její vztah k latentní proměnné je pouze částečný, je zatížena Hrubý skór (raw score) � položka je operacionalizací/manifestací latentní proměnné, konstruktu soubor položek k měření (latentní) proměnné je reprezentativním výběrem všech možných položek (v ideálním případě )… z tzv. banky položek Odpověď na položku (response) � � � Obvykle suma (správných) odpovědí ve škále Předpoklad stejné váhy všech položek/odpovědí � � � 20 položek ano/ne… respondent 4 ví, 2 „ví“ chybně, 14 tipuje… jaké bude nejpravděpodobnější hrubé skore? A jaké je pravé skore? Hrubé skore je zatíženo chybou měření Pravý skór (true score) je HS oproštěný od chyby měření… � Na individuální úrovni nelze chybu měření určit!

Plný strukturní model – schéma základních pojmů CTT

Teoretická definice reliability �

Test-retestová reliabilita - Stabilita v čase � Metody: � � � samotný rys musí být stabilní v čase možnost dvojího měření v O 1 přiměřeném odstupu Tedy nemožné u nástrojů diagnostiky aktuálního psychického stavu Problém: reálná fluktuace rysu v čase je považována za chybu testu � � T Podmínky: � � korelace dvou měření (rankorder stability) párové srovnání středních hodnot (mean stability) Mohou existovat dokonale stabilní rysy? Stabilita rysu (korelace TS) vs. stabilita metody (korelace HS) 16 S 1 rs 12 S 2 O 2 rs 23. . . rs. n Sn On X 1 X 2 Xn e 1 e 2 en

Reliabilita paralelních forem Možnost, jak se „vyhnout“ opakování administrace stejných položek � X testů, které měří konstrukt stejným způsobem – položky jsou vybrány ze stejné domény � Mohou existovat různé stupně ekvivalence � � � Alternativní (pouze podobné) Srovnatelné (srovnatelné konečné skóry) Ekvivalentní (zajištěny stejné průměry HS a sm. odch, totožné korelace s jinými nástroji) (Striktně) paralelní – jako ideál výběru položek z domény; stejná vnitřní struktura Metody: � � � položková analýza – průměry, rozptyly, neparametrické ekvivalenty korelace položek a forem vyrovnávání (např. bonifikace v IST) Značná technická náročnost, není to však neřešitelné � Problém: co když je málo manifestací? � V praxi se reliabilita paralelních forem užívá pouze u metod s efektem zácviku � 17

Reliabilita jako vnitřní konsistence � � � Všechny položky navzájem by měly pěkně korelovat… potom jsou konzistentní a měří totéž. Tedy – položky měří totéž, jestliže mají společným rozptyl Cronbachův koeficient alfa: � � � Psychometrický paradox: � � � K je počet položek, si je rozptyl i-té položky, st je rozptyl sumy položek čím nižší je suma rozptylů položek oproti rozptylu sumy položek, tím lépe test měří… Čím více spolu položky korelují, tím „ostřeji“ se zaměřují na specifický rys. Měříme stále přesněji stále méně – ztráta validity. Někdy i jako cílená aktivita; de facto je to podvod (synonymní položky) Stejně tak nemá smysl ospravedlňovat nízkou reliabilitu vyšší validitou – ta z ní nevyplývá, ba naopak. Pro dichotomické pol. Kuder. Richardson KR 20 18

Požadavky na reliabilitu � Helmstadter: � 0, 5 pro hodnocení výkonu skupiny � 0, 9 pro hodnocení rozdílů skupiny u dvou a více výkonů � 0, 94 pro hodnocení individuálního výkonu � 0, 98 pro hodnocení rozdílů dvou a více individuálních výkonů � Podceňováno : -/ � Je zřejmé, že nelze požadovat vždy všechny důkazy o reliabilitě � Možnost výpočtu směrodatné chyby: 19 � Sx je směrodatná odchylka provedených měření � Se je směrodatná chyba; po vynásobení příslušnými kvantily normálního rozložení určuje interval spolehlivosti měření � platí však jen tehdy, lze-li měřit opakovaně

chyba měření v praxi � Libovolný test, 95% interval spolehlivosti, +-chyba v měřítku IQ při dané reliabilitě… r se chyba 0, 5 0, 6 0, 75 0, 85 0, 94 10, 61 9, 49 8, 22 7, 50 6, 71 5, 81 4, 74 3, 67 20, 79 18, 59 16, 10 14, 70 13, 15 11, 39 9, 30 7, 20

Validita I � � � Validita = shoda mezi nástrojem a měřeným rysem; obsahová charakteristika „Validita“ (obdobně jako reliabilita) je pouze souhrnným pojmem pro velkou skupinu různých zdrojů „důkazů o validitě“ Nástroj je v nějakém ohledu reliabilní -> tedy něco měří. (Protože je konzistentní, stabilní, . . . ) Ale co? � � � E. G. Boring „Inteligence je to, co měří test inteligence. “ Reliabilita sama nezajišťuje validitu, je pro ni však nezbytná. Aspekty validity (zdroje důkazů): � Obsahová: shoda mezi metodou a účelem metody (v teoretické rovině) � � face validity, sample validity, factor validity Emipirická: shoda mezi testovým skórem (výsledkem) a vnějším kriteriem � predictive, concurrent, incremental, differencial � Je shoda mezi výsledkem měření a „realitou“? Nebo alespoň mezi metodami? � Je tedy měření informačně hodnotné? � � Kostruktová: shoda metody (dimenzí metody) s teorií Reliabilita je pohled do metody, validita je pohled ven z metody. 21

Důkazy obsahové validity I � Face validity: zjevná vs. zdánlivá � � Test měří právě to, co je v něm na první pohled vidět, pozná to i laik… Na první pohled se zdá, že test měří. . . , ale měří. . . � � � Je běžné užívat zejména WAIS (v. ) jako projektivní metodu u psychiatrických pacientů Jakýkoliv výkonnostní test může posloužit při troše snahy jako test zvládání stresové situace, úzkosti Tedy: využití existence více zdrojů systematického rozptylu v položkách � Současně ovšem problém systematického zkreslení � � Social desirability Faktor „hodnocení“ (viz Osgood, sémantický diferenciál) je přítomný téměř ve všech posuzovacích škálách jako „g“ U výkonnostních metod je to přítomnost např. časového omezení (zavádí faktor rychlosti), percepční charakteristiky atd. z metodologického hlediska se jedná o intervenující proměnnou. Užití testu k jinému účelu, než jeho autor zamýšlel, se považuje za porušení autorských práv.

Důkazy obsahové validity II � Sample validity (výběrová. . . ) � � Vlastní obsahová validita Dána reprezentativností výběru položek z domény � � Expertní posouzení atd. ; konzistence posuzovatelů: koeficient konkordace (Place de la Concorde = Náměstí Svornosti) Soulad s teorií danými pojmy v plné šíři Současně princip reliability v některých kvalitativních paradigmatech Faktorová validita � � (Historický) přechod k vícerozměrnému pojetí. . . Inteligence, Sperman vs. Thurstone Odpovídá (korelační/faktorová) struktura skórů získaných na populaci teoretickým předpokladům? � � 23 Problém reifikace (latentní proměnné jsou jen myšlené, odvozené. . . Stejně tak IQ je odvozené. . . Inteligence/temperament/. . . jsou tedy pouze shrnujícími výpověďmi, ne reálně existujícími charakteristikami ve smyslu např. fyzikálních rozměrů Tautologický postup; resp. artefakt metody – na populaci získám skory nějakou metodou a z jejich struktury odvozuji teorii. Opačným postupem je ověřena platnost. TEORIE NESMÍ BÝT NIKDY ZÁVISLÁ NA METODĚ.

Důkazy empirické (kriteriální) validity � Odpovídá zjištění z vyšetření metodou externímu kritériu? � � � Např. Inteligence známky, MMPI, ROR Psychiatrická diagnosa dle MKN Metody: Korelace, t-test/neparametrický ekvivalent, shoda klasifikací v kontingenční tabulce (Chi 2 + analýza residuálních hodnot)… Požadavky: � � � Prediktivní validita � � Věrohodnost kritéria (hodnotnější je vždy kriterium získané z jiného typu zdroje) adekvátnost souboru (podmínkou je dostatečná variabilita zkoumaného rysu v souboru a shoda souboru s aplikační skupinou metody) Vztažena vůči kriteriu v budoucnosti (r, rank-order) Souběžná, paralelní validita (concurrent) � Shoda s kriteriem v daném momentu (r, rank-order) => PV i SV trpí problémy analogickými se stabilitou v čase; poněkud simplexní. Požadavek na prediktivní validitu má spíše historické důvody (jedním z cílů vývojové psychologie je predikce) � Nereliabilní metody nemohou vykazovat empirickou validitu � 24

Inkremetální a diferenciální validita � Inkrementální validita: „přidaná hodnota metody“ � � Mějme dva testy a kritérium … T 1, T 2 a K Parciální korelace. . . Korelace A-C „očištěná“ od společného rozptylu A-B a B-C Tedy: Kolik další informace přidává o kritériu test T 2, poté co jsme již měřili testem T 1? => platí de facto i pro položky v konceptu vnitřní konzistence: nemají-li vůči sobě položky inkremetální validitu, jsou (až na jednu) zbytečné, neb nic nového nenaměří. K T 2 � Diferenciální validita � � � 25 T 1 Schopnost metody diferencovat (srov. diferenciální diagnosa) rys od jemu „podobných“. Tedy požadavkem je naopak nízká korelace s negativně vymezeným kriteriem Je zřejmé, že se jedná o pouze doplňkový zdroj, užitečný jen ve speciálních případech. Je však vhodné prověřovat diferenciální validitu v jakémkoliv designu s více prediktory – jev multikolinearity zcela znehodnocuje platnost vícerozměrných (lineárních) analýz.

Proč konstruktová validita � Nic nového � Cronbach & Meehl začátkem padesátých let � Postupy prokazující empirickou validitu jsou zakotveny pouze metodově. . . „pure empirism“ � Metody jsou však z teorií pouze odvozeny a jsou zatíženy nepřesnostmi (viz. teorém CTT, GT…) � Tyto nepřesnosti se dále násobí � Mějme test A korelující s kritériem X 0, 7. Uspokojivé? � Mějme test B ověřený pouze korelací s „kriteriálním“ testem A, a to 0, 7. Uspokojivé? � Navíc, ověřování validity klasickými empirickými postupy (kriteriální, obsahová, prediktivní, paralelní) postrádá komplexitu. Nevztahuje se k teorii, pouze k metodě. � Tedy nutnost vyvinout postup komplexního testování souladu metody s teorií jako celkem. 26

Jak na konstruktovou validitu � Předpokládejme, že metoda skutečně měří distinktní rysy A B C. � � Co je známo z dosavadní (prověřené) „teorie“ o oněch rysech? � � BF: extraverze, neuroticismus, přívětivost, svědomitost, otevřenost vůči zkušenosti BF: že jsou platné v euroamerickém prostoru, že dimenze jsou víceméně nezávislé, že existuje shoda mezi self-report a informant-report, že jsou do jisté míry stabilní. Formulujeme hypotézy vyplývající z výše uvedeného a testujeme je s užitím metody, jejíž KV nás zajímá. � � Musí platit na všech příslušných národních vzorcích. Korelace dimenzí (mezi sebou) musí být redundantní � � MTMM (Multi-Trait Multi Method; Campbell a Fiske, konec 50 ties): � � (jsou-li, nemusíme už se zabývat ani diferenciální ani inkrementální validitou) Korelace stejných dimenzí s-r a i-r musí být průkazné a věcně významné. Ostatní korelace v MTMM Matrix musí být redundantní. Musí být průkazná stabilita v čase. Jsou-li hypotézy vyvráceny. . . � � 27 Test neměří daný konstrukt Teoretické předpoklady jsou #&@{ (nebo se ----- něco jiného)

Konstrukce testové/dotazníkové metody � Metoda musí naplňovat požadavky reliability a validity � Tvorba metody je postup navrhování položek tak, aby byly (předpokládaně) validní a ve škále reliabilní, a testování těchto předpokladů. � Konstrukce metody Analýza položek � Teorie faset (původně Guttman, poté Shye & al. ) � Základem dekompozice univerza určité teorie � Mapping definitions – zobrazující definice � Série definic obsahu nějakého chování podle tendence, příležitosti a odpovědi… (O – (T <=> S) – R) � Zdeněk Pohlreich se setkává s výzvou (O) v podobě zablešené restaurace, reaguje dle své role (T, S) a strašlivě do… personál (R).

Dekompozice obsahového univerza: fasety modelového zadání – studijní styl � Zadání: � � popsat převládající studijní styl � Situace: � Typy výkonových situací Zkouška � Seminárka � Průběžné studium � � Čas: dlouhodobost/krátkodobost � před – v průběhu – po Složka postoje: � Kognitivní � Afektivní � Behaviorální � � Chování � Odklon � Ruminace � Prokrastinace � Řešení úkolu � Perseverace… Afektivní � Útlum / agitace � Konkrétní emoce… � Kognitivní � Dispozice � Realizace � Znalost � Rychlost… � � A tak dále… 3 x 5 x 3(x 5 x 2 x 4. . )

Dekompozice obsahového univerza II: � Vznikne tedy pomyslná matice 3 x 5 x 3(x 5 x 2 x 4. . ) kombinací, jak formulovat položky na tentýž obecný konstrukt… � Odtud pojem „multifasetový konstrukt“ � Při přípravě na zkoušku se zaměřuji na především na získání obecné orientace v látce � Před zkouškou trpím silnými pocity úzkosti � Během zkoušení mívám problémy s vybavováním � Po zkoušce se obvykle odreaguji ve společnosti Položka je tedy tvořena vždy výběrem příslušné kombinace faset, s tím, že některé mohou být „nepoužity“ � Fasety jsou více či méně univerzální – např. složky postoje jsou pro psychologii obecné, ale další fasety závisí na konkrétní teorii, jsou z teorie odvozené. �

Psaní položek – typy položek � Obecně: � Item stem = podnět = jádro položky = stimul � Response = odpověď = kvantifikace = …kde co. � Jedna položka může implikovat více odpovědí. � Vztah mezi odpovědí a skórem nemusí být přímý � Vážené odpovědi, interpretované odpovědi. . ROR, TAT, MMPI � Odpověď na položku není totožná se skórem položky!

Typy položek II: � Z hlediska úrovně měření: � Nominální – ordinální – „intervalové“ – poměrové � Z hlediska typů metody: Testy schopností � Osobnostní dotazníky � Silové, rychlostí vs. kapacitní testy � Výkonové vs. introspektivní � Objektivní testy � Projektivní testy � V principu: existuje „správná“ či „diagnostická“ odpověď? � � Formát odpovědi: Implikuje použité statistiky: � Položky s volnou kvantifikací (čas, x-bodové škály) lze obvykle zpracovat pod CTT s předpokladem normálního rozdělení. � Položky se „správnou“, „diagnostickou“ odpovědí je nutno v konečném zpracování brát jako dichotomické. � Dichotomizace (byť sekundární) omezuje variabilitu – rozlišovací účinnost! �

Typy položek III: formát odpovědi � Doplňování odpovědi � � Vícenásobná volba � � Výběr z více než 3 variant s 1 správnou odpovědí a x distraktory Dichotomická položka � � 7+2=…; Co mají společného obraz a socha? ; Za dvacet let budu… Výběr 2 variant Mnohonásobná volba � Vlastně série dichotomií… Spojování (párování) � „uspořádané kategorie“ resp. „stejně se jevící intervaly“ � � � Nucená volba � � Jste spíše tolerantní, nebo náročný? Řazení � � Nikdy – zřídka – občas - často – vždy Seřaďte výroky podle výstižnosti: Jsem energický… nezávislý … důvěřivý… Neuspořádané kategorie (vícenásobná volba bez kriteriální odpovědi)

Skór položky a skór testu � Hrubé skore se typicky vytváří jako suma odpovědí Diagnostických/správných � Všech u volných škál � � Odpovědi mohou být vážené: V kvantifikátoru (různým kvantifikátorům dle závažnosti podnětu odpovídají různé hodnoty) � Ve skore položky (kvantifikátory jsou vždy stejné, ale jsou jim dle závažnosti položky přisuzovány různé hodnoty) � � Ukazatelem účinnosti položky jsou Vztah ke kriteriu � Korelace se zbytkem škály � Popularita resp. obtížnost položky (srov. Guttmanovy škály) nebo � Rozpětí, rozptyl, střední hodnota – prostě rozdělení odpovědí �

Problém nástroje měření: úroveň měření � Měření je proces… kdy jsou charakteristikám přiřazovány hodnoty. Z povahy nástroje měření a měřeného vyplývá úroveň měření. � � Tradiční v humanitních vědách: nominální – pořadová – intervalová – poměrová. Smysluplnější alternativa*: � Nominální úroveň („nominal“) � � alternativní (znak přítomen/nepřítomen) kategorická (odlišné kvality) � A | B | C | D | …k ekvivalence? (nejen) Úroveň měření implikuje možnosti práce s daty: � � � 1 < 2 < 3 < k uspořádání? � � � smysluplná je i vzdálenost dvou bodů Intervalová � b – a = c – b … reálná čísla Kardinální (poměrová) 0 znamená nepřítomnost charakteristiky Pouze kladné Lze i násobit � � � *Půlpán, 2000 „čísla“ označují pouze pořadí; nebo shodná pořadí ntily, medián, modus… => neparametrické metody; „robustní“, „distribution free“ Korelace: Spearman, Kendall Vážná omezení v SEM Metrické � � 35 četnosti kategorií, očekávané četnosti, kontingence… Ordinální � Metrická úroveň („scale“) � Nominální: � Pořadová = ordinální úroveň („ordinal“) � � � záleží na rozdělení… je normální ? střední hodnoty a rozptyl/odchylka (ne)parametrické metody Při normálním rozložení ideál CTT