SALSA Studie naar Achtergronden van Lees en Schrijfontwikkeling

SALSA Studie naar Achtergronden van Lees- en Schrijfontwikkeling bij Adolescenten Tekstbegrip van vmbo-leerlingen Identificatie van deelvaardigheden en impact van taakeffecten

Project SALSA Onderwijscontext Buitenschoolse context De Milliano Van Kruistum Lees-/schrijfontwikkeling Van Steensel Individuele attributen Trapman 2

Achtergrond 3

Achtergrond 4

Achtergrond 5

Achtergrond 6

Achtergrond 7

Achtergrond SALT (SAlsa Literacy Test) 8

Achtergrond Validiteit van een (taal)toets (Bachman, 2002): • Construct-based: voldoende dekking van relevante aspecten van het construct. • Task-based: voldoende dekking van taken die relevant zijn voor het constructdomein. 9

Aannamen: 1. Met een toets als de SALT kun je deelvaardigheden van leesbegrip meten. 2. De scores op de taken in de SALT geven tesamen een consistent beeld van het leesbegrip van leerlingen. 10

Deelvaardigheden leesbegrip Drie typen vaardigheden: 1. Retrieving: lokaliseren van relevante detailinformatie. 2. Interpreting: lokale inferenties maken (bijv. oorzaakgevolgrelaties). 3. Reflecting: globale inferenties maken (bijv. hoofdgedachte). Cerdán et al. (2009); Cummings (1982); Davis (1968); Goldman & Durán (1988); OECD (2003); Pearson & Johnson (1978); Rosenshine (1980); Song (2008) 11

Deelvaardigheden leesbegrip Eerder onderzoek: • Geen overtuigend bewijs voor de mogelijkheid met toetsen deelvaardigheden te identificeren. Cummings (1982); Meijer & Van Gelderen (2002); Song (2008); Spearitt (1972); Thorndike (1973 -74) • Maar: mogelijk wel onderscheidbaar bij zwakke lezers. Alderson (2000); Carr & Levy (1990); Cummings (1982) 12

Generaliseerbaarheid • Leestoetsen bestaan doorgaans uit meerdere taken: ‘across task generalizability’ wordt aangenomen. Bachman & Palmer (1996) • Maar: onderzoek naar schrijf- en spreekvaardigheid duidt op taakeffecten door variatie in onderwerp, genre, doel en publiek. Lee (2006); Sawaki (2007); Schoonen (2005); Xi (2007) • Datzelfde geldt zeer waarschijnlijk ook voor leestoetsen. Francis et al. (2005); Pearson & Hamm (2005); Lynch (2003) 13

Onderzoeksvragen 1. Kunnen de deelvaardigheden retrieving, interpreting en reflecting worden onderscheiden m. b. v. de SALT? 2. Hoe groot is de impact van taakeffecten op de betrouwbaarheid van de SALT? 14

Methode • Steekproef: 200 eerstejaars vmbo-leerlingen (basis/kader). • SALT: – 9 taken. – Verschillende media: (school)boeken, kranten/tijdschriften, ‘officiele documenten’, internet. – Verschillende genres: verhalend, informatief, instructief, argumentatief. – Verschillende formats: continu, discontinu. – Verschillende items: 21 retrieving, 26 interpreting, 18 reflecting. 15

Methode Analyses: • Identificatie deelvaardigheden: confirmatieve factoranalyse m. b. v. SEM (EQS 6. 1 for Windows, Bentler & Wu, 2002). • Identificatie taakeffecten: Generalizability (G) theory analysis: – G study: schatting van de grootte van de errorcomponent die is geassocieerd met taakeffecten. – D study: effect van variatie in het aantal taken op de betrouwbaarheid. 16

Resultaten: deelvaardigheden • 3 -factormodel (toets meet 3 deelvaardigheden) 17

Resultaten: deelvaardigheden • 3 -factormodel (toets meet 3 deelvaardigheden) vergeleken met 1 factormodel (toets meet 1 vaardigheid). 18

Resultaten: deelvaardigheden • 3 -factormodel (toets meet 3 deelvaardigheden) vergeleken met 1 factormodel (toets meet 1 vaardigheid). 3 -factormodel is geen significante verbetering t. o. v. 1 -factormodel (difference test = 0. 96, df=1, p>. 05) 19

Resultaten: taakeffecten • G-study: Bron Variantie % verklaard Leerling 0. 56 14 Taak 1. 63 42 Leerling x taak (x error) 1. 73 44 20

Resultaten: taakeffecten • G-study: Bron Variantie % verklaard Leerling 0. 56 14 Taak 1. 63 42 Leerling x taak (x error) 1. 73 44 Aanzienlijke taakeffecten! 21

Resultaten: taakeffecten D-study: 9 taken =. 75 22

Resultaten: taakeffecten D-study: 12 taken =. 80 23

Conclusies Vraag 1: deelvaardigheden konden niet worden vastgesteld: • Sluit aan bij cognitieve modellen van leesbegrip: lezers construeren 1 mentale representatie. • Tests als deze zijn niet geschikt voor diagnostisch gebruik o. g. v. deelvaardigheden. 24

Conclusies Vraag 2: er zijn aanzienlijke taakeffecten: • Taken kunnen niet goed naar elkaar worden gegeneraliseerd. • Er zijn veel taken nodig voor een voldoende betrouwbare toets. 25

Contact Roel van Steensel R. C. M. van. Steensel@uva. nl Kijk ook eens op: http: //salsa. socsci. uva. nl/ 26