Miten tutkia englannin sananmuodostusta vanhojen ja uusien tutkimusvlineiden

Miten tutkia englannin sananmuodostusta : vanhojen ja uusien tutkimusvälineiden vertailua Ari Huhta ja Katja Mäntylä ari. huhta@campus. jyu. fi, kmantyla@campus. jyu. fi

CEFLING Linguistic Basis of the Common European Framework for L 2 English and L 2 Finnish Ø Suomen Akatemian rahoittama tutkimusprojekti 20072009 Ø Jyväskylän yliopiston Kielten laitos ja Solki; osa eurooppalaista SLATE verkostoa (Second Language Acquisition and Testing in Europe) Ø Kotisivu: http: //www. jyu. fi/cefling

Tutkimuskysymykset Ø Miten arvioida sananmuodostustaitoja? Miten tutkimuksessa käytetyt kolme menetelmää toimivat? Ø Mikä on suomalaisen koululaisen englannin sananmuodostustaitojen ja kirjoitetun kielen osaamisen välinen suhde? Ø (Millainen on oppilaiden sananmuodostustietämys? ) Ø (Miten sananmuodostustaidot kehittyvät kielitaidon tasolta toiselle siirryttäessä? ) Ø (Onko äidinkielellä (SU/RU) merkitystä oppilaiden englannin sananmuodostuksen hallintaan? )

Sananmuodostus ja SLA Ø Aiemmat tutkimukset • Niukasti (esim. Mochizuki & Aizawa (2000) • Suhde sanaston laajuuteen (määrään) Ø Kohteena derivaatio, koska • Produktiivisin menetelmä englannissa • Oppilaat tuntevat ainakin implisiittisesti

Osallistujat Ø 7. lk • 162 teki sananmuodostustestin, heistä 87 teki myös kirjoitustehtävät • (seuraavaksi: 8. ja 9. lk) Ø Eri puolilta Suomea

Sananmuodostustesti 1 Ø Kaikkiaan 3 kirjallista testiä (pilotoinnin jälkeen muokattiin) Englanninkielisiä virkkeitä / virkepareja. • • Sanat valittu Waystage-sanaluettelosta Suomenkielinen käännös avainsanasta vihjeenä (produktiivinen aukkotesti): I am ____ (varma) that he will get the job in London. He will _____ (varmasti) get the job in London. sure - surely

Sananmuodostustesti 2 (lopullinen) Virkkeitä, joissa epäsana. Haluttu sana selitetty suomeksi. (epäsanatesti): • epäsanat Paul Mearan kehittämästä DIALANG testistä • esimerkki suomeksi (suomenkieliset oikeat sanat) Tehtävä: Hän oli hyvä rakentamaan taloja eli hän oli hyvä _____rakenta_____. (= henkilö joka tekee lihavoidun sanan ilmaisemaa toimintaa / työtä) Vastaus: Hän oli hyvä rakentamaan taloja eli hän oli hyvä _____rakenta ja. ---------------------------------------------She could bourble animals very well because she was a good ____ bourble____. (henkilö, joka tekee lihavoidun sanan kuvaamaa toimintaa/työtä)

Sananmuodostustesti 3 Lista etuliitteitä, joista osallistujien tuli valita sopiva liite virkkeessä olevaan aukkoon. (listavalintatesti) • sanat valittu prefiksien perusteella anti- il- mini- non- pro- de- ir- mis- poly- re- dis- inter- mono- post- trans- intra- neo- pre- un- im- mega- He did not follow the instructions. He had ___ understood them.

Kirjoitustehtävät Ø Sähköposti ystävälle Ø Sähköposti englannin opettajalle Ø Sähköposti verkkokauppaan Ø Mielipidekirjoitus Ø Tarina • Jokainen oppilas kirjoitti 3 -4 tekstiä • Jokaisen tekstin arvioi 4 arvioijaa • Arviointiasteikko oli yhdistelmä useista EVK kirjoitusasteikoista. Ne valittiin sen perusteella, miten hyvin ne sopivat näihin kirjoitustehtäviin.

Sananmuodostustehtävien arviointi Ø Kaksi arvioijaa Ø Pisteitys Produktiivinen aukkotesti : 0 -1 -2 -3 -4 Epäsanatesti ja listavalintatesti: 0 -1 -2 Ø Vastaajat olivat hyvin luovia: minigabl Ø Kirjoitusvirheistä ei rangaistu, elleivät ne muuttaneet merkitystä: unbelievubl, unbelievevabl, unbelievobl; understant, anderstand Ø (vrt. shore sure, deffreno different)

Sananmuodostustehtävien analysointi Ø Tia. Plus ohjelma (CITO, Hollanti) – klassinen osioanalyysi – normiviitteiset testit

Sananmuodostustestien ominaisuudet Osiot # Keskiarvo Keskihajonta Keskivirhe (%) Cronbachin Alpha 40 -osion testille Keskimääräinen osio/testi korrelaatio Produktiivinen aukkotesti 19 70% 21. 0 1. 6 . 87 . 93 . 55 Epäsanatesti 8 31. 5% 23. 6 2. 0 . 70 . 92 . 58 Listavalintatesti 12 36% 20. 6 1. 6 . 74 . 90 . 51 Kaikki 3 testiä yhteensä 39 51% . 90 . 91 (. 47)

Testi 1 (produktiivinen aukkotesti)

Testi 2 (epäsanatesti)

Testi 3 (listavalintatesti)

Epäsanatesti (22 testiin vastaamatonta oppijaa ei mukana aineistossa) OSIO KESKIARVO KESKIHAJONTA (prosentteina) (0 -2 -asteikolla) OSIO / TESTI KORRELAATIO (Hennysonin korjauksella) OSIO / MUUT OSIOT -KORRELAATIO 1 75 . 86 . 34 . 27 2 32 . 93 . 61 . 53 3 44 . 99 . 71 . 64 4 25 . 87 . 31 . 25 5 9 . 55 . 50 . 39 6 10 . 63 . 50 7 38 . 97 . 59 . 51 8 19 . 78 . 10 . 08

Esimerkkejä / epäsanatesti (osio 1) Osio 1 100 Ryhmät (epäsanatestin kokonaispisteiden mukaan): Rit = 0. 34 80 Prosenttia oikein 1 = epäsanatestissä vähiten pisteitä saaneet 60 P = 0. 75 40 20 0 4 = eniten pisteitä saaneet Rit = osio/testi -korrelaatio 1 2 3 4 Pistemääräryhmät P = osion ratkaisu % 1. She could bourble animals very well because she was a good ______bourble____. (= henkilö joka tekee lihavoidun sanan kuvaamaa toimintaa)

Esimerkkejä / epäsanatesti (osio 6) Osio 6 100 Rit = 0. 63 80 Prosenttia oikein 60 P = 0. 10 40 20 0 1 2 3 4 Pistemääräryhmät 6. Before we can finally honch this car you need to ____honch_____ it. (= tehdä ennen / etukäteen lihavoidun sanan kuvaamaa toimintaa)

Esimerkkejä / epäsanatesti (osio 8) Osio 8 100 Rit = 0. 10 80 Prosenttia oikein 60 P = 0. 19 40 20 0 1 2 3 4 Pistemääräryhmät 8. I did not monadate the story that your friend told me yesterday but what you tell me now is much more _____monadate______. (= sisältää lihavoidun sanan kuvaamaa asiaa)

Sananmuodostustestien ja kirjoittamistaidon arviointien väliset korrelaatiot Taitotaso kirjoittamisessa (Keskiarvo neljän arvioijan arvioista kaikissa oppilaan tekemissä kirjoitustehtävissä) Produktiivinen aukkotesti . 691 - osiot jotka testaavat sanan perusmuodon hallintaa (9) . 578 (. 589, jos osio A 17 poistetaan) - osiot jotka testaavat sanan taivutetun muodon hallintaa (10) . 713 Epäsanatesti . 575 (n = 76) Listavalintatesti . 675 n = 87 p =. 000

Sananmuodostustestin keskimääräiset pistemäärät (%) EVK: n eri tasoilla (kirjoittamistasoilla) A 1 A 2 B 1 B 2 (n= 27) (n= 42) (n= 15) (n= 2) Produktiivinen aukkotesti 46 75 87 100 - osiot jotka testaavat sanan perusmuodon hallintaa (9) 57 78 84 100 - osiot jotka testaavat sanan taivutetun muodon hallintaa (10) 37 73 90 100 Epäsanatesti 13 28 38 81 Listavalintatesti 15 32 47 71

Eri sananmuodostustestien väliset korrelaatiot N = 140 / 162 A Produktiivi nen aukkotesti A 1. sanan perusmuodon hallintaa testaavat osiot A 2. sanan taivutetun muodon hallintaa testaavat osiot B. Epäsanatesti C. Listavalinta -testi A. Produktiivinen aukkotesti 1. 00 (. 902) (. 966) . 596 . 615 1. 00 . 765 . 497 . 554 1. 00 . 555 . 596 1. 00 . 628 A 1. sanan perusmuodon hallintaa testaavat osiot A 2. sanan taivutetun muodon hallintaa testaavat osiot B. Epäsanatesti C. Listavalintatesti 1. 00

Epäsanatestin rakenne Alustavat faktorianalyysit viittaavat siihen, että Ø Osio 8 eroaa eniten kaikista muista epäsanatestin tai muiden sananmuodostustestin osioista Ø Jos osio 8 jätetään pois laskuista, epäsanatestin taustalta näyttää löytyvän kaksi faktoria: 1) Osio 3 & 7, plus osio 1 2) Osio 6, plus osiot 5 & 4 (jossain määrin) - osio 2 jakautuu melko tasan kummallekin faktorille Ø Osio 1 eroaa muista epäsanatestin osioista siinä, että se liittyy läheisesti useisiin produktiivisen aukkotestin osioihin Ø Osio 4 voi myös erota muista epäsanatestin osioista Ø Jotkin epäsanatestin osiot (2, 3, 6, 7) liittyvät melko selvästi tiettyihin listavalintatestin osioihin (osioihin 8, 11, 12; ks. Moniste)

Kolmen sananmuodostustestin vertailua Produktiivinen aukkotesti Epäsanatesti Listavalintatesti Plussat Miinukset hyvin tuttu testityyppinä sanat osataan ulkoa? ainakin osa tehtävistä testaa sananmuodostusta pisteytys vaikeaa (jos se on hyvin hienojakoista) keskittyy vain sananmuodostukseen melko vaikea jotkut osiot liittyvät toisiinsa (eivät itsenäisiä) ei tuttu testityyppinä nopea ja helppo suorittaa sanat osataan ulkoa? ja pisteyttää ei tuttu testityyppinä? keskittyy melko hyvin vaikea tehdä helppoja sananmuodostukseen osioita?

Loppupäätelmiä sananmuodostustesteistä Ø Produktiivinen aukkotesti: todennäköisesti käyttökelpoinen sananmuodostuksen testaamisessa; sopivien osioiden kehittäminen / valinta kaipaa lisää työtä Ø Epäsanatesti: lupaava (esim. yhtä luotettava kuin muut; konstruktivalidius) mutta testattavan pitää ensin ymmärtää, miten testiin vastataan (kynnys); sopivuus vasta-alkajille? Ø Listavalintatesti: lupaava (melko hyvä konstruktivalidius); osioiden sopivuus osallistujien taitotasolle vaatii lisää työtä Ø Minkä tasoisia käytetyt sanat / affiksit ovat? Yhteys sanojen frekvenssiin?