A III orszgos kompetenciamrs 2004 Eredmnyek rtkelse elemzse

A III. országos kompetenciamérés (2004) Eredmények értékelése, elemzése 1

A beszámoló célja • Felkérés • Visszajelzési időpont csúszása • Pedagógiai szempontok (szervezés, lebonyolítás, értékelés, visszajelzés) • Gyakorlati tájékoztatás (tapasztalatcsere más iskolákkal; szaktanácsadás) • (Tanulók tájékoztatása? ) 2

Korábbi mérések • Nemzetközi teljesítménymérések - IEA mérései - OECD Felnőtt Írásbeliség Vizsgálata (‘ 98) - „Magyarország felnőtt lakosságának több mint kétharmada nem rendelkezik a mindennapi életben elvárható és szükséges írásbeli képességek minimumával sem” - OECD PISA 2000 • Hazai monitorvizsgálatok • Előző országos kompetenciamérések 3

Szervezési előzmények • Törvényi háttér • Körülmények (szakmai háttér, szellemi kapacitás, anyagi források biztosítása) • Megelőző próbamérés (tartalmi pontosítás, kódkönyv javítása) • Iskolai körülmények (iskolai terhek) • Kollegalitás 4

A III. mérés jellemzői • • • 2003 -04 -es tanév 6. , 8. , 10. évfolyamai minden tanuló érintett évfolyamonként 20 kiválasztott fő egyenletesen minden teljesítményszintről tanulói, iskolai háttér kérdőívek Standardizálás: 500 pont, a szórás 100 Objektivitás (felkészítés, ellenőrzés, titkosság, szakmai érdek, anonimitás) 5

A III. mérés feldolgozása • Lemezes adatállományok; kibontás után: - általános beszámoló (100 oldal) - össz: 2· 3 = 6 jelentés az évfolyamokról • A beszámoló minősítése • Néhány példa • kompetenciameres 2004. pdf 6

Néhány statisztikai adat • 3834 iskola • Ugyanennyi iskolai kérdőív • Felmérésben részt vett tanulók: 6. o: 119 238, 8. o: 113 154, 10. o: 111 061 fő • Kiértékelt füzetek száma: 6. o: 53 850, 8. o: 54 449, 10. o: 29 816 fő • Ugyanennyi tanulói kérdőív 7

Olvasás-szövegértés 6. o. * • • Eredmény: 655 Teljesítménymérő: 6 / 3004 (Bp. 5 / 327) Eloszlás: azonos szint OLV 6. PDF (első eloszlás-grafikon) 8

9

Olvasás-szövegértés 8. o. * • • Eredmény: 660 Teljesítménymérő: 12 / 3071 (Bp. 6 / 348) Eloszlás: kissé szórt (2 leszakadt tanuló) OLV 8. PDF (első eloszlás-grafikon) 10

11

Olvasás-szövegértés 10. o. * • Eredmény: 672 • Teljesítménymérő: 1 / 1525 (G. 0 / 532) • Eloszlás: zömmel azonos szint (1 leszakadt tanuló) • OLV 10 G~1. PDF (első eloszlás-grafikon) 12

13

O-sz. iskolai vertikumban • E: 655 (6. o. ) 660 (8. o. ) 672 (10. o. ) • T: 6 (6. o. ) 12 (8. o. ) 1 (10. o. ) • E: Szignifikáns javulás: 8. o. 10. o. • T: Hatévfolyamos gimnáziumok (8. o. : kis visszaesés) 14

O-sz. időbeli összehasonlítás • 6. o. E: 644 (2003) 655 (2004) • 10. o. E: 652(2003) 672 (2004) • Mindkét esetben javultak az eredmények. 15

Matematika 6. o. * • • Eredmény: 641 Teljesítménymérő: 26 / 2984 (Bp. 9 / 323) Eloszlás: szórt (kettészakadt mezőny) MAT 6. PDF (első eloszlás-grafikon) 16

17

Matematika 8. o. * • Eredmény: 707 • Teljesítménymérő: 3 / 3080 (Bp. 2 / 352) • Eloszlás: nagyon szórt (kiváló és gyenge produkció is akadt) • MAT 8. PDF (első eloszlás-grafikon) 18

19

Matematika 10. o. * • • Eredmény: 732 Teljesítménymérő: 0 / 1526 (G. 0 / 532) Eloszlás: egységesen jó dolgozatok MAT 10 G~1. PDF (első eloszlás-grafikon) 20

21

Mat. iskolai vertikumban • E: 641 (6. o. ) 707 (8. o. ) 732 (10. o. ) • T: 26 (6. o. ) 3 (8. o. ) 0 (10. o. ) • E: Szignifikáns javulás: 6. o. 8. o. 10. o. • T: Ok lehet: 6. és 8. évi felvételi szelekció; de: nem természetes a 0 érték (a, b, c, d osztályok sajátosságai !!!) 22

Mat. időbeli összehasonlítás • 6. o. E: 658 (2003) 641 (2004) • 10. o. E: 700 (2003) 732 (2004) • 6. o: kisebb romlás; 10. o: javulás (!!) 23

Hozott Érték Index (HEI) * • Oktatás hatékonyságának mérése? (többezer éves probléma) • Háttérváltozók: - szülők iskolai végzettsége, - otthoni könyvek száma, - saját könyvek száma, - számítógép a családban, - autó a családban. 24

HEI származtatása • Háttérváltozók segítségével megállapítható a diákok családi háttere és tanulási indíttatása • Feltevés: a háttérváltozóktól lineárisan függ a tanulói teljesítmény • A háttérváltozók értékeit súlyozzák, cél: • a tanulói teljesítmény és a súlyozott értékek közötti kapcsolat a lehető legjobban lineárisan közelíthető legyen 25

HEI definíciója • A többváltozós lineáris regresszióval kapott jelzőszámot standardizálják (átlaga 0, szórása 1) • Def: ez a relatív jelzőszám a HEI mutató (tehát egy szám kb. – 2 és 2 között) • Mj: szülők végzettsége: 45 %, otthoni könyvek: 30 %, saját könyvek: 10 %, számítógép: 10 %, gépkocsi: 5 % 26

HEI példák • - Konkrétan: kompetenciameres 2004. pdf 72. o: háttérváltozók hatása 79. o: linearitás 96. o: számszerűsítés 27

28

29

30

31

32

33

Hozzáadott Pedagógiai Érték (HPÉ) • A HEI alapján megállapítható a tanulóktól elvárható átlagos teljesítmény • Def. : HPÉ = a tanulók tényleges és elvárható teljesítményének különbsége • Tul. : - a HPÉ kb. – 200 és 200 közötti szám; - méri a hozzáadott pedagógiai munkát, - jellemzi az iskolát (pl. felszereltség), - s közvetetten a fenntartót is. 34

A modell érvényességi köre • A modell érvényességi köre vitatható. • Néhány probléma: - A háttérváltozóktól valóban lineárisan függ -e a tanulói teljesítmény; illetve - csak a vizsgált változóktól függ-e; - mintavételi és mérési hibák szerepe (speciálisan: adatfelvétel szubjektivitása) 35

HEI és HPÉ – olvasás-szöv. * • 6. évf. HÉI 1, 41 (2003) 1, 10 (2004) HPÉ 76, 7 (2003) 80, 2 (2004) Várható - valós eredmény: 575 – 655 • 8. évf. HÉI 1, 1* (2004), HPÉ 107 Várható-valós eredmény: 554 – 660 • 10. évf. HÉI 1, 30 (2003) 1, 22 (2004) HPÉ 79, 8 (2003) 83, 5 (2004) Várható - valós eredmény: 589 – 672 36

HEI és HPÉ – matematika* • 6. évf. HÉI 1, 41 (2003) 1, 10 (2004) HPÉ 88, 3 (2003) 70, 7 (2004) Várható - valós eredmény: 571 – 641 • 8. évf. HÉI 1, 1* (2004), HPÉ 152 Várható-valós eredmény: 555 – 707 • 10. évf. HÉI 1, 30 (2003) 1, 22 (2004) HPÉ 133 (2003) 144 (2004) Várható - valós eredmény: 587 – 732 37

HEI, HPÉ értékek elemzése • Konkrét példák: OLV 6. PDF stb. • HEI: 1, 10; 1, 1*; 1, 22 jól szituált szülők • Jobb HEI indexű iskolák száma (becslés): 6. o: 40 -50; 8. o: 60 -70; 10. o: 30 -40 • Ue. számolással: - 1, 1 86, 4% (2984 – 3004) 406 -409 - 1, 1* 86, 4% (3076) 418 - 1, 22 88, 9% (1525) 169 38

HEI, HPÉ érdekességek • HEI: életkorral nő; időben csökken • 6 -8. évf: a nálunk eredményesebben szereplő iskolák HEI indexe általában nagyobb (kivétel: 6. o. matematika) • 6. és 8. évfolyamon mindkét tantárgyból a legszűkebb élmezőnybe még – 1, 5 értékű HEI mutató körül is kerültek be iskolák (OLV 8. PDF) 39

A középiskolai munka mutatói • A könyv jellemzői 40

Statisztikák • 725 iskola - 232 gimnázium, - 335 szakközépiskola, - 158 vegyes középiskola • 273 különböző szempont szerinti eredményességi mutatók közlése 41

Hozzáadott érték sorrendek 1. 2. 3. 4. 5. 6. Fazekas M. 114 122 5 69 29 29 Piarista G. 3 6 2 11 1 1 Apáczai Cs. 88 100 17 69 26 28 Szent István 79 105 13 11 27 8 Révai M. G. 84 106 14 69 31 55 Radnóti M. G. 42

A hozzáadott érték számításának paraméterei • Bemeneti adatok: – az általános iskolai osztályzatok átlaga; – a szülők iskolaévei; – a szülők munkanélküliségi aránya. Eredményességi mutatók: – az F/L felvételi arány; – az Ny/J nyelvvizsgaarány; – az írásbeli felvételi dolgozatok ÍÁ átlaga. 43

Mutatók a Fazekasban 1. • Bemenő adatok: • Az általános iskolai osztályzatok átlaga (Fazekas: 4, 80 ; mutató: 6 -7. ) • A szülők iskolaévei (Fazekas: 15, 94; mutató: 11. ) • A szülők munkanélküliségi aránya (Fazekas: 3, 4 %; mutató: 20 – 24. ) 44

Mutatók a Fazekasban 2. • Kimenő (eredményességi) mutatók: • Az F/L felvételi arány (Fazekas: 96, 3 %; mutató: 1. ) • A nyelvvizsgaarány (Fazekas: 104, 1 %; mutató: 5. ) • Az írásbeli felvételi dolgozatok átlaga (Fazekas: 11, 0 pont; mutató: 2. ) 45

A hozzáadott érték számításának módszerei 1. • 1. módszer: - A bemeneti adatok szerinti helyezési számok: B 1, B 2, B 3. - A kimeneti adatok szerinti helyezési számok: K 1, K 2, K 3. - H 1 = (B 1 + B 2 + B 3)/3 – (K 1 + K 2 + K 3)/3. (Fazekas: 5, 7. ) 46

A hozzáadott érték számításának módszerei 2. • 2. módszer: - A bemeneti adatok szerinti helyezési számok: B 1, B 2, B 3. - A kimeneti adatok szerinti helyezési számok: K 1, K 2, K 3. - Sorba rendezés: Bi a (B 1 + B 2 + B 3)/3, Ki a (K 1 + K 2 + K 3)/3 alapján. - H 2 = Bi – Ki (Fazekas: 0. ) 47

A hozzáadott érték számításának módszerei 3. • 3. módszer: - A bemeneti adatok szerinti helyezési számok: B 1, B 2, B 3. - A kimeneti adatok szerinti helyezési számok: K 1, K 2, K 3. - A bemeneti adatok szerinti helyezési átlag és a kimeneti adatok szerinti helyezési átlag százalékos viszonya: - H 3 = Bá/Ká*100 = (Fazekas: 383 %. ) 48

A hozzáadott érték számításának módszerei 4. • 4. módszer: - Mind a hat mutató esetén egyenletes eloszlásban 7 csoportba rendezzük az iskolákat, ez alapján minden mutatóhoz 1 - 7 közötti jelzőszámot rendelünk. (1 a legjobb. ) - A bemeneti a. jelzőszámai: b 1, b 2, b 3. - A kimeneti a. jelzőszámai: k 1, k 2, k 3. - H 4 = (b 1 + b 2 + b 3)/3 – (k 1 + k 2 + k 3)/3. 49

Érvényességi kör problémái • Munkanélküliségi arány mint paraméter (Ellenőrizhetőség, jelentés, anyagi javak) Mj: szakközépiskolák • Helyezési szám alapú összehasonlítás teljesítménymérés helyett • Holtversenyt kezelő stratégia • Erős bemeneti adatokkal rend. iskolák számára kedvezőtlenek a számítási módszerek (eredményességi korlát) 50