Analza podobnosti vsledk pijmacho zen na FIS VE

Analýza podobnosti výsledků přijímacího řízení na FIS VŠE Kristýna Vltavská Petr Mazouch katedra ekonomické statistiky Vysoká škola ekonomická v Praze

Struktura vystoupení 1. 2. 3. 4. 5. 6. 7. Úvod do problematiky a stanovené cíle Přijímací řízení na bakalářské studijní obory Data Metodologie Základní charakteristika souboru Vyhodnocení výsledků Diskuze

Úvod do problematiky • • Individuální přístupy jednotlivých VŠ k přijímaní studentů Nekalé praktiky uchazečů vykonávajících přijímací zkoušku • Cíl: pomocí pravděpodobnostního modelu zachytit podezřele vysoké počty shodných odpovědí mezi jednotlivými uchazeči

Přijímací řízení na bakalářské studijní obory • • • Přijímací řízení z matematiky a anglického jazyka Multiple-choice, pouze jedna odpověď správná Anglický jazyk - 50 otázek, 2 body/otázka Matematika – 10 otázek po 5 bodech, 5 otázek po 10 bodech 2 varianty na místnost, ve všech místnostech stejné Stanovené minimální hranice úspěšnosti u testu: 50 bodů/předmět • Zabránění opisování: 2 různé varianty na místnost, předem určený zasedací pořádek, přítomnost vyučujících dohlížejících na dodržování pravidel

Data • Odpovědi uchazečů na jednotlivé otázky z přijímacího řízení do akademického roku 2014/2015, správné odpovědi pro danou variantu, dosažené počty bodů jednotlivých uchazečů • Úskalí datových souborů: • Stejný akademický rok – nelze porovnávat různá časová období • K dispozici pouze 4 varianty testů z každého předmětu

Metodologie (I) • • • Pravděpodobnostní model určený k odhadování párů osob, které jsou podezřelé z opisování na základě shodnosti jejich odpovědí a dosažených výsledků (G. O. Weselowsky) Cílem modelu je testování hypotézy H 0, že vybraný pár neopisoval Aproximace počtu shodných odpovědí pomocí normálního rozdělení • Metoda vhodná pro větší datové soubory • Umožňuje zúžit okruh testovaných párů pouze na ty, které podezíráme na základě vysoké hodnoty normované náhodné veličiny

Metodologie (II) Hladina významnosti • Určuje, jak velkou chybu prvního druhu připustíme => nepravdivé obvinění testovaného páru z opisování • Stanovení záleží na druhu použití modelu • α=0, 01 – k potvrzení opisování páru, který jsme podezřívali již na základě dřívějšího pozorování • α=0, 05/N – všeobecná analýza, zda účastníci opisovali

Základní charakteristika souboru

Zájem o studijní obory 3, 01% 4, 96% 2, 93% 1, 42% B-AI-AI B-AI-ME 49, 56% 38, 12% B-KM-MM B-KM-SE B-KM-SD B-KM-SM

Vyhodnocení výsledků

Vyhodnocení testů Předmět Počet uchazečů Procento úspěšných uchazečů *) Průměrný počet získaných bodů Procento vynechaných odpovědí Matematika 698 58, 5 % 57, 7 0, 7% Anglický jazyk 681 86 % 68 0, 1 % *) Jedná se o ty uchazeče, kteří v daném předmětu překročili minimální bodovou hranici úspěšnosti testu, která je stanovena na 50 bodů.

Hledání párů podezřelých z opisování n – počet účastníků testu j-tá osoba opisující navzájem s k-tou 77 2 44 68 k-tá osoba opisující navzájem s j-tou Z - normovaná hodnota normálního rozdělení 57 3, 224795 60 3, 673554 74 4, 913394 M - Počet shodných odpovědí daného páru P-hodnota - za předpokladu že daný pár byl předem podezřelý P-hodnota - za předpokladu že daný pár nebyl předem podezřelý cj - poměr správných odpovědí ze všech pro j-tou osobu ck - poměr správných odpovědí ze všech pro k-tou osobu 11 0, 000823 2, 407465 0, 533333 0, 4 11 0, 000246 0, 719432 0, 466667 0, 333333 15 1, 7 E-07 0, 000497 0, 533333

Počty podezřelých párů Předmět Matematika Anglický jazyk Celkem Hladina významnosti α = 0, 01 Počet spolusedících párů α = 0, 05/N 22 5 5 32 54 5 10

Diskuze

Opisování • • • Při použití hladiny významnosti 0, 05/N se u přijímacího řízení do akademického roku 2014/2015 jedná o minimální problém – 0, 7 % uchazečů Při využití hladiny významnosti 0, 01 se jedná o 5 % podezřelých v anglickém jazyce a 3 % v matematice Prevence přijímacím řízení • Zvýšení počtu dohlížejících osob • Zaměření se především na zadní řady

Děkuji za pozornost kristyna. vltavska@vse. cz mazouchp@vse. cz