Edukacyjna Warto Dodana jako metoda ewaluacji pracy szk

Edukacyjna Wartość Dodana jako metoda ewaluacji pracy szkół Maciej Jakubowski Wydział Nauk Ekonomicznych Uniwersytet Warszawski email: mjakubowski@uw. edu. pl wrzesień 2008 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Program prezentacji 1. Jak możemy liczyć EWD? 2. Precyzja i zmienność jednorocznych wskaźników EWD 3. EWD gimnazjum szacowane dla 3 roczników 4. Ewaluacja nauczania metodą EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

I. METODY EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Metody szacowania EWD dla gimnazjum Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji 1. EWD jako różnica między średnimi wynikami uczniów na egzaminach (lub staninami wyników) 2. EWD jako średnia reszt z równania regresji na danych indywidualnych uczniów 3. EWD jako efekt stały w regresji 4. EWD jako efekt losowy w regresji 5. EWD jako efekt losowy z losowym nachyleniem wyników sprawdzianu 6. EWD z wielokrotnym pomiarem umiejętności uczniów

EWD jako różnica średnich Metody EWD Precyzja i zmienność EWD dla 3 roczników a) Obliczamy średni wynik uczniów danego gimnazjum ze sprawdzianu b) Obliczamy średni wynik uczniów na egzaminie gimnazjalnym c) Przewidujemy za pomocą regresji na poziomie średnich dla szkół wynik egzaminu gimnazjalnego EWD jako narzędzie ewaluacji d) EWD j-tego gimnazjum to różnica między rzeczywistym i przewidywanym średnim wynikiem Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

EWD jako różnica średnich c. d. Metody EWD • • Precyzja i zmienność EWD dla 3 roczników • EWD jako narzędzie ewaluacji • • metoda ta operuje średnimi na poziomie szkół, a nie danymi indywidualnymi, ale i tak musimy sięgnąć do danych indywidualnych metoda ta niepotrzebnie traci dostępne informacje nie pozwala ocenić precyzji EWD jeśli korzystamy ze stanin a nie wyników punktowych to precyzja i rzetelność jest bardzo niska Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

EWD jako średnia reszt Metody EWD Precyzja i zmienność • szacujemy równanie regresji dla całej Polski, gdzie x to wynik ucznia na sprawdzianie, y to wynik na egzaminie gimnazjalnym, D to wektor cech indywidualnych (płeć i dysleksja), ε to błąd losowy EWD dla 3 roczników EWD jako narzędzie ewaluacji • EWD to średnia różnic między wynikiem uzyskanym a przewidywanym dla każdego ucznia Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

EWD jako średnia reszt Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników

EWD jako średnia reszt Metody EWD Precyzja i zmienność • to jest metoda przyjęta dla EWD jednorocznikowego EWD dla 3 roczników • pozwala oszacować przedziały ufności EWD, a więc daje podstawę do statystycznie uprawnionych porównań między szkołami EWD jako narzędzie ewaluacji • metoda ta otwiera też drogę do analiz wewnątrzszkolnych lub dla dowolnych grup uczniów • EWD można dowolnie liczyć mając jedynie tabele predykcji wyników egzaminu gimnazjalnego Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD jako efekt stały lub losowy • szacujemy podobne równanie regresji dla całej Polski, jednak w równaniu uwzględniono efekt dla każdego gimnazjum uj • Efekt u j można interpretować jako przesunięcie w pionie krzywej regresji dla całej szkoły • Oszacowany efekt to EWD gimnazjum • W metodzie z efektami losowymi zakładamy, że efekty mają rozkład zbliżony do normalnego • mało wiarygodne oceny EWD są przy tym „ściągane” do przeciętnej, czyli do zera

EWD jako efekt stały Powtórka Jak liczyć? Jakie różnice? Jakie problemy? Precyzja i zmienność EWD dla 3 roczników

EWD jako efekt stały lub losowy Metody EWD • są to poprawne metody liczenia EWD ze statystycznego punktu widzenia Precyzja i zmienność • jednak mniej przejrzyste EWD dla 3 roczników EWD jako narzędzie ewaluacji • stąd jednoroczne EWD będzie dalej liczone metodą średnich z reszt regresji, ale już 3 rocznikowe metodą efektów stałych lub losowych • metoda efektów losowych dominuje obecnie na świecie • przy wielu próbach daje oceny EWD najbliższe prawdziwym Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

EWD z losowym nachyleniem wyników sprawdzianu Metody EWD Precyzja i zmienność • w tej metodzie szkole przypisywany jest nie tylko efekt losowy przesuwający całą krzywą regresji w zależności od EWD szkoły, ale i nachylenie wyników sprawdzianu może być w każdej szkole inne EWD dla 3 roczników EWD jako narzędzie ewaluacji • w ten sposób nachylenie wyników sprawdzianu może się w każdej szkole różnić, przy czym przy jego ocenie korzystamy z wiedzy o całej populacji • pozwala to oszacować EWD szkoły osobno dla uczniów słabszych i dla uczniów z lepszymi wynikami ze sprawdzianu

Na ile EWD oszacowane różnymi modelami się różni? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji część humanistyczna Korelacje między EWD dla 2006 roku Regresja na średnich dla szkół Reszty z regresji na uczniach 0, 99 Efekt losowy 0, 98 1, 00 Losowe nachylenie (1 kwintyl) 0, 56 0, 65 Efekt losowy część matematycznoprzyrodnicza Regresja Reszty z na regresji na średnich uczniach dla szkół Efekt losowy 0, 97 0, 66 0, 97 0, 99 0, 52 0, 63

Podsumowanie: modele EWD Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • wybór modelu ma niewielkie praktyczne konsekwencje • oprócz EWD z losowym nachyleniem Co poza wyborem modelu EWD? • oszacowanie modeli dla każdego roku • kwestia błędu pomiaru • kwestia zrównania wyników egzaminów – niepotrzebne w przypadku modeli dla jednego roku – wskazane w przypadku modeli dla danych z kilku lat • kwestia efektu egzaminatora – rozwiązana przez wyłączenie „podejrzanych” pytań Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

II. PRECYZJA I ZMIENNOŚĆ Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Precyzja i zmienność Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Modele EWD powinny jak najdokładniej wskazywać „prawdziwą”, ukrytą wartość odpowiadającą temu co chcemy zmierzyć jako EWD • Model EWD jest tym lepszy, im bliższy jest precyzyjnego określenia przyrostu wiedzy uczniów w każdym z gimnazjów • Precyzję można oceniać ze względu na kilka kryteriów • Jedne z nich dotyczą dokładności oceny EWD w danym roku • Inne dotyczą stabilności EWD między latami • Waga kryterium zależy od kontekstu użycia EWD Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Statystyki dla punktowego EWD Metody EWD 2006 rok Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy EWD: część humanistyczna średnia odchylenie standardowe min max 0. 04 0. 00 2. 17 2. 18 1. 92 -10. 74 -11. 27 -8. 34 9. 09 9. 01 7. 65 EWD: część matematyczno-przyrodnicza średnia odchylenie standardowe min max 0. 04 0. 11 0. 00 2. 56 2. 51 2. 14 -9. 12 -9. 18 -7. 79 16. 92 17. 14 14. 59

Statystyki dla szerokości przedziałów ufności Metody EWD 2006 rok Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Reszty z regresji na uczniach Efekt losowy EWD: część humanistyczna średnia odchylenie standardowe min 2. 60 2. 25 0. 81 0. 53 1. 27 1. 31 max 5. 06 3. 43 EWD: część matematyczno-przyrodnicza średnia odchylenie standardowe min 2. 95 2. 60 0. 88 0. 60 1. 51 max 6. 29 3. 94

Metody EWD Korelacja między EWD dla różnych lat oszacowanych tą samą metodą Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji 2005 i 2006 Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy część humanistyczna 0, 35 0, 39 0, 40 część matematycznoprzyrodnicza 0, 50 0, 52 0, 53 EWD z lat Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Metody EWD Procent gimnazjów z pozytywnym lub negatywnym EWD w obydwu latach Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji 2005 i 2006 Regresja na średnich dla szkół Reszty z regresji na uczniach Efekt losowy część humanistyczna 62% 64% 68% 68% EWD z lat część matematycznoprzyrodnicza Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

III. EWD DLA 3 ROCZNIKÓW Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

EWD dla 3 roczników Metody EWD Precyzja i zmienność • EWD dla jednego roku (jednego rocznika, czy raczej kohorty uczniów) jest dobrym narzędziem do analizy efektów nauczania z tą grupą uczniów EWD dla 3 roczników • Precyzja i stabilność takich wskaźników pozostawiają jednak wiele do życzenia EWD jako narzędzie ewaluacji • Jeśli chcemy ocenić pracę szkoły w jak najbardziej precyzyjny i stabilny sposób, to powinniśmy podsumować informację z kilku lat, dając jeden wskaźnik EWD na cały okres • wskaźnik szacowany dla kilku roczników będzie siłą rzeczy bardziej precyzyjny i stabilny, bo wykorzystuje niemal 3 razy większą liczbę obserwacji

Dlaczego 3 roczniki? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • 3 lata wydają się dobrym okresem dla dokonania podsumowania działalności szkoły • dla 3 roczników skład nauczycielski i organizacja pracy nie zmieniają się tak bardzo • kraje z większym doświadczeniem przyjmują taki okres jako podstawę oceny szkół (np. Holandia) • docelowo wskaźnik taki będzie szacowany co roku, dla ostatnich 3 roczników • określony będzie też trend efektywności nauczania szkoły • dopiero ocena trendu pozwoli określić kierunek rozwoju szkoły… ale to dopiero za kilka lat Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Ile gimnazjów posiada dane z 3 lat? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Szkoły z oszacowanym EWD w każdym roku Liczba szkół Liczba uczniów EWD w każdym roku 5956 1 393 833 EWD w każdym roku i z co najmniej 10 uczniami łącznie przez 3 lata 5873 1 393 271 EWD w każdym roku i z co najmniej 30 uczniami łącznie przez 3 lata 5691 1 389 786 EWD w każdym roku i z co najmniej 50 uczniami łącznie przez 3 lata 5440 1 379 701

Precyzja modeli jednorocznych a precyzja EWD dla 3 roczników Metody EWD szerokość przedziałów ufności* Precyzja i zmienność Efekt losowy EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD: część humanistyczna średnie w pojedynczych latach średnia 3 roczniki od 2. 54 do 2. 87 1. 65 EWD: część matematyczno-przyrodnicza średnie w pojedynczych latach średnia 3 roczniki * próba 170 losowo wybranych gimnazjów od 2. 33 do 2. 82 1. 82

IV. EWD JAKO NARZĘDZIE EWALUACJI Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Ewaluacja czego? Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Na poziomie kraju lub regionu: • polityki edukacyjnej • polityki samorządów • programów nauczania Na poziomie szkoły lub gminy: • • • postępów grup uczniów pracy szkół pracy nauczycieli lokalnej programów edukacyjnych metod nauczania

W jaki sposób? Metody EWD • Na poziomie kraju lub regionu, gdzie dostępna jest duża liczba obserwacji, można wykorzystać model regresji EWD z EWD dla 3 roczników uwzględnieniem interesujących nas zmiennych EWD jako narzędzie • Na poziomie gminy czy jednej lub kilku ewaluacji gimnazjów można wykorzystać oszacowania modeli EWD dla kraju i porównywać średnie „reszty” między grupami • Jeśli mamy wyniki kilkuset uczniów to także możemy stosować modele regresji Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/ EWD Precyzja i zmienność

Analiza dla szkół lub gminy Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • • • Analiza „reszt” uczniów porównanie między szkołami porównanie między klasami testy na różnice średnich testy na różnice w zróżnicowaniu postępów uczniów • wyjaśnianie poszczególnych przypadków praca z nauczycielami • Przykłady autorstwa dr Ewy Stożek (www. ewd. edu. pl)

Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Problem: wynik niżej średni wdrażamy program naprawczy Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji EWD GH = 1, 21 uczniowie o obniżonych wymaganiach edukacyjnych

Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Dlaczego klasa B uzyskała nieznacznie lepsze wyniki?

Przykład II. 3 Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji Klasa B zdecydowanie lepiej poradziła sobie z rozprawką oraz z interpretowaniem poezji. Jaki wpływ na to miały metody pracy nauczyciela? Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

stanin wyżej średni

Duże zróżnicowanie wyników na wejściu w szkole. „Problem”: różna efektywność pracy z uczniami o różnym potencjale

Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

zróżnicowanie EWD w klasach Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji

Ewaluacja na poziomie kraju Metody EWD Precyzja i zmienność EWD dla 3 roczników EWD jako narzędzie ewaluacji • Zastosowanie modeli EWD do danych z całej populacji uczniów • Pierwszy problem: czy efektywność szkół zależy od wydatków w przeliczeniu na ucznia? • Drugi problem: czy wielkość klas wpływa na przyrost wiedzy uczniów?

Zmienna zależna: łączny wynik egzaminu gimnazjalnego Sprawdzian Średnie wydatki na ucznia w trakcie nauki w gimnazjum Szkoła niepubliczna 1. 256*** 1. 253*** -0. 067*** -0. 066*** 2. 569*** 2. 934*** liczba uczniów w szkole -0. 173** Rozstęp ćwiartkowy wyników sprawdzianu w gimnazjum -0. 045*** liczba uczniów w gminie 0. 259*** dochody na mieszkańca gminy 1. 555*** Wydatki na ucznia w trakcie nauki w szkole podstawowej -0. 337*** Procent dzieci 3 -5 letnich, które korzystały z przedszkoli 0. 008*** Oznaczenie typu miejscowości Liczba uczniów Liczba gimnazjów Tak 1324076 1322255 6211 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Zmienna zależna: łączny wynik egzaminu gimnazjalnego Scentrowany wynik sprawdzianu (0 = 10 percentyl oryginalnych wyników) 1. 240*** (0. 010) 1. 213*** (0. 010) Średnie wydatki na ucznia w trakcie nauki w gimnazjum -0. 055** (0. 024) -0. 105*** (0. 024) Średnie wydatki * sprawdzian -0. 001 (0. 002) -0. 002* (0. 002) Logarytm naturalny liczby uczniów w szkole 0. 279*** (0. 022) Logarytm naturalny liczby uczniów w gminie -0. 172*** (0. 055) Logarytm naturalny dochodów na mieszkańca gminy 1. 648*** (0. 221) Rozstęp ćwiartkowy wyników sprawdzianu wśród uczniów gimnazjum -0. 128*** (0. 006) Średni wynik sprawdzianu wśród uczniów gimnazjum 0. 180*** (0. 006) Log restricted-likelihood -4993013 -4991958 Liczba uczniów 1324076 Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/

Regresja liniowa Regresja z efektami stałymi Przeciętna liczba uczniów w klasie 0. 051*** -0. 006 Wynik sprawdzianu 1. 198*** 1. 240*** Mediana wyników sprawdzianu 0. 322*** 0. 291*** Rozstęp ćwiartkowy wyników sprawdzianu -0. 061*** -0. 053*** 0. 64 0. 63 R 2 „within” 0. 63 R 2 „between” 0. 75 Liczba gimnazjów 5280 Liczba uczniów 1339022

Zmiana mniejsza niż 25% i średnie klasy Regresja z efektami stałymi od 15 do 30 25% uczniów Przeciętna liczba uczniów w klasie -0. 016 -0. 019 Sprawdzian 1. 244*** 1. 242*** Mediana wyników sprawdzianu 0. 324*** 0. 325*** Rozstęp ćwiartkowy wyników sprawdzianu -0. 059*** -0. 060*** R 2 0. 63 R 2 „within” 0. 63 R 2 „between” 0. 77 Liczba gimnazjów 3894 3882 1140163 1128522 Liczba uczniów

Podsumowanie • Wybór modelu EWD ma niewielkie praktyczne znaczenie • pozostają jednak kwestie wpływu błędu pomiaru, zrównywania wyników itp. • EWD trzeba liczyć z danych indywidualnych i podawać jako przedział ufności • EWD 3 rocznikowe jest dużo precyzyjniejsze i będzie stanowić podstawę oceny pracy szkoły • Czy model EWD powinien w większym stopniu uwzględniać środowisko nauczania? Badania trwają…

Podsumowanie • EWD może być wykorzystywane jako narzędzie ewaluacji • Ewaluacja metodami EWD może być prowadzona dla jednej lub kilku szkół. Jest wtedy mniej precyzyjna, ale można (trzeba) ją połączyć ze znajomością lokalnego kontekstu • EWD powinno służyć do ewaluacji polityki oświatowej • to potężne narzędzie, opierające się na obiektywnym pomiarze umiejętności uczniów i olbrzymiej liczbie danych • jego stosowanie wymaga jednak znajomości metod statystycznych i świadomości ich ograniczeń

Dziękuję za uwagę! WWW. EWD. EDU. PL www. wne. uw. edu. pl/mjakubowski email: mjakubowski@uw. edu. pl Prezentacja przedstawiona na III Kongresie Zarządzania Oświatą, OSKKO, www. oskko. edu. pl/kongres/