Komitet Ewaluacji Jednostek Naukowych Podsumowanie wynikw ewaluacji jednostek
- Slides: 28
Komitet Ewaluacji Jednostek Naukowych Podsumowanie wyników ewaluacji jednostek naukowych – 2013 Maciej Zabel UKN, Kielce 6. 06. 2014 Podziękowania dla Piotra Brzezińskiego (ICI) za przygotowanie części materiałów
Kto brał udział w ocenie jednostek naukowych • • • KEJN Zespoły Ewaluacji (ZE) OPI Index Copernicus International (ICI) DN - MNi. Sz. W
KEJN – Grupy Wspólnej Oceny Grupa Nauk Rodzaj Jednostki Podstawowe Jednostki Organizacyjne Szkół Wyższych Instytuty Polskiej Akademii Nauk Instytuty Badawcze (Inne) 14 października Humanistyczne i Społeczne Ścisłe i Inżynierskie 6 8 5 3 (2) Kategoryzacja JN 2013 o Życiu o Sztuce i Twórczości Artystycznej 3 4 8 2 1 6 (6) 3 (2) 0(1) 3
Podkryteria wg grup nauk i rodzaju Jednostek Naukowych Grupa Nauk Humanist. i Społecznych Kryterium Ścisłych i Inżynierskich o Życiu o Sztuce i Twórczości Artystycznej Publikacje Monografie Patenty Dorobek artyst. Uprawnienia Rozwój kadry Funkcje Projekty Uprawnienia Rozwój kadry Lab. akredytow. Status PIB Środki z projekt. Uprawnienia Rozwój kadry Lab. akredytow. Uprawnienia Rozwój kadry Funkcje Projekty 3. Materialne efekty działalności naukowej Patenty Ekspertyzy Płace ze źródeł zewnętrznych Nakłady na aparaturę i oprogr Ekspertyzy Działania artyst. 4. Pozostałe efekty działalności naukowej Nagrody Konferencje Popularyzacja Specjalne 1. Osiągnięcia naukowe i twórcze 2. Potencjał naukowy 14 października Kategoryzacja JN 2013 4
Wagi kryteriów wg grup nauk i rodzaju Jednostek Naukowych Maksymalna punktacja w ostatecznej ocenie (wagi) Kryterium sposób oceny Nauki Hum. + Społ. Nauki Ścisłe + Inżyn. JU PAN IB Nauki o Życiu JU PAN IB Nauki o Sztuce i Twórczości Artystycznej 1. Osiągnięcia naukowe i twórcze Punkty z listy ministerial-nej i ustalone przez KEJN 65 65 65 35 70 75 60 60 Wg ustalonej punktacji 15 10 10 10 5 20 3. Materialne efekty działalności naukowej Wg ustalonej punktacji 5 15 15 45 15 10 25 5 4. Inne efekty działalności naukowej Ankieta i ZE 15 10 10 10 15 2. Potencjał naukowy 14 października Kategoryzacja JN 2013 5 5 5
KEJN – kategoryzacja Wynik kategoryzacji A B C 14 października Kategoryzacja JN 2013 6
Etapy procesu oceny jednostek naukowych 1. Klasyfikacja przypisanie jednostek do grup wspólnej oceny (GWO) 2. Parametryzacja ocena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO 3. Kategoryzacja ustalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+) 4. Odwołania od przyznanej kategorii analiza uwag ogólnych i poszczególnych zdarzeń, wydanie opini KEJN, decyzja Ministra
Przebieg procesu odwoławczego • ICI – przygotowało karty odwołań i uruchomiło system teleinformatyczny • KEJN - powołał ZE i przeszkolił ewaluatorów, którzy dokonali oceny, podsumował wyniki odwołań i dokonał korekt • DN MNi. Sz. W – opracował odwołania, porównał wersje papierowe i elektroniczne, opracował decyzje co do kategorii i każdego pojedynczego zdarzenia ewaluacyjnego • KEJN zakończył pracę 25 lutego 2014 i przekazał wyniki Ministrowi i DN • Minister wyda decyzję co do zmiany kategorii – maj 2014
Najważniejsze problemy z jakością danych • Brak kompleksowego źródła danych, konieczność zbierania informacji z różnych źródeł (wewnętrznych i zewnętrznych). • Duplikaty zgłoszonego dorobku naukowego (np. publikacje, monografie, konferencje, projekty) – brak koordynacji pomiędzy Jednostkami Naukowymi, szczególnie w ramach tej samej uczelni • Problemy z wykazaniem zatrudnienia • Brak należytej staranności przy wypełnianiu ankiety
Proces ewaluacji w liczbach • • Liczba wszystkich jednostek - 962 Całkowita liczba N - 82 867, 09 • Liczba zgłoszonych zdarzeń ewaluacyjnych (dorobek naukowy): 952 768 • Liczba zdarzeń ewaluacyjnych spełniających warunki formalne oceny: 807 671 • Liczba zdarzeń zakwalifikowanych do kart oceny (po optymalizacji): 424 220 • Liczba zdarzeń wytypowanych przez walidatory do sprawdzenia: 116 843 • Liczba decyzji podjętych przez poszczególnych członków ZE: 187 685 • Liczba wydanych decyzji administracyjnych przyznających kategorię naukową: 962 • Liczba złożonych odwołań od przyznanej kategorii naukowej: 280
Porównanie wyników ewaluacji – kategorie naukowe 2010 vs kategorie naukowe 2013 przed rozpatrzeniem odwołań Ewaluacja 2010 Ewaluacja 2013 8, 0% 3, 8% 7, 3% 42, 2% 50, 5% A 31, 9% B A+ A B C 56, 2% C
Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. grupy nauk Nauki humanistyczne i społeczne nowa kat. wzrost bez zmian spadek C B A nowa kat. 7 4 0 1 0 >A C 2 B 7 , A A- + >A , A + B>B C>C B>C A>B A>C B- nowa kat. >B , A- A+ >A , A + B>B C>C B>C A>B A>C 2 >A >B C- + , A >A B- 0 C- wzrost spadek 12 3 >A 4 0 8 C 9 B 1 8 A 10 20 13 C- 37 40 bez zmian C- 56 60 6 4 21 + 96 80 0 33 35 30 25 20 15 10 5 0 , A 92 100 2 Nauki o sztuce i twórczości artystycznej Nauki ścisłe i inżynierskie 120 8 C- >A , spadek 4 0 A bez zmian 8 B- C- >A , B- wzrost 31 , A A- + >A , A + B>B C>C B>C A>B A>C 16 73 32 >B 1 B 2 0 A 3 0 26 C 28 >B >A , A- A+ >A , A + B>B C>C B>C A>B A>C 14 C- A+ 25 65 >A 68 80 70 60 50 40 30 20 10 0 C- 120 A+ 140 120 100 80 60 40 20 0 Nauki o życiu wzrost bez zmian spadek nowa kat.
Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. typu jednostek Uczelnie 350 300 250 200 150 100 50 0 Jednostki PAN 60 289 51 50 40 30 spadek wzrost nowa kat. 3 2 bez zmian spadek C B A >C >B 0 nowa kat. A- 1 1 C , A A- + >A , A + B>B C>C B>C A>B A>C 0 C- >A >B C- + , A >A 1 B 0 B- nowa kat. 3 2 1 1 0 C- wzrost spadek A 1 C 0 B 0 A 2 , A A- + >A , A + B>B C>C B>C A>B A>C 1 4 >A >B C- + , A >A B- 3 2 0 0 4 4 3 0 0 5 31 8 1 Inne jednostki 39 29 0 bez zmian Instytuty badawcze 45 40 35 30 25 20 15 10 5 0 0 >C 0 B- 0 C- C- B- C- bez zmian , A >A C B A , A- A+ >A , A + B>B C>C B>C A>B A>C >B >A + C- , A >A B- wzrost 0 0 >C 3 10 >B 26 C- 38 B- 1 , A + >A , A + 2 A- 16 >B 13 4 + 43 15 20 81 >A 93 A- 150 wzrost bez zmian spadek nowa kat.
Rozkłady kategorii naukowych w poszczególnych grupach nauk przed rozpatrzeniem odwołań Nauki humanistyczne i społeczne 6, 9%4, 0% Nauki o życiu 8, 6% 3, 9% 27, 1% 37, 8% 49, 8% 62, 0% Kategoria naukowa: A+ Nauki ścisłe i inżynierskie 9, 0% 4, 3% Nauki o sztuce i tw. artystycznej 6, 8%1, 9% 20, 4% 35, 9% 50, 8% 70, 9% A B C
Rozkłady kategorii naukowych w poszczególnych rodzajach jednostek naukowych Jednostki uczelniane 7, 5%3, 0% 29, 8% przed rozpatrzeniem odwołań Jednostki PAN 1, 4% 21, 4% 17, 1% Kategoria naukowa: 59, 7% 60, 0% A+ A Instytuty badawcze Inne jednostki C 7, 0%1, 7% 23, 8% 30, 4% 52, 4% 60, 9% B 23, 8%
Zakres rozpatrzonych odwołań od zdarzeń ewaluacyjnych Suma zdarzeń Odwołanie Odwołania faktyczne odwołania od zdarzeń 952 768 5 981 (0, 63%) 3 382 (0, 35%) uznano odwołań - 2 015 (0, 21%) (62, 14%) Inne (np. N i No) 2 599
Odwołania od zdarzeń ewaluacyjnych Zaakceptowane zdarzenia w wyniku odwołań: ilość decyzji podjętych w toku ewaluacji 1. 929 co stanowi 0, 20% zgłoszonych zdarzeń 184. 303 ilość zdarzeń ewaluacyjnych nie zmienionych przez Zespoły ewaluacji 762. 454 Odwołano się od 3. 382 Odwołania od zdarzeń odrzucone: 1 453 co stanowi 0, 15%
Odwołania wg rodzaju Ilość kwestionowanych decyzji o zmianie (obniżeniu punktacji): 211 Ilość kwestionowanych decyzji z powodu algorytmu 3 n-2 n 0: 911 Ilość kwestionowanych decyzji o odrzuceniu zdarzeń: 4869
Zdarzenia zmienione Zaakceptowane odwołania: 50 co stanowi 0, 50% podjętych decyzji Ilość nie kwestionowanych decyzji ZE 9. 729 Ilość kwestionowanych decyzji ZE 211 Odrzucone odwołania: 161 co stanowi 1, 62% podjętych decyzji
Zdarzenia odrzucone Odrzucone Ilość nie kwestionowanych decyzji ZE 27. 687 Ilość kwestionowanych decyzji ZE 3164 Zaakceptowane odwołania: 1. 879 co stanowi 6, 09% podjętych decyzji Odrzucone odwołania: 1. 285 co stanowi 4, 17% podjętych decyzji
Zdarzenia nie ocenione Nie przypisane Zaakceptowane odwołania: 43 co stanowi 0, 03% Ilość nie kwestionowanych decyzji 153. 842 Ilość kwestionowanych decyzji 1. 705 Odrzucone odwołania 1. 662 co stanowi 1, 07% podjętych decyzji
Kryterium I K 1 Ilość zdarzeń w ramach KRYTERIUM I do których nie zostaly zgłoszone odwołania 612. 998 Ilość kwestionowanych decyzji: 3. 671 Zaakceptowane odwołania: 1. 524 co stanowi 0, 25% zgłoszonych zdarzeń Odrzucone odwołania: 2. 147 co stanowi 0, 35% zgłoszonych zdarzeń
Zmiana kategorii jednostki naukowej Jednostki naukowe które nie złożyły odwołania 71% Jednostki naukow e które złożyły odwołanie Ta sama kategoria 24% 29% Awans 5%
Zmiana kategorii jednostki naukowej LISTA Ilość wszystkich jednostek naukowych Ilość jednostek naukowych które złożyły odwołania Awans w wyniku rozpatrzonego odwołania Zmiany w ramach kategorii Ostateczna Ilość jednostek naukowych 37 2 - 0% 45 (4, 6%) A 307 60 8 3% 339 (35, 2%) B 541 185 32 6% 551 (57, 2%) C 77 33 10 12% 67 (7, 0%) 962 280 50 5% A_PLUS RAZEM 962
Plany KEJN odnośnie OCENY JN w 2017 • 1. Ogólna zasada przeprowadzenia Oceny JN, w tym dobór kryteriów • 2. - Wybrane problemy szczegółowe N i No GWO i jednostki heterogenne Jednostki referencyjne i porównanie parami Monografie Publikacje w czasopismach Wagi i kryterium IV Pozycja międzynarodowa Dorobek artystyczny Co usunąć i uprościć, a co dołożyć?
Kryterium II K 2 Ilość zdarzeń w ramach KRYTERIUM II do których nie zostaly zgłoszone odwołania 87. 291 Ilość kwestionowanych decyzji: 348 Zaakceptowane odwołania: 148 co stanowi 0, 17% zgłoszonych zdarzeń Odrzucone odwołania 200 co stanowi 0, 23% zgłoszonych zdarzeń
Kryterium III K 3 Ilości zdarzeń w ramach KRYTERIUM III do których nie zostały zgłoszone odwołania 91. 910 Ilość kwestionowanych decyzji: 462 Zaakceptowane odwołania: 298 co stanowi 0, 32% zgłoszonych zdarzeń Odrzucone odwołania 164 co stanowi 0, 18% zgłoszonych zdarzeń
Kryterium 4 767 33 129 Zaakceptowane odwołania: 33 Jednostki nauk owe które nie zgłosiły odwołania 800 Ilość odowołań 162 Odrzucone odwołania 129
- Ocena parametryczna jednostek naukowych
- Ewaluacja jednostek naukowych
- Iii kryterium ewaluacji
- Komitet praw dziecka onz
- Muzeum i instytut zoologii pan
- Polski komitet błękitnej tarczy
- Wsparcie dla czasopism naukowych
- Mikroteoria
- Hierarchia dowodów naukowych
- Podsumowanie pracy przedszkola za ii półrocze
- Stawonogi i mięczaki podsumowanie
- Sprawozdanie psychologa szkolnego
- Forma rozprawki
- Latarnik scenariusz lekcji gwo
- Oblicz nieznane miary kątów trapezu
- Podsumowanie lekcji ok
- Przeliczanie jednostek prędkości
- Wzór na pole modułu magazynowego
- Dekagram skrót
- Jugosławiańska miara ciężaru
- Jednostki miar w sieciach komputerowych
- Rodzaje jednostek motorycznych
- Pełny węzeł higieniczno-sanitarny
- Podajniki pustych palet