Komitet Ewaluacji Jednostek Naukowych Podsumowanie wynikw ewaluacji jednostek

  • Slides: 28
Download presentation
Komitet Ewaluacji Jednostek Naukowych Podsumowanie wyników ewaluacji jednostek naukowych – 2013 Maciej Zabel UKN,

Komitet Ewaluacji Jednostek Naukowych Podsumowanie wyników ewaluacji jednostek naukowych – 2013 Maciej Zabel UKN, Kielce 6. 06. 2014 Podziękowania dla Piotra Brzezińskiego (ICI) za przygotowanie części materiałów

Kto brał udział w ocenie jednostek naukowych • • • KEJN Zespoły Ewaluacji (ZE)

Kto brał udział w ocenie jednostek naukowych • • • KEJN Zespoły Ewaluacji (ZE) OPI Index Copernicus International (ICI) DN - MNi. Sz. W

KEJN – Grupy Wspólnej Oceny Grupa Nauk Rodzaj Jednostki Podstawowe Jednostki Organizacyjne Szkół Wyższych

KEJN – Grupy Wspólnej Oceny Grupa Nauk Rodzaj Jednostki Podstawowe Jednostki Organizacyjne Szkół Wyższych Instytuty Polskiej Akademii Nauk Instytuty Badawcze (Inne) 14 października Humanistyczne i Społeczne Ścisłe i Inżynierskie 6 8 5 3 (2) Kategoryzacja JN 2013 o Życiu o Sztuce i Twórczości Artystycznej 3 4 8 2 1 6 (6) 3 (2) 0(1) 3

Podkryteria wg grup nauk i rodzaju Jednostek Naukowych Grupa Nauk Humanist. i Społecznych Kryterium

Podkryteria wg grup nauk i rodzaju Jednostek Naukowych Grupa Nauk Humanist. i Społecznych Kryterium Ścisłych i Inżynierskich o Życiu o Sztuce i Twórczości Artystycznej Publikacje Monografie Patenty Dorobek artyst. Uprawnienia Rozwój kadry Funkcje Projekty Uprawnienia Rozwój kadry Lab. akredytow. Status PIB Środki z projekt. Uprawnienia Rozwój kadry Lab. akredytow. Uprawnienia Rozwój kadry Funkcje Projekty 3. Materialne efekty działalności naukowej Patenty Ekspertyzy Płace ze źródeł zewnętrznych Nakłady na aparaturę i oprogr Ekspertyzy Działania artyst. 4. Pozostałe efekty działalności naukowej Nagrody Konferencje Popularyzacja Specjalne 1. Osiągnięcia naukowe i twórcze 2. Potencjał naukowy 14 października Kategoryzacja JN 2013 4

Wagi kryteriów wg grup nauk i rodzaju Jednostek Naukowych Maksymalna punktacja w ostatecznej ocenie

Wagi kryteriów wg grup nauk i rodzaju Jednostek Naukowych Maksymalna punktacja w ostatecznej ocenie (wagi) Kryterium sposób oceny Nauki Hum. + Społ. Nauki Ścisłe + Inżyn. JU PAN IB Nauki o Życiu JU PAN IB Nauki o Sztuce i Twórczości Artystycznej 1. Osiągnięcia naukowe i twórcze Punkty z listy ministerial-nej i ustalone przez KEJN 65 65 65 35 70 75 60 60 Wg ustalonej punktacji 15 10 10 10 5 20 3. Materialne efekty działalności naukowej Wg ustalonej punktacji 5 15 15 45 15 10 25 5 4. Inne efekty działalności naukowej Ankieta i ZE 15 10 10 10 15 2. Potencjał naukowy 14 października Kategoryzacja JN 2013 5 5 5

KEJN – kategoryzacja Wynik kategoryzacji A B C 14 października Kategoryzacja JN 2013 6

KEJN – kategoryzacja Wynik kategoryzacji A B C 14 października Kategoryzacja JN 2013 6

Etapy procesu oceny jednostek naukowych 1. Klasyfikacja przypisanie jednostek do grup wspólnej oceny (GWO)

Etapy procesu oceny jednostek naukowych 1. Klasyfikacja przypisanie jednostek do grup wspólnej oceny (GWO) 2. Parametryzacja ocena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO 3. Kategoryzacja ustalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+) 4. Odwołania od przyznanej kategorii analiza uwag ogólnych i poszczególnych zdarzeń, wydanie opini KEJN, decyzja Ministra

Przebieg procesu odwoławczego • ICI – przygotowało karty odwołań i uruchomiło system teleinformatyczny •

Przebieg procesu odwoławczego • ICI – przygotowało karty odwołań i uruchomiło system teleinformatyczny • KEJN - powołał ZE i przeszkolił ewaluatorów, którzy dokonali oceny, podsumował wyniki odwołań i dokonał korekt • DN MNi. Sz. W – opracował odwołania, porównał wersje papierowe i elektroniczne, opracował decyzje co do kategorii i każdego pojedynczego zdarzenia ewaluacyjnego • KEJN zakończył pracę 25 lutego 2014 i przekazał wyniki Ministrowi i DN • Minister wyda decyzję co do zmiany kategorii – maj 2014

Najważniejsze problemy z jakością danych • Brak kompleksowego źródła danych, konieczność zbierania informacji z

Najważniejsze problemy z jakością danych • Brak kompleksowego źródła danych, konieczność zbierania informacji z różnych źródeł (wewnętrznych i zewnętrznych). • Duplikaty zgłoszonego dorobku naukowego (np. publikacje, monografie, konferencje, projekty) – brak koordynacji pomiędzy Jednostkami Naukowymi, szczególnie w ramach tej samej uczelni • Problemy z wykazaniem zatrudnienia • Brak należytej staranności przy wypełnianiu ankiety

Proces ewaluacji w liczbach • • Liczba wszystkich jednostek - 962 Całkowita liczba N

Proces ewaluacji w liczbach • • Liczba wszystkich jednostek - 962 Całkowita liczba N - 82 867, 09 • Liczba zgłoszonych zdarzeń ewaluacyjnych (dorobek naukowy): 952 768 • Liczba zdarzeń ewaluacyjnych spełniających warunki formalne oceny: 807 671 • Liczba zdarzeń zakwalifikowanych do kart oceny (po optymalizacji): 424 220 • Liczba zdarzeń wytypowanych przez walidatory do sprawdzenia: 116 843 • Liczba decyzji podjętych przez poszczególnych członków ZE: 187 685 • Liczba wydanych decyzji administracyjnych przyznających kategorię naukową: 962 • Liczba złożonych odwołań od przyznanej kategorii naukowej: 280

Porównanie wyników ewaluacji – kategorie naukowe 2010 vs kategorie naukowe 2013 przed rozpatrzeniem odwołań

Porównanie wyników ewaluacji – kategorie naukowe 2010 vs kategorie naukowe 2013 przed rozpatrzeniem odwołań Ewaluacja 2010 Ewaluacja 2013 8, 0% 3, 8% 7, 3% 42, 2% 50, 5% A 31, 9% B A+ A B C 56, 2% C

Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. grupy nauk Nauki humanistyczne

Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. grupy nauk Nauki humanistyczne i społeczne nowa kat. wzrost bez zmian spadek C B A nowa kat. 7 4 0 1 0 >A C 2 B 7 , A A- + >A , A + B>B C>C B>C A>B A>C B- nowa kat. >B , A- A+ >A , A + B>B C>C B>C A>B A>C 2 >A >B C- + , A >A B- 0 C- wzrost spadek 12 3 >A 4 0 8 C 9 B 1 8 A 10 20 13 C- 37 40 bez zmian C- 56 60 6 4 21 + 96 80 0 33 35 30 25 20 15 10 5 0 , A 92 100 2 Nauki o sztuce i twórczości artystycznej Nauki ścisłe i inżynierskie 120 8 C- >A , spadek 4 0 A bez zmian 8 B- C- >A , B- wzrost 31 , A A- + >A , A + B>B C>C B>C A>B A>C 16 73 32 >B 1 B 2 0 A 3 0 26 C 28 >B >A , A- A+ >A , A + B>B C>C B>C A>B A>C 14 C- A+ 25 65 >A 68 80 70 60 50 40 30 20 10 0 C- 120 A+ 140 120 100 80 60 40 20 0 Nauki o życiu wzrost bez zmian spadek nowa kat.

Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. typu jednostek Uczelnie 350

Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. typu jednostek Uczelnie 350 300 250 200 150 100 50 0 Jednostki PAN 60 289 51 50 40 30 spadek wzrost nowa kat. 3 2 bez zmian spadek C B A >C >B 0 nowa kat. A- 1 1 C , A A- + >A , A + B>B C>C B>C A>B A>C 0 C- >A >B C- + , A >A 1 B 0 B- nowa kat. 3 2 1 1 0 C- wzrost spadek A 1 C 0 B 0 A 2 , A A- + >A , A + B>B C>C B>C A>B A>C 1 4 >A >B C- + , A >A B- 3 2 0 0 4 4 3 0 0 5 31 8 1 Inne jednostki 39 29 0 bez zmian Instytuty badawcze 45 40 35 30 25 20 15 10 5 0 0 >C 0 B- 0 C- C- B- C- bez zmian , A >A C B A , A- A+ >A , A + B>B C>C B>C A>B A>C >B >A + C- , A >A B- wzrost 0 0 >C 3 10 >B 26 C- 38 B- 1 , A + >A , A + 2 A- 16 >B 13 4 + 43 15 20 81 >A 93 A- 150 wzrost bez zmian spadek nowa kat.

Rozkłady kategorii naukowych w poszczególnych grupach nauk przed rozpatrzeniem odwołań Nauki humanistyczne i społeczne

Rozkłady kategorii naukowych w poszczególnych grupach nauk przed rozpatrzeniem odwołań Nauki humanistyczne i społeczne 6, 9%4, 0% Nauki o życiu 8, 6% 3, 9% 27, 1% 37, 8% 49, 8% 62, 0% Kategoria naukowa: A+ Nauki ścisłe i inżynierskie 9, 0% 4, 3% Nauki o sztuce i tw. artystycznej 6, 8%1, 9% 20, 4% 35, 9% 50, 8% 70, 9% A B C

Rozkłady kategorii naukowych w poszczególnych rodzajach jednostek naukowych Jednostki uczelniane 7, 5%3, 0% 29,

Rozkłady kategorii naukowych w poszczególnych rodzajach jednostek naukowych Jednostki uczelniane 7, 5%3, 0% 29, 8% przed rozpatrzeniem odwołań Jednostki PAN 1, 4% 21, 4% 17, 1% Kategoria naukowa: 59, 7% 60, 0% A+ A Instytuty badawcze Inne jednostki C 7, 0%1, 7% 23, 8% 30, 4% 52, 4% 60, 9% B 23, 8%

Zakres rozpatrzonych odwołań od zdarzeń ewaluacyjnych Suma zdarzeń Odwołanie Odwołania faktyczne odwołania od zdarzeń

Zakres rozpatrzonych odwołań od zdarzeń ewaluacyjnych Suma zdarzeń Odwołanie Odwołania faktyczne odwołania od zdarzeń 952 768 5 981 (0, 63%) 3 382 (0, 35%) uznano odwołań - 2 015 (0, 21%) (62, 14%) Inne (np. N i No) 2 599

Odwołania od zdarzeń ewaluacyjnych Zaakceptowane zdarzenia w wyniku odwołań: ilość decyzji podjętych w toku

Odwołania od zdarzeń ewaluacyjnych Zaakceptowane zdarzenia w wyniku odwołań: ilość decyzji podjętych w toku ewaluacji 1. 929 co stanowi 0, 20% zgłoszonych zdarzeń 184. 303 ilość zdarzeń ewaluacyjnych nie zmienionych przez Zespoły ewaluacji 762. 454 Odwołano się od 3. 382 Odwołania od zdarzeń odrzucone: 1 453 co stanowi 0, 15%

Odwołania wg rodzaju Ilość kwestionowanych decyzji o zmianie (obniżeniu punktacji): 211 Ilość kwestionowanych decyzji

Odwołania wg rodzaju Ilość kwestionowanych decyzji o zmianie (obniżeniu punktacji): 211 Ilość kwestionowanych decyzji z powodu algorytmu 3 n-2 n 0: 911 Ilość kwestionowanych decyzji o odrzuceniu zdarzeń: 4869

Zdarzenia zmienione Zaakceptowane odwołania: 50 co stanowi 0, 50% podjętych decyzji Ilość nie kwestionowanych

Zdarzenia zmienione Zaakceptowane odwołania: 50 co stanowi 0, 50% podjętych decyzji Ilość nie kwestionowanych decyzji ZE 9. 729 Ilość kwestionowanych decyzji ZE 211 Odrzucone odwołania: 161 co stanowi 1, 62% podjętych decyzji

Zdarzenia odrzucone Odrzucone Ilość nie kwestionowanych decyzji ZE 27. 687 Ilość kwestionowanych decyzji ZE

Zdarzenia odrzucone Odrzucone Ilość nie kwestionowanych decyzji ZE 27. 687 Ilość kwestionowanych decyzji ZE 3164 Zaakceptowane odwołania: 1. 879 co stanowi 6, 09% podjętych decyzji Odrzucone odwołania: 1. 285 co stanowi 4, 17% podjętych decyzji

Zdarzenia nie ocenione Nie przypisane Zaakceptowane odwołania: 43 co stanowi 0, 03% Ilość nie

Zdarzenia nie ocenione Nie przypisane Zaakceptowane odwołania: 43 co stanowi 0, 03% Ilość nie kwestionowanych decyzji 153. 842 Ilość kwestionowanych decyzji 1. 705 Odrzucone odwołania 1. 662 co stanowi 1, 07% podjętych decyzji

Kryterium I K 1 Ilość zdarzeń w ramach KRYTERIUM I do których nie zostaly

Kryterium I K 1 Ilość zdarzeń w ramach KRYTERIUM I do których nie zostaly zgłoszone odwołania 612. 998 Ilość kwestionowanych decyzji: 3. 671 Zaakceptowane odwołania: 1. 524 co stanowi 0, 25% zgłoszonych zdarzeń Odrzucone odwołania: 2. 147 co stanowi 0, 35% zgłoszonych zdarzeń

Zmiana kategorii jednostki naukowej Jednostki naukowe które nie złożyły odwołania 71% Jednostki naukow e

Zmiana kategorii jednostki naukowej Jednostki naukowe które nie złożyły odwołania 71% Jednostki naukow e które złożyły odwołanie Ta sama kategoria 24% 29% Awans 5%

Zmiana kategorii jednostki naukowej LISTA Ilość wszystkich jednostek naukowych Ilość jednostek naukowych które złożyły

Zmiana kategorii jednostki naukowej LISTA Ilość wszystkich jednostek naukowych Ilość jednostek naukowych które złożyły odwołania Awans w wyniku rozpatrzonego odwołania Zmiany w ramach kategorii Ostateczna Ilość jednostek naukowych 37 2 - 0% 45 (4, 6%) A 307 60 8 3% 339 (35, 2%) B 541 185 32 6% 551 (57, 2%) C 77 33 10 12% 67 (7, 0%) 962 280 50 5% A_PLUS RAZEM 962

Plany KEJN odnośnie OCENY JN w 2017 • 1. Ogólna zasada przeprowadzenia Oceny JN,

Plany KEJN odnośnie OCENY JN w 2017 • 1. Ogólna zasada przeprowadzenia Oceny JN, w tym dobór kryteriów • 2. - Wybrane problemy szczegółowe N i No GWO i jednostki heterogenne Jednostki referencyjne i porównanie parami Monografie Publikacje w czasopismach Wagi i kryterium IV Pozycja międzynarodowa Dorobek artystyczny Co usunąć i uprościć, a co dołożyć?

Kryterium II K 2 Ilość zdarzeń w ramach KRYTERIUM II do których nie zostaly

Kryterium II K 2 Ilość zdarzeń w ramach KRYTERIUM II do których nie zostaly zgłoszone odwołania 87. 291 Ilość kwestionowanych decyzji: 348 Zaakceptowane odwołania: 148 co stanowi 0, 17% zgłoszonych zdarzeń Odrzucone odwołania 200 co stanowi 0, 23% zgłoszonych zdarzeń

Kryterium III K 3 Ilości zdarzeń w ramach KRYTERIUM III do których nie zostały

Kryterium III K 3 Ilości zdarzeń w ramach KRYTERIUM III do których nie zostały zgłoszone odwołania 91. 910 Ilość kwestionowanych decyzji: 462 Zaakceptowane odwołania: 298 co stanowi 0, 32% zgłoszonych zdarzeń Odrzucone odwołania 164 co stanowi 0, 18% zgłoszonych zdarzeń

Kryterium 4 767 33 129 Zaakceptowane odwołania: 33 Jednostki nauk owe które nie zgłosiły

Kryterium 4 767 33 129 Zaakceptowane odwołania: 33 Jednostki nauk owe które nie zgłosiły odwołania 800 Ilość odowołań 162 Odrzucone odwołania 129