Komitet Ewaluacji Jednostek Naukowych Kategoryzacja Jednostek Naukowych 2013

Komitet Ewaluacji Jednostek Naukowych Kategoryzacja Jednostek Naukowych 2013 Bożenna Kawalec-Pietrenko, Maciej Zabel, Stanisław Kistryn Łódź, 22. 06. 2012 1

NAJWAŻNIEJSZE RANKINGI UNIWERSYTETÓW 1. Ranking Uniwersytetu Shanghai Jiao 2. THE – QS World University Rankings (The Times Higher Education oraz organizacja Quacquarelli Symonds) 3. Webometrics Ranking of World Universities (opracowuje Hiszpańska. Narodowa Rada Badawcza) 4. G – Factor 5. Global University Ranking (niezależna agencja rosyjska ) 6. HEEACT – Performance Ranking of Scientific Papers for World Universities (ranking Tajwańskiej Rady Oceny i Akredytacji Szkolnictwa Wyższego) 2

Światowy ranking uniwersytetów - 2010 1 USA Harvard University 11 USA Uni. of California, Los Angeles 2 USA California Inst. of Technol. 12 USA University of Chicago 3 USA Massach. Inst. of Technol. 13 USA Johns Hopkins University 4 USA Stanford University 14 USA Cornell University 5 USA Princetown University 15 SWI 6 UK University of Cambridge 16 USA University of Michigan 6 UK University of Oxford 17 Can 8 USA Uni. of California, Berkeley 18 USA Columbia University 9 UK 19 USA University of Pensylwania Imperial College, London 10 USA Yale University ETH Zurich University of Toronto 20 USA Carnegie Mellon University 3

ENGINEERING AND TECHNOLOGY UNIVERSITIES 13. 10. 2011 1 USA California Inst. of Technology 11 USA Georgia Institute of Technol. 2 USA Massachusetts Inst. of Techn 12 USA Carnegie Mellon University 3 USA Princetown University 13 USA Uni of Texas at Austin 4 USA Uni of California, Berkeley 14 USA University of Michigan 5 USA Stanford University 15 USA Cornell University 6 UK University of Cambridge 16 USA Uni. California, Santa. Barbara 7 UK University of Oxford 17 USA Uni Illinois. Urbana. Champaign 8 USA Uni of California, Los. Angeles 18 CAN University of Toronto 9 SWI ETHZurich Swiss Federal Inst. 19 SIN G National University of Technology of Singapore 20 SWI Ecole Polytechnique Imperial College London Federale de Lausanne 10 UK 4

Miejsca „polskich” nauk ścisłych wg liczby publikacji w rankingu światowym 2010 Fizyka Matematyka Materiałoznawstwo Astrofizyka Nauki inżynierskie Informatyka 12 12 14 15 23 23 1998 -2002 12 13 12 16 23 27 5

WIELKA BRYTANIA Jeden z najbardziej zaawansowanych systemów ewaluacji w Europie. 1986 - po raz pierwszy przeprowadzono Research Assessment Exercises (RAE); następne: 1989; 1992; 1996 itd. 6

c. d. ANGLIA RAE DEFINICJA BADAŃ NAUKOWYCH Badania oryginalne podjęte w celu zdobycia wiedzy obejmują: - pracę bezpośrednio powiązaną z potrzebami przemysłu i handlu oraz sektora publicznego; - tworzenie idei, wyobrażeń, dokonań, gdy prowadzi to do nowych lub istotnie ulepszonych przedsięwzięć; - pracę w celu wytworzenia istotnie lepszych materiałów, urządzeń, produktów i procesów włączając w to ich projektowanie i konstrukcje; -wykorzystanie aktualnej wiedzy w pracach eksperymentalnych; . wykluczają natomiast: rutynowe testowanie i analizę materiałów, składników i procesów w odróżnieniu od rozwoju nowych technik analitycznych! 7

STRUKTURA KOMITETU KEJN -Komisja ds. Grupy Nauk Ścisłych i Inżynierskich - Komisja ds. Grupy Nauk o Życiu - Komisja ds. Grupy Nauk Humanistycznych i Społecznych - Komisja ds. Grupy Nauk o Sztuce i Twórczości Artystycznej Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 8

KEJN – ocena działalności JN 2013 Cele - uzyskanie informacji dotyczących JN (jednostek naukowych) - ustalenie kategorii JN (A+, A, B, C) - ukierunkowanie rozwoju JN Ważniejsze terminy 1. Przygotowanie założeń 2. Rozporządzenie 3. Nadsyłanie ankiet 4. Zakończenie parametryzacji i ustalenie kategorii Łódź, 22. 06. 2012 -czerwiec 2011 -czerwiec 2012 - marzec 2013 - 30. 09. 2013 KEJN - Kategoryzacja Jednostek Naukowych 2013 9

KEJN – główne etapy procedury oceny 1. Klasyfikacja Przypisanie jednostek do grup wspólnej oceny (GWO) 2. Parametryzacja Ocena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO 3. Kategoryzacja Ustalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+) Projekt rozporządzenia z dnia 20. 04. 2012 Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 10

Grupy Wspólnej Oceny 1. Grupa dziedzin nauki wspólne kryteria w ramach każdej grupy 2. Rodzaj jednostki (jedn. uniw. ; inst. PAN; inst. bad. ) wspólne wagi kryteriów w ramach rodzaju 3. Określenie przynależności JN do GWO Dla każdej GWO wspólne kryteria, parametry i progi poszczególnych wymogów oraz jednostki referencyjne Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 11

Grupy Wspólnej Oceny - wynik prac wstepnych Grupy Nauk Rodzaj Jednostki Podstawowe Jednostki Organizacyjne Szkół Wyższych Instytuty Polskiej Akademii Nauk Instytuty Badawcze Łódź, 22. 06. 2012 Humanist. i Społeczne Ścisłe i Inżyn. o Życiu o Sztuce i Twórcz Artyst. 6 7 7 4 2 4 4 6 1 KEJN - Kategoryzacja Jednostek Naukowych 2013 12

Najważniejsze nowe elementy oceny JN 1. Kryteria oceny z ustalonymi wagami: 1. Osiągnięcia naukowe i twórcze 2. Potencjał naukowy 3. Efekty materialne działalności naukowej 4. Pozostałe efekty działalności naukowej 3. Kategoryzacja - metoda porównań parami z uwzględnieniem jednostek referencyjnych 4. Ocena parametryczna prowadzona przez Zespoły Ewaluacji. Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 13

Podkryteria wg grup nauk i rodzaju JN Grupa Nauk Humanist. Kryterium Ścisłych i Społeczn. i Inżyniersk. o Życiu o Sztuce i Twórczości Artystycznej 1. Osiągnięcia nauk. i twórcze Publikacje Monografie Patenty izgł. Publikacje Monografie Patenty Dorobek art. 2. Potencjał naukowy Uprawnienia Rozwój kadry Funkcje Projekty Uprawnienia Rozwój kadry Lab. akredyt. Status PIB Środki z proj. Uprawnienia Rozwój kadry Funkcje Projekty Nagrody Konferencje Popularyzacja Specjalne 3. Efekty material Patenty ne działalności Ekspertyzy naukowej 4. Inne efekty działalności naukowej Nagrody Konferencje Popularyzacja Specjalne Łódź, 22. 06. 2012 Uprawnienia Rozwój kadry Lab. akredyt. Ekspertyzy Płace brut. ze Płace ze źródeł zewn. Działania Nakłady na artyst. apar. ioprogr. apar. i oprogr. Nagrody Konferencje Popularyzacja Specjalne KEJN - Kategoryzacja Jednostek Naukowych 2013 14

Wartości punktowe kryterium 1. Osiągnięcia naukowe i twórcze Publikacje: Lista A 20 50 Lista ERIH 12 20 Monografie: 20 25 Patenty: 25 (+ 25) Wzory użytkowe: 10 (+ 10) Łódź, 22. 06. 2012 Lista B do 10 KEJN - Kategoryzacja Jednostek Naukowych 20139 15

Wagi kryteriów wg grup nauk i rodzaju JN Wagi Kryterium 1. Osiągnięcia naukowe i twórcze 2. Potencjał naukowy 3. Materialne efekty działalności naukowej 4. Inne efekty działalności naukowej Łódź, 22. 06. 2012 Sposób Nauki Hum. N. Ścisłe i Inż. N. o Życiu JU PAN IB oceny i Społ. Punkty z 65 65 35 70 75 60 65 listy min. i ustalone przez. KEJN Wg ustalonej punktacji 15 Ankieta Zesp. Ew. 10 10 10 5 5 Nauki o Sztuce i Twórczości Artystycznej 60 5 20 5 15 15 45 15 10 25 5 15 10 10 10 15 KEJN - Kategoryzacja Jednostek Naukowych 2013 16

Kategoryzacja 1. Określenie kategorii A, B i C - porównanie parami z uwzględnieniem jednostek referencyjnych 2. Określenie kategorii A+ - ocena ekspercka A+ - poziom wiodący A - poziom bardzo dobry B - poziom akceptowalny z rekomendacją wzmocnienia działalności nauk. , bad. -rozw. lub stymulujacej rozwój gospodarki C - poziom niezadowalający. Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 17

KEJN – kategoria A + ► Wymóg podstawowy Jednostka kategorii A; wynik z procedury rankingu w górnych ok. 25% w danej grupie wspólnej oceny ► Zestaw dodatkowych kryteriów. Opis własnych najważniejszych osiągnięć: cytowania, punktacja najlepszych prac, nagrody, prestiżowe granty, funkcje we władzach naczelnych naukowych organizacji międzynarodowych, Komitetach PAN, przychód z zastosowań wyników badań. ► Audyt Ewentualna wizyta Zespołu Ewaluacji w JN Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 18

Uzasadnienie wyboru metody. PUNKT WYJŚCIA BRAK PEWNOŚCI, ŻE WYBÓR BEZPOŚREDNI JEST OPTYMALNY! PRZYKŁADY WYBORU 1. Wybór kandydata na dane stanowisko pracy. Trzeba porównać stopień spełnienia przez kandydatów kryteriów wymaganych na danym stanowisku tj. wykształcenie, staż pracy, znajomość j. obcych, itd. 2. Przetarg. Trzeba uwzględnić różne kryteria. Niestety obecnie zwykle decyduje tylko cena, co zresztą spotyka się z bardzo szeroką krytyką. Zatem wybór bezpośredni nie jest wyborem optymalnym! Stąd decyzja KEJN-u o zastosowaniu w kategoryzacji metody wielokrotnego wyboru. Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 19

Wymagana procedura 1. Ustalenie kryteriów wyboru z przypisaną im miarą. 2. Ustalenie wag kryteriów. 3. Obliczenie dla wszystkich JN wartości miar w obszarze każdego kryterium. 4. Wybór obiektu w wyniku przeprowadzenia porównań parami każdego z każdym w odniesieniu do poszczególnych kryteriów. Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 20

Ustalenie kryteriów wyboru - Zasada: prawidłowe kryterium = jednoznaczna definicja włączająca miarę kryterium. - Metoda „burzy mózgów” lista kryteriów. Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 21

KEJN – kategoryzacja *Ranking pozornie oczywisty: ● Porównanie jednostek (dane z ankiet) ● Uporządkowanie wg wyników *Oceny wg 4 kryteriówniewspółmierne Problem wielokryterialnego porządkowania A n k i e t a J N JN p 1 p 2 p 3 p 4 Porównanie jednostek parami w ramach GWO: dla każdej pary JN X i Y porównanie ocen każdego spośród kryteriów„i” (i = 4) z osobna, Pi(X)↔ Pi(Y) wynik punktowy Ri Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 22

KEJN – kategoryzacja Identyczna zasada porównań ocen P danych dwóch JN w odniesieniu do każdego kryterium– relacja przewyższania) Ri ocena jednostki Y ocena jednostki X +1 0 –G –D D G p. X – p. Y – 1 D – próg nierozróżnialności; G – próg pełnego przewyższania D = α ∙ min(p. X, p. Y); G = m ∙ D (n. p. α = 0. 1, m = 3) Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 23

Dokonany wybór jest wyborem optymalnym powstałym w wyniku porównania wszystkich JN każda z każdą w obszarze każdego kryterium. Metoda optymalnego wyboru jest wprawdzie pracochłonna, ale powinno zależeć nam na stosowaniu obiektywnych rozwiązań, mimo że dziel i rządź jest pokusą wielu demokracji (cyt). Stąd decyzja KEJN-u dot. wyboru wyżej opisanej metody. Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 24

KEJN – kategoryzacja Przykład Porównanie ocen dla każdego z i=4 kryteriów pi. X ↔ pi. Y → Ri Wynikiem porównania pary X i Y byłaby dla każdej z nich suma punktów z 4 porównań każdej pary ocen (wszystkie kryteria), czyli liczba z zakresu – 4 do + 4 X A n k i e t a J N p 1 p 2 p 3 p 4 R 1 R 2 R 3 R 4 p 1 p 2 p 3 p 4 A n k i e t a Y J N Kryteria nie są tak samo istotne �wagi (mnożące Ri) Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 25

KEJN – kategoryzacja Ranking Porównanie ocen dla każdego ● Porównanie jednostek parami Z i=4 kryteriów pi. X ↔ pi. Y → Ri ważoną relacją przewyższania Jednostki otrzymują punkty ● Uporządkowanie wg wyników w zakresie (–gi ÷ gi ). X A n k i e t a J N p 1 p 2 p 3 p 4 g 1 R 1 g 2 R 2 g 3 R 3 g 4 R 4 Łódź, 22. 06. 2012 p 1 p 2 p 3 p 4 A n k i e t a J N Y Wynikiem porównania pary jednostek jest dla każdej z nich suma punktów z 4 porównań par ocen (wszystkie kryteria). Jednostki szeregowane są wg sumy punktów powstałej ze wszystkich porównań dokonanych w parach. KEJN - Kategoryzacja Jednostek Naukowych 2013 26

KEJN – kategoryzacja Wynik rankingu (porównania parami): Każdej jednostce (w grupie wspólnej oceny) przypisana punktacja Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 27

KEJN – kategoryzacja ► Ranking nie jest celem – jest tylko etapem pośrednim, bo konieczne jest porównanie punktacji jednostek z wzorcem ► Jednostki referencyjne – postawione będą minimalne wymagania co do wartości kryteriów P 1, …, P 4 dla przekroczenia progów kategorii A (B→A) i B (C→B) (z analizy statystycznej zakresu wartości każdego z kryteriów oraz poprzez odniesienie do standardów światowych) ► Kategoryzacja - włączenie jednostek referencyjnych AB i BC do rankingu; odniesienie punktacji każdej jednostki do wyniku rankingu jednostek referencyjnych AB i BC Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 28

KEJN – kategoryzacja Wynik kategoryzacji A B C Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 29

Przykład porównania parami Znaczenie wag (gi Ri) R(Y) Progi: D = 0, 1 , G = 0, 3 Y P 1 90 70 P 2 300 P 3 2000 P 4 7 Ri R(X) 0 –G X +1 –D – 1 D G p. X – p. Y X Y R 1 +0, 93 -0, 93 3000 R 2 0 0 9 R 3 -1, 00 +1, 00 R 4 -0, 93 +0, 93 JU (wagi 70/10/15/5) : O(X) = +45, 4 , O(Y) = – 45, 4 IB (wagi 40/10/45/5) : O(X) = – 12, 5 , O(Y) = +12, 5 Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 30

Przykład porównania parami Znaczenie funkcji przewyższania („wysycenie” Ri) R(Y) Ri +1 R(X) 0 Progi: D = 0, 1, G = 0, 3 Wagi: 70 / 15 / 5 –G D –D – 1 G p. X – p. Y X Y P 1 90 75 P 2 300 350 P 3 2000 25000 P 4 7 8 O(X) = +19, 3 , O(Y) = – 19, 3 Łódź, 22. 06. 2012 O(X) = +15, 6 , O(Y) = – 15, 6 KEJN - Kategoryzacja Jednostek Naukowych 2013 31

Przykład porównania parami Znaczenie „słabego” kryterium (ocena Zespołu Ewaluacji) R(Y) Ri +1 R(X) 0 Progi: D = 0, 1, G = 0, 3 Wagi: 70 / 15 / 5 –G D –D – 1 G p. X – p. Y X Y P 1 90 77 400 P 2 300 400 2000 10000 P 3 2000 10000 7 10 P 4 7 5 X Y P 1 90 77 P 2 300 P 3 P 4 O(X) = – 5, 9 , O(Y) = + 5, 9 Łódź, 22. 06. 2012 O(X) = + 4, 1 , O(Y) = – 4, 1 KEJN - Kategoryzacja Jednostek Naukowych 2013 32

Dziękuję za uwagę Łódź, 22. 06. 2012 KEJN - Kategoryzacja Jednostek Naukowych 2013 33