Portal środowiska akademickiego i naukowego

7 lutego 2011

Ministerstwo Nauki i Szkolnictwa Wyższego

Parametryzacja nauk społecznych 2010

Latem 2010 r. Ministerstwo Nauki i Szkolnictwa Wyższego przeprowadziło parametryzację jednostek naukowych (JN). Rok i pora roku są tu istotne. Poprzednia parametryzacja odbyła się w 2005  r. i obejmowała lata 2001-04. Następna powinna odbyć się najpóźniej w 2009 r., ale w związku z przygotowywaną reformą nauki, przewidującą m.in. powołanie osobnego Komitetu Ewaluacji Jednostek Naukowych, (KEJN) Minister przełożył ją na rok 2010. Wobec przedłużających się prac nad reformą, Minister zamierzał przesunąć parametryzację na kolejny rok, ale pod wpływem Rady Nauki uznał ją za konieczną i wykonalną jeszcze w tym roku.

Procedura zbierania ankiet od JN została rozpoczęta dopiero w czerwcu, z terminem 15 lipca, co mogło mieć wpływ na jakość nadsyłanych danych. Także instrukcja Ośrodka Przetwarzania Informacji (OPI) rozsyłana  JN informowała je że „ze względu na narzucone przez MNiSW terminy przygotowania danych do oceny, Ankiety nie będą w OPI sprawdzane pod kątem poprawnego wypełnienia” (!).

Celem parametryzacji była nie tylko aktualizacja ocen JN, ale także motywujące premiowanie publikowania prac wysokiej jakości – za takie uznano monografie autorskie oraz publikacje w dobrych czasopismach naukowych, zwłaszcza w wysoko notowanych periodykach wydawanych w języku angielskim. „Tylko takie publikacje  trafiają do światowego strumienia nauki, czynią naukę polską dostępną dla świata, ułatwiają zaawansowaną kooperację naukową i zdobywanie międzynarodowych grantów, a do tego świat ogląda nas przez indeksy cytowań” (z wystąpienia wiceministra ds. nauki). W nowej parametryzacji o kategorii JN bardziej miały decydować jej wartościowe produkty niż same zasoby, np. nie liczba profesorów, ale dobrych publikacji; nie liczono też nadanych doktoratów czy uzyskanych grantów, gdyż te powinny się kończyć liczącymi się publikacjami.

Zasady parametryzacji ustalone przez Ministra (Rozp. MNiSW z dn. 25.05.2010, Dz.U. 2010 poz. 599) uwzględniały wiele uwag zgłoszonych po parametryzacji 2005.

1. JN w humanistyce (naukach humanistycznych i społecznych) były oceniane wg innych kryteriów niż w naukach ścisłych, technicznych i naukach o życiu.  Tylko w humanistyce  punktowano autorskie podręczniki akademickie, a w filologiach publikacje w „języku podstawowym dla dyscypliny” (francuskim dla romanistyki, polskim dla polonistyki itp.) ceniono tak wysoko jak prace w języku angielskim we wszystkich innych naukach. W humanistyce premiowano nie tylko publikacje wyróżnione w filadelfijskim Journal Citation Reports (JCR), ale i notowane w European Resarch Index for Humanisties (ERIH). Jest rzeczą do dyskusji, w jakiej mierze te kryteria nie były nadal obciążone modelem science, w której podstawowym rodzajem publikacji jest artykuł w specjalistycznym czasopiśmie, a podstawowym językiem jest angielski.

2. Utworzono 23 „grupy jednorodne” (GJ) dyscyplin i rozdzielono między nie oceniane JNi. W GJ „nauki społeczne” umieszczono pedagogikę, politologię, psychologię i socjologię. Oceniano  podstawowe jednostki szkół wyższych, więc  problemem był przydział JN złożonych z różnych instytutów, np. filozofii, socjologii i psychologii, czy historii i socjologii, gdyż np. filozofia i historia należą do innych GJ niż GJ „nauki społeczne”.  Projekt przydziału JN do GJ został ogłoszony i niektóre JN skorzystały z możliwości wskazania dla siebie miejsca w innej GJ niż zaproponowana. Niektóre instytuty nauk społecznych, zwł. socjologii zostały skategoryzowane w GJ: „nauki o kulturze, filozofia, nauki teologiczne” „nauki historyczne” i „nauki ekonomiczne” – wraz z wydziałami, których są częściami.

Trzeba mieć na uwadze, że uzyskane przez jednostki oceny dotyczą ich jako całości, a nie każdego z ich składowych instytutów. Najwięcej wysokopunktowanych prac notowanych w JCR i ERIH piszą psychologowie, co zapewniło najwyższe rangi instytutom i wydziałom psychologii, ale także dawało wysokie pozycje innym wydziałom, w których istnieją instytuty psychologii.

3. Kategoryzacja dokonywała się w obrębie GJ, więc bardzo różne profilem JN nie konkurowały między sobą. Przewidziano 5 kategorii (1-5), przy czym do kat. 1 miało być zaliczone nie więcej niż 30%, a do grupy 1 i 2 łącznie nie więcej niż 50% ocenianych JN. Następnie kat. 1 stała się kat. A; kat. 2 i 3 zostały połączone w kat B, a kat. 4 i 5 – w kat. C. Wprowadzenie progów procentowych zmieniało istotnie sens kategorii, zwłaszcza kat. 1 – liczba JN tej kategorii, znaczna przy poprzedniej kategoryzacji  musiała się zmniejszyć; kategoria 1 stała się bardziej elitarną.

4. Ocena jednostki nie zależała już od liczby publikacji, ale od ich jakości. Punktowanych było tylko 3N najlepszych publikacji pracowników jednostki  zatrudnionych w działalności B+R, gdzie N to liczba takich pracowników. Dobra jednostka to taka, w której powstaje dużo dobrych publikacji, a reszta publikacji się nie liczy.

5. Nie było możliwości, inaczej niż w 2005 r., przyznawania JN punktów za pozycję międzynarodową  – o tej decyduje jej publikowany dorobek.

6. Przewidziano też punktowanie „uczestnictwa jednostki w projektach Programów Ramowych lub innych konkursach UE”; potem uściślono to i liczono tylko projekty badawcze w ramach PR-6, PR-7, Inicjatywy Wspólnotowej i paru innych, w socjologii bardzo rzadko spotykanych programów, np. Euratom.

W ankietach jednostki przedstawiały cały swój dorobek,, a program komputerowy wybierał z niego - tylko! - 3N najwyżej punktowanych publikacji.

1. Najpierw program wybierał artykuły z czasopism wyróżnionych w JCR (min. 12 pkt), potem z wyróżnionych w ERIH (min. 10 pkt), potem z czasopism z listy MNiSW (9, 6, 2, 1 pkt), aż doszedł do ½ N artykułów. Zasady parametryzacji wymagały, by w 3N publikacji prace inne niż artykuły nie stanowiły więcej niż 50%. Mocne jednostki wypełniały to  ½ N artykułami za przynajmniej 9 pkt, słabsze musiały sięgać po artykuły za 6 pkt itd. Były jednak  i takie, w których pracownicy w ciągu czterech lat nie opublikowali nawet 1.5 choćby najniżej punktowanego artykułu – takie jednostki zostawały z „zerami”, nie mogły ich zastąpić np. rozdziałami w pracach zbiorowych.

2. Następnie system wybierał monografie i podręczniki – najpierw w jęz. angielskim (24 pkt), a potem polskim i wszystkich innych (12 pkt). Potem wybierał rozdziały z prac zbiorowych w jęz. ang. (8 pkt) oraz w jęz. polskim i innych językach (3 pkt). Oczywiście, jeśli jednostka miała dużo monografii i rozdziałów w jęz. ang., to nie były jej już potrzebne najniżej punktowane rozdziały w krajowych pracach zbiorowych. W istocie dobre jednostki w ogóle nie sięgały do takich publikacji, czasem nie sięgały nawet do 8-pktowych rozdziałów w pracach anglojęzycznych, gdyż miały zapas 9-pktowych artykułów z najlepszych czasopism i nimi dopełniały swoje 3 N najlepszych publikacji. Publikowanie w pracach zbiorowych  i tomach pokonferencyjnych nie opłacało się – opłacało się publikować w dobrych recenzowanych czasopismach.

3. Poza 3N liczona była redakcja pracy zbiorowej i serii wydawniczej - w jęz. angielskim (5 pkt) oraz w jęz. polskim i wszystkich innych (3 pkt), a także „redaktorstwo naczelne” czasopisma (2 x l. pkt czasopisma).

4. Do tego program dodawał punkty za uprawnienia do nadawania stopnia dra hab. (150) i dra (50), za uczestnictwo w projektach UE (po 50 pkt) i za koordynację tych projektów (po 150, a wyjątkowo także za zarobione przez JN pieniądze na badaniach. Wszystko to dzielił  przez N (średnia zatrudnienia w l. 2005-09). W ten sposób powstawał współczynnik efektywności E, który wyznaczał rangę, a w konsekwencji i kategorię JN

Informacje przesłane przez JN nie były sprawdzane ani przez OPI, ani przez jego program komputerowy. Były weryfikowane przez zespoły robocze Rady Nauki; w przypadku GJ nauk społecznych - przez prof. Jerzego Brzezińskiego (WNS UAM) i prof. Antoniego Sułka (WFiS UW). Sprawdzono, rekord po rekordzie, ankiety wszystkich 84 jednostek: czy podawane prace spełniają ustalone kryteria, czy ich punktacja jest poprawna, czy prace się nie powtarzają, czy nie są podawane równocześnie w kilku jednostkach zatrudnienia itd. Ostatnie zadanie było szczególnie trudne z powodu braku wyszukiwarki w programie komputerowym, na szczęście przypadki niejednokrotnego podawania swoich prac zdarzały się rzadko. Nie do zweryfikowania był stan zatrudnienia, ale obniżanie N w celu zwiększania E tylko pozornie by się opłacało, gdyż wysokość dotacji statutowej zależy także od zatrudnienia. Weryfikacja polegała też na czyszczeniu początkowego zbioru 3N prac – na ich miejsce program pobierał kolejne „najlepsze prace” itd. Cała procedura weryfikacyjna w GJ nauki społeczna wymagała dwóch tygodni pracy dwóch osób przy komputerze

Aby procedurze weryfikacji zapewnić wysoką rzetelność (niezależność wyniku od okoliczności pomiaru, w tym osoby weryfikatora) na bieżąco konsultowaliśmy ze sobą nowe i nietypowe sytuacje oraz wzajemnie  sprawdziliśmy ankiety instytucji, w których pracujemy. Bardzo mało różniąca się o siebie punktację JN znajdujących się blisko progów oddzielających kategorie, zwł. kat. 1 od kat. 2 sprawdziliśmy kilkakrotnie.

W ogłoszonych wynikach kategoryzacji niektórzy kierownicy JN z zaskoczeniem zobaczyli wyniki nawet dwa razy  niższe od tych, które sami sobie wyliczyli oraz kategorie niższe niż się spodziewali. Skąd te różnice?

1. Z wpisywania innych projektów niż projekty badawcze UE, zwł. licznych projektów edukacyjnych i wymiany studentów; pewna JN wpisała sobie za takie projekty kilka tysięcy punktów, tyle ile za publikacje; inna wpisała koordynację trzech projektów UE, choć jest w nich tylko partnerem .

Zweryfikowane punktacja tych JN, które starannie przestudiowały zasady parametryzacji i przygotowały swoje ankiety, bardzo mało różniła się od ich punktacji wyjściowej.

Wyniki parametryzacji (E i kategoria) zostały ogłoszone 30 września i są dostępne  na stronie MNiSW www.nauka.gov.pl po wybraniu z menu pozycji „nauka” oraz na stronie OPI www.nauka-polska.pl po wybraniu z menu pozycji „ankieta jednostki”, a następnie „ocena parametryczna”. Ministerstwo przyjmowało spontaniczne odwołania (nie ogłosiło oficjalnie, że od decyzji o nadaniu kategorii można się odwoływać). Odwołania rozpatrywał powołany w tym celu zespół, już bez udziału osób, które poprzednio oceniały te jednostki. Odwołania kilku jednostek z GJ „nauki społeczne” nie przyniosły zmian ich kategorii

Współczynniki efektywności E zostały uzyskane wielkim nakładem pracy – od wypracowanie kryteriów oceny, przez szczegółowe sprawozdania JN za cztery lata, komputerowe przetwarzanie danych, aż do szczegółowej weryfikacji ankiet (wykonanej przez kilkudziesięciu profesorów, często nawet członków PAN!). Wyliczono je z wielką dokładnością, do 1/100, niewspółmierną do precyzji danych wyjściowych, bo np. wszystkie monografie, inaczej niż artykuły, liczone były tak samo, bez względu na ich wartość naukową. Te współczynniki posłużyły tylko do jednego celu – podziału JN ostatecznie na trzy kategorie: A, B i C.  Nie ma znaczenia, czy w naukach społecznych JN ma E = 30 czy 15 pkt.;  taka jest rozpiętość między 30 krańcowymi JN w kat. B. To tak, jakby zmierzyć ludzi miarką milimetrową, a potem podzielić ich na wysokich, bardzo niskich i całą resztę.

Dokonana kategoryzacja ma swoje konsekwencje, nie tylko prestiżowe. Jednostki kat A. otrzymają  wyższe dotacje statutowe niż kat. B, a kat. C niższe niż B. Kategoria  będzie też brana pod uwagę przy rozdziale przez MNiSW  innych funduszy, np. dotacji aparaturowych i budowlanych. Także kandydatów do Rady Narodowego Centrum Nauki mogły zgłaszać tylko jednostki kat. A

W podanych na stronie OPI „karta oceny” można obaczyć ile punktów i za co każda jednostka otrzymała. Można się w tych danych przejrzeć i porównać się z innymi  dla zaspokojenia ciekawości, ale bardziej jeszcze dla  pożytku. Tym jest pobudzanie rozwoju swoich instytutów i wydziałów w kierunkach, które – jak wskazuje Ustawa o zasadach finansowania nauki (Dz.U. 2010 poz. 615) – także i w przyszłości będą kierunkami preferowanymi i „nagradzanymi”.

Wedle. tej ustawy powołany w końcu 2010 r. KEJN  w ciągu dwóch lat dokona ponownej oceny parametrycznej jednostek i podzieli je na 4 kategorie:  A+ (poziom wiodący), A  (bardzo dobry), B (zadowalający) i C (niezadowalający). Przedtem KEJN ustali nowe kryteria oceny jednostek. Zapewne, wykorzystując doświadczenia parametryzacji 2010 wypracuje lepsze kryteria ocen. Podstawą ocen JN ma być jednak  „poziom naukowy prowadzonych badań” oraz „efekty działalności naukowej w odniesieniu do standardów międzynarodowych, w tym zwłaszcza publikacje autorstwa pracowników jednostki naukowej w renomowanych wydawnictwach oraz monografie naukowe ---, a także --- znaczenie działalności jednostki naukowej dla rozwoju nauki w skali międzynarodowej”. Ω

prof. Antoni Sułek

Instytut Socjologii UW

suleka@is.uw.edu.pl