Marcin Miłkowski
Wkrótce nastąpi zmiana ministra odpowiedzialnego za naukę i szkolnictwo wyższe. Dlatego właśnie teraz warto wrócić do sprawy oceny jednostek naukowych, zwanej w biurokratycznej nowomowie „ewaluacją”. Wiele osób zwraca uwagę, że w tej ocenie dochodzi do nieprawidłowości, spodowowanych chociażby podwyższaniem przez ministra Czarnka punktacji lokalnym czasopismom o dosyć wątpliwej naukowej renomie. Tylko że próby naprawy są bezcelowe.
Ewaluacja jest niepotrzebna, droga, a w ostatecznym rozrachunku szkodliwa.
W 1902 roku w Hanoi była dżuma. Francuskie władze kolonialne postanowiły zwalczyć epidemię, wybijając szczury. Sami nie dali rady. Poprosili o pomoc mieszkańców. Ponieważ administracja nie chciała gromadzić ciał zakażonych dżumą szczurów, dawano nagrody za zbieranie samych ogonów na dowód zabicia szczura. Już wkrótce na ulicach miasta paradowały szczury z obciętymi ogonami. Dalej się rozmnażały, zwiększając zyski zbieraczy ogonów. Na papierze sukces, w rzeczywistości dżuma.
Ewaluacja jest zbieraniem szczurzych ogonów. Są dwa obozy: zwolennicy skomplikowanych obliczeń na ogonach zgodnie z międzynarodowymi standardami ogonoznawstwa oraz zwolennicy eksperckiego analizowania ogonów. Oba podejścia są błędne.
Rzecz w tym, że ewaluacja nie ma sensu, gdy weźmiemy pod uwagę koszty w stosunku do uzyskiwanych celów. Nie ma ona bowiem bezpośredniego wpływu na poziom finansowania ocenianych jednostek. Ten nigdzie wprost nie został uzależniony od wyniku oceny, bo zdarzały się wygrane jednostek naukowych w sądzie, a ministerstwo nie chciało wyrównywać błędnie zaniżonego poziomu subwencji. Być może ministerstwo bierze wyniki ewaluacji pod uwagę przy przydzielaniu subwencji, ale nie wiadomo jak. Jest to całkowicie nieprzejrzyste, nawet wtedy, gdy jednostka naukowa ma ocenę negatywną – wiadomo tylko, że ma mieć mniejsze dofinansowanie.
Wyniki ewaluacji nie mają wcale dominującego wpływu na poziom finansowania ocenianych jednostek. W przypadku uczelni nieznacznie modyfikuje ¼ części zmiennej subwencji (stanowiącej docelowo 75% całej subwencji), zależącej przede wszystkim od poziomu zatrudnienia na etatach badawczych, a znaczna obniżka występuje tylko przy uzyskaniu kategorii C (rzadkość). Nieco gorzej jest w przypadku instytutów PAN, które mają osobowość prawną i są dosyć małe – tu niewielkie nawet fluktuacje, zwłaszcza w dziedzinach humanistycznych społecznych, potrafią sporo zepsuć.* Ewaluacja wpływa za to bezpośrednio na dosyć nonsensownie skonstruowany katalog uprawnień, na przykład:
- uprawnienia do prowadzenia kierunków studiów,
- uprawnienia do prowadzenia szkół doktorskich,
- uprawnienia do nadawania stopni i tytułów naukowych,
- uprawnienia do zgłaszania kandydatów do różnych ciał doradczych (takich jak Komitet Ewaluacji Nauki).
To wszystko jest bez sensu. Ewaluacja ma oceniać jednostki pod trzema względami: poziomu publikacji, zdobywania środków na badania i komercjalizacji wyników oraz wpływu społecznego. Żaden z nich nie ma klarownego związku przyczynowo-skutkowego z poziomem dydaktyki, poziomem prac doktorskich, rzetelnością procesów awansowych czy poprawnym składem ciał doradczych.
Wszystkie uczelnie zainwestowały krocie w „robienie ewaluacji”. Zatrudniono specjalistów rekomendujących triki takie jak „odpinanie” publikacji, wymyślających opisy wpływu społecznego, a nawet wskazujących, którym pracownikom trzeba wpisać do dorobku fikcyjne publikacje (jak głosi złośliwa plotka). Kupione zostały drogie systemy informatyczne przygotowujące optymalne listy publikacji. Wyasygnowano ogromne pieniądze na nagrody i opłaty za publikowanie w czasopismach, które mają dużo punktów, a jednocześnie są stosunkowo łatwo dostępne. Naukowcy tracą czas na niepotrzebną zupełnie buchalterię punktową. A efekt całego procesu jest tylko taki, że większość jednostek uzyskała ocenę, która absolutnie nic nie zmienia. Ministerialne kategorie nikogo nie obchodzą, dopóki ktoś nie wypadnie z łask ministra (o tym dalej). Mamy więc ogromną inwestycję czasu i pieniędzy w proces, który nie prowadzi do niczego sensownego.
Najważniejszy w ewaluacji jest poziom publikacji, który liczony jest mechanicznie, ale w sposób bardzo skomplikowany. Zależy on przede wszystkim od ministerialnych punktów przyznanych dosyć arbitralnie wydawcom książek oraz, nieco mniej dowolnie, poszczególnym czasopismom naukowym. W tym ostatnim wypadku zależy on w taki lub inny sposób od popularności publikacji w tym czasopiśmie, mierzonych liczbą cytowań w innych publikacjach. Tylko że zarówno punkty za książki, jak i za czasopisma przypominają liczby ogonów.
Od liczby publikacji w popularnych ostatnio megaczasopismach, które mają sztucznie pompowane wskaźniki cytowań takie jak impact factor (które w istocie zależą też od negocjacji wydawców z firmą Clarivate, a nie tylko od liczby cytowań), nie zwiększy się poziom naukowy w Polsce. Gorzej, wskaźnik impact factor jest wysoki w czasopismach, które drukują tylko zaskakujące wyniki badań. Takie wyniki są mniej prawdopodobne niż to, co wiedzieliśmy wcześniej. Nic dziwnego, że jedyną rzeczą, z którą koreluje wysoki poziom impact factor jest niski poziom replikacji, a przypuszczalnie też fałszywość. Z tym wskaźnikiem jest dokładnie tak, jak ze szczurzymi ogonami. A od niego (lub jakiegoś jego wariantu) zależy większość punktów ministerialnych – poza tymi, które poza wszelkimi procedurami dodał minister Czarnek, kierując się tylko interesem parafiańszczyzny w polskiej nauce.
Jak się to ma do uprawnień? Prowadzenie kierunku studiów nie powinno być kwestią zatrudnienia tuzina pracowników z publikacjami w czasopismach o wysokiej liczbie cytowań, tylko odpowiedniego sprawdzenia możliwości prowadzenia rzetelnej dydaktyki przez wyspecjalizowane ciało zajmujące się oceną dydaktyki. Takie istnieje! Po co wyręczać Polską Komisję Akredytacyjną (PKA)? Już dzisiaj są liczne wątpliwości, czy otwierane masowo wydziały lekarskie porządnie wykształcą medyków.
Poziom rozpraw doktorskich czy uczenia w szkole doktorskiej nie zależy od poziomu publikacji w danej jednostce – zajęcia mogą prowadzić bowiem tam osoby w ogóle z innych jednostek, promotorzy mogą być spoza jednostki, a doktoraty przyznawane są przez rady, które nie muszą wcale składać się wyłącznie z osób z danej jednostki. Na przykład w instytutach PAN w naszych radach mamy bardzo wiele osób spoza instytutu. Ich dorobek wcale nie podlega ocenie, promotorami bywają specjaliści z innych uczelni, więc badanie poziomu naszych publikacji lub naszego wpływu społecznego ma luźny związek z poziomem samych rozpraw czy też rzetelnością procesu przyznawania tytułu profesora, który jest i tak nadzorowany w każdym przypadku przez Radę Doskonałości Naukowej (RDN). Niech ktoś pokaże przynajmniej jakąkolwiek korelację między wynikiem ewaluacji a jakością procesu analizy dorobku pojedynczych badawczy starających się o tytuł profesorski, bo na razie jest to mierzenie poziomu populacji wybitych szczurów przez liczenie ogonów.
Uważam, że uprawnienia do prowadzenia szkół doktorskich też powinny zależeć od oceny PKA, a nie od publikacji w jednostce. Dochodzi tu do absurdu: jednostka może nie mieć ani jednego samodzielnego pracownika, który mógłby być promotorem doktoratu, a jednocześnie ocenę co najmniej B+ i uprawnienia do doktoryzacji. Promotorem zaś może być osoba spoza tej jednostki, nawet gdy jest z jednostki z oceną C. Z kolei uprawnienia awansowe powinny zależeć od indywidualnego dorobku osób zaangażowanych w sam proces awansu (i częściowo już i tak zależą, bo recenzentów RDN wyznacza na podstawie kryteriów merytorycznych).
Więc może przynajmniej warto ograniczyć kandydowanie do ciał doradczych? A gdzie tam! Tak naprawdę kandydatki i kandydaci do tych ciał powinny być zgłaszani po prostu w ramach transparentnych procedur konkursowych, a nie dyskrecjonalnych decyzji ministra wybierającego kandydatury zgłoszone przez „najlepsze jednostki”.
Nie znaczy to, że poziom naukowy nie powinien podlegać ocenie. Ale podlega i tak, w ramach procedur awansowych (są przecież dogłębne procesy recenzji, wieloetapowe procedury itd.), recenzji w agencjach grantowych oraz oceny okresowej pracowników naukowych. Przykładem wręcz krzyczącej obłudy zwolenników reformy i nowego procesu ewaluacji było mówienie, że ma ona służyć ocenie jednostek, a nie pracowników. Skąd jednak mają się brać oceniane osiągnięcia, jeśli nie z pracy pracowników? Każdy rozsądny kierownik jednostki powinien kierować się ministerialnymi kryteriami, jeśli chce mieć wysoki wynik w ewaluacji (chociaż ma to równie mały sens, co kolekcjonowanie ogonów). Tymczasem wystarczyłoby wypracować transparentne kryteria okresowych ocen pracowniczych, w porozumieniu ze środowiskiem naukowym oraz związkami zawodowymi, a także określić minimalne wymagania na stanowiskach naukowych, naukowo-dydaktycznych i dydaktycznych, być może z uwzględnieniem specyfiki lokalnej czy danej tradycji badawczej. Pełna centralizacja nie jest tu potrzebna, ale jawność kryteriów i ocenianych wyników naukowych – owszem. Do szczęścia wystarczy nam więc działalność PKA oraz normalne funkcjonowanie jednostek naukowych, razem z raportowaniem wszystkich danych dotyczących wyników oceny w BIP.
Ewaluacja jest zbędnym wydatkiem. To źle wydane pieniądze, które powinny pójść na dofinansowanie NCN oraz pensje dla asystentów i adiunktów, bo niedługo nie będzie komu uczyć. Specjaliści pomagający generować sprawozdania do ewaluacji powinni raczej pomagać w pisaniu i realizacji projektów badawczych, zwłaszcza międzynarodowych.
Piszę to z perspektywy osoby zaangażowanej w spór prawny z MEiN. Rozprawę przed WSA mamy 3 listopada, a od ponad roku jako IFiS PAN walczymy o poprawienie technicznego błędu w danych przekazanych do ministerstwa. Tak, do naszych danych o publikacjach wkradł się błąd, bo informatyczny system ministerialny jest źle skonstruowany. Ale te dane każdy człowiek odczyta poprawnie – błąd jest po stronie ministerstwa, które używa systemów przetwarzania informacji, które nie potrafią rozwiązywać banalnego problemu rozpoznawania obiektów po nazwie (ang. named entity recognition). Ministerstwo upiera się przy swoim, zapewne z powodów politycznych, bo przecież nawet premier był łaskaw twierdzić, że szkalujemy Naród.
Ale tu nie chodzi o nas. Niech ogon nie macha psem. Dajmy spokój z manią nadzoru i mikrozarządzania pracownikami.
UWAGA: Skreślony fragment sprostowałem po dokładniejszej analizie sytuacji i po uwagach prof. Grzegorza Marca (IBL PAN).
