Kategoria: Aktualności

W obecnym systemie prawnym nauki i szkolnictwa wyższego ewaluacja stała się kluczowym elementem układanki. To utrudnia pozbycie się tego zupełnie zbędnego balastu – gdyż proces ten po prostu nie działa. Mamy wręcz jasne świadectwa, że jest szkodliwy dla rozwoju nauki:

• Kulikowski, Konrad. „Negatywne oddziaływanie polityki ewaluacyjnej jednostek naukowych na jakość polskiej nauki. Perspektywa Mertonowskiego etosu naukowego”. Studia Socjologiczne; 2024; No 1; 55-79, 2024. https://journals.pan.pl/dlibra/publication/149316/edition/130601.
• Antipow, Emil, i Konrad Kulikowski. „Niezamierzone konsekwencje punktozy jako wartości kulturowej polskiej społeczności akademickiej”. Studia Socjologiczne; 2020; No 3; 207-235, 2020. https://journals.pan.pl/dlibra/publication/132476/edition/115745.

Kolejnych publikacji będzie więcej, bo badania trwają lub są opracowywane – pokazują ogromny nakład sił i środków, a jednocześnie tkwimy w dysfunkcjonalnym systemie podziału na dyscypliny, co krótko pokazuje np. Robert Lew.

Dobrze, że trwa dyskusja nad zmianami. Niestety, odpowiedzią na łatwo manipulowalne punkty ministerialne – łatwo manipulowalne zarówno przez polityków, jak i przez nieuczciwych wydawców (polecam lekturę krótkiego tekstu Leszka Wrońskiego i Tomasza Żuradzkiego, jak łatwo dostać się do dziesiątki „najlepszych pism” w filozofii w bazie Scopus) – nie są oceny eksperckie. Mimo że ostatnia propozycja zespołu doradczego do spraw ewaluacji przy prezesie PAN jest lepsza niż obecny system, to ma tę samą wadę.

Jest tak nie dlatego, że eksperci nic nie umieją. Idea jest taka, że do oceny – jakościowej – ma służyć recenzja (peer review). Tylko że sęk w tym, iż recenzowanie jest jednym z najsłabszych ogniw w nauce. Wiemy, że nie można go uznać go za system kontroli jakości, bo recenzenci nie potrafią wyłapać nawet najgrubszych błędów, a często też błędnie rzutują swoje upodobania, rekomendując akceptację lub odrzucenie artykułu. Są na ten temat badania. W najlepszym razie można uznać recenzję za pogłębioną (antagonistyczną) dyskusję naukową, jak argumentuje Stephen Cowley. Co więcej, oceny recenzentów zależą od tego, do jakiego pisma recenzują – zmieniają się standardy oceny, a z badań symulacyjnych widzimy, że tak musi być.

 Wiadomo, że w recenzjach pojawiają się rozmaitego rodzaju nadużycia, typu wymuszone cytowania, rekomendacje niezgodne z analizą treści (klasyczna „negatywna z pozytywną konkluzją” w polskim systemie awansowym), lakoniczne i powierzchowne uwagi itd., itp. Co więcej, istnieje zawsze możliwość konfliktu interesu – na co zresztą wskazuje WSA w wyroku ws. ewaluacji mojego instytutu: 

Podobnie, jak biegły w przypadku, o którym mowa w tym przepisie, ekspert w procedurze ewaluacji wykonuje funkcję dzielenia się z organem posiadanymi przez siebie wiadomościami specjalnymi. Choć KEN składa się z m.in. przedstawicieli jednostek szkolnictwa wyższego, to jej członkowie nie muszą in gremio posiadać specjalistycznej wiedzy z zakresu wszystkich poszczególnych dyscyplin nauki. Skoro zatem w postępowaniu ewaluacyjnym ekspert wykonuje funkcję biegłego, to na mocy art. 84 § 2 k.p.a. należy do niego stosować art. 24 k.p.a., a zwłaszcza § 3 tego przepisu, który umożliwia stronie złożenie wniosku o wyłączenie od udziału w postępowaniu. W sytuacji, w której strona postępowania nie zna personaliów eksperta, nie może ocenić, czy ekspert podlega wyłączeniu. Nie może również skonfrontować merytorycznych kwalifikacji osoby powołanej do zadań eksperta w zakresie jego udziału w postępowaniu, a mianowicie nie może sprawdzić, czy wskazana przez organ osoba rzeczywiście posiada kwalifikacje gwarantujące, że dysponuje ona wiedzą ekspercką w zakresie związanym z dyscypliną podlegającą ewaluacji.

To wszystko wskazuje, dlaczego coraz więcej instytucji przyjmuje model otwartych recenzji – pozwala to uniknąć manipulacji ich treściami. Wiele czasopism – np. „eLife” w ogóle rezygnuje z recenzji przed publikacją, nie uzależniając decyzji o publikacji od recenzji (chociaż możliwe, że to właśnie doprowadziło do zwiększenia dyskrecjonalnej władzy redaktorów, odrzucających teksty bez recenzji). Są też poważne argumenty, aby w ogóle porzucić system recenzyjny w nauce:

• Heesen, Remco, i Liam Kofi Bright. „Is Peer Review a Good Idea?” The British Journal for the Philosophy of Science 72, nr 3 (wrzesień 2021): 635–63. https://doi.org/10.1093/bjps/axz029.

Krótko mówiąc, obecny system recenzji w czasopismach ma kilka wad:

1. Znaczne koszty (czas naukowców): Proces recenzji wymaga wielu godzin pracy recenzentów oraz zaangażowania redaktorów, którzy sami są naukowcami. Czas ten mógłby być przeznaczony na prowadzenie badań naukowych.
2. Opóźnienia w publikacji: Recenzja przed publikacją często powoduje znaczne opóźnienia w udostępnianiu wyników badań, co hamuje postęp naukowy i może prowadzić do niepotrzebnego powielania pracy przez innych naukowców.
3. Niska skuteczność w wykrywaniu oszustw i błędów: Recenzja przed publikacją nie jest skutecznym narzędziem do wykrywania oszustw naukowych ani błędów metodologicznych. Wielu prominentnych przypadków oszustw przeszło przez proces recenzji niezauważone.
4. Niska zgodność między recenzentami: Badania pokazują, że istnieje niska spójność ocen między recenzentami. To oznacza, że oceny recenzentów są często niespójne i subiektywne, co podważa wiarygodność procesu recenzji.
5. Tendencyjność: Recenzje przed publikacją mogą być tendencyjne; w grę wchodzą uprzedzenia związane z płcią (kobiety np. piszą bardziej odpowiedzialne wnioski grantowe, które są gorzej oceniane), statusem instytucji czy też osobistymi preferencjami recenzentów.
6. Wzmacnianie efektu św. Mateusza: Proces recenzji może zwiększać efekt Mateusza, gdzie bardziej znani naukowcy otrzymują więcej uwagi i zasobów, niezależnie od rzeczywistej wartości ich pracy, co prowadzi do niesprawiedliwości w alokacji zasobów naukowych. (Eksperyment z publikacjami Kapeli Pilaki to ładnie potwierdził).
7. Wysokie koszty subskrypcji czasopism: Koszty związane z subskrypcją czasopism naukowych są znaczące. Zniesienie recenzji przed publikacją mogłoby zmniejszyć te koszty, poprzez przejście na model otwartego dostępu.
8. Brak dowodów na poprawę jakości nauki: Dowody empiryczne nie potwierdzają, że recenzja przed publikacją znacząco poprawia jakość nauki. W rzeczywistości, korzyści przypisywane temu systemowi są często niejasne lub nieistniejące.
9. Straty w potencjale innowacyjnym: System recenzji przed publikacją może zniechęcać do podejmowania ryzykownych, innowacyjnych badań, ponieważ naukowcy mogą obawiać się odrzucenia przez recenzentów preferujących bardziej konserwatywne podejście.

Do czego to obecnie prowadzi? Z jednej strony innowacyjne badania często ukazują się tylko w formie preprintów (co też wcale dobre nie jest, bo wtedy część z nich unika w ogóle zrecenzowania). Z drugiej strony – są prowadzone różne eksperymenty z reformą procesu recenzowania.

A gdybyśmy na to popatrzyli z perspektywy teorii pomiaru, to proces recenzji musiałby mieć dwie podstawowe cechy. Poprawne pomiary muszą być precyzyjne, zbieżne i trafne (Isaac, 2019). O precyzji świadczy to, że wielokrotnie wykonywane procedury pomiarowe konsekwentnie dają te same wyniki (w zbliżonych granicach błędu). Znacznie jednak bardziej skomplikowane jest osiągnięcie zbieżności, która polega na uzyskiwaniu tego samego wyniku za pomocą różnych procedur. W przypadku recenzji rzecz w tym, że ten sam recenzent musiałby tak samo ocenić tekst w różnych momentach. Nie wiemy, jak to kształtuje się w rzeczywistości, bo publikowane otwarte recenzje zwykle nie obejmują tekstów odrzuconych – a liczba dostępnych recenzji rekomendujących odrzucenie jest nikła, ale z doświadczenia redaktorskiego (m.in. siedem lat jako Associate Editor w „European Journal for Philosophy of Science”) wiem, że recenzentom często odmienia się zdanie – i nie wiadomo dlaczego. Natomiast zbieżność… Wszyscy wiemy, że zgodność między recenzjami (punkt 4) jest bardzo rzadka i wcale nie musi świadczyć o trafności recenzji. 

W przypadku systemu ewaluacji musielibyśmy mieć pewność, że recenzje będą precyzyjne i zbieżne. W niektórych agencjach czy programach grantowych wprowadza się np. dokładne opisy tego, co recenzent ma ocenić, co ułatwia uzyskanie stosunkowo wysokiej zbieżności i precyzji. Bez konkretnych wytycznych kończy się to niską spójnością ferowanych ocen. A trafność recenzji osób, które są przeciążone i dostają ogromną liczbę tekstów do oceny, jest wątpliwa.

Chciałem nawet tę spójność wyliczyć dla decyzji w poprzedniej ewaluacji. To nie jest żadna wielka filozofia. Ale oczywiście, w naszej ewaluacji wszystko jest tajne i poufne, więc odmówiono mi dostępu nawet do uzasadnień decyzji podejmowanych przez ekspertów. Znam tylko bardzo skrzywiony rozkład decyzji o odrzuceniach osiągnięć – filozofowie okazali się wyjątkowo dużą chęcią odrzucania, prawnicy kanoniczni – żadną.

Mam więc ogromne wątpliwości, czy można liczyć na rzetelność recenzentów. Zagraniczni recenzenci też będą tendencyjni, bo będą dopasowywać się do wyimaginowanych standardów (o których nikt nigdy explicite dokładnie nie informuje) w Polsce – dokładnie jak w badaniach symulacyjnych, pokazujących, jak impact factor kształtuje ocenę tekstu. Żeby to zapewnić, system musiałby być bardzo, ale to bardzo dokładnie przemyślany i transparentny. A to będzie kosztować.

Czy warto? Oczywiście, że nie warto.

Prawo nakazuje ministrowi ustalać procedury ewaluacji nauki z uwzględnieniem jej rzetelności i przejrzystości. W praktyce jednak ministerstwo postępowało według zasady, że lepiej nie wiedzieć, z czego robi się kiełbasę. Troszcząc się o nasze dobre samopoczucie, ministerstwo chciało ograniczyć wiedzę opinii publicznej i naukowców o tym, jak ocenia się ich pracę. A przynajmniej takie odnieść można wrażenie.

Pełna jawność decyzji, wraz z uzasadnieniami i nazwiskami osób je podejmujących, to warunek konieczny dla poprawy jakości ewaluacji nauki. Powinno się też zapewnić możliwość zgłaszania błędów i odwoływania się od decyzji. Dotyczy to zwłaszcza wykazów publikacji punktowanych. Nie ma sensu ukrywać uzasadnień rekomendujących zmiany punktacji – jeśli są one błędne, to trzeba je anulować lub poprawić. Każda komisja może się przecież pomylić, zwłaszcza przy ogromie współczesnej produkcji naukowej.

Gdy pracowaliśmy nad eksperckimi listami czasopism – byłem wtedy w komisji dla filozofii – ministerstwo wysłało nam wiadomość: „po dniu 15 maja 2019 r. udostępnianie oraz wykorzystywanie do innych celów wszelkich posiadanych zbiorów odnośnie prac związanych z tworzeniem listy czasopism jest uznawane za niedopuszczalne. Dokumenty tego rodzaju, będące w posiadaniu członków ww. zespołów doradczych, powinny zostać zutylizowane”. Minister mógł oczywiście odmówić udostępnienia informacji o działaniu zespołów doradczych (art. 381. 2 ustawy) – nie była ona uznawana za informację publiczną. Ale jak to się ma do przejrzystości ewaluacji nauki?

Komisje miały możliwość uwzględniać nie tylko wskaźniki bibliometryczne, ale musiały dokładnie uzasadniać swoje decyzje i rekomendacje. Przygotowywaliśmy te uzasadnienia, choć mieliśmy na to skandalicznie mało czasu (poprzednia władza miała obsesję na punkcie pośpiechu i pracy po godzinach). Nie widzę żadnych przeszkód, żeby podpisać się pod naszymi decyzjami. Nie rozumiem też, dlaczego nie można ich upublicznić. My się ich nie wstydzimy. 

Oczywiście, eksperci mogą być narażeni na naciski – ale czy ukrywanie tożsamości ekspertów to nie jest nadmierna ostrożność? Przecież są oni znani w przewodach awansowych, gdzie podpisują się pod swoimi recenzjami. Jeśli decyzje będą jawne i podpisane przez konkretne osoby, to i tak ważniejsza będzie treść uzasadnień niż nazwisko. 

W dzisiejszych czasach toczy się wiele debat na temat roli recenzji w systemie publikacji naukowych. Próbuje się różnych metod – od pełnej anonimizacji (zarówno autora, jak i recenzenta) po pełną jawność (wszystkie dane są znane). Jednak gdy chodzi o ocenę już istniejących czasopism lub zgłoszonych osiągnięć, pełna anonimizacja jest niemożliwa. Pozostaje więc częściowa anonimizacja, ale tu nie ma sensu jej stosować. Kategoryzacja jednostek to kwestia administracyjna, a taka powinna być rozstrzygana w sposób jak najkorzystniejszy dla ocenianych – to nie jest egzamin ani konkurs grantowy. Filozof powiedziałby, że organ oceniający musi kierować się zasadą życzliwości w interpretacji, a jej naruszenie jest niezgodne z kodeksem postępowania administracyjnego. A jeśli eksperci będą zbyt życzliwi wobec niektórych czasopism, to zaraz wyjdzie to na jaw. Tymczasem nie wiemy, dlaczego tak potworne czasopisma, jak „Pedagogika Katolicka”, otrzymują 200 punktów. Chciałbym zobaczyć uzasadnienie – które nie może przecież trzymać się kupy i mogłoby być szybko obalone jako wadliwe.

Po 2019 roku było już tylko gorzej. Nie powoływano już zespołów eksperckich i nie udzielano żadnych informacji uzasadniających wysokość przyznanych punktów. Nie wiadomo było, do kogo zwracać się z prośbą o uwzględnienie lub zmianę na liście i jakie kryteria decydowały o coraz dziwniejszych zmianach w wykazach.

Ministerstwo nie przestrzegało zasad przejrzystości. Po zakończeniu ewaluacji MEiN udostępniło niektóre dane z systemu POL-on, np. wykazy osiągnięć zgłoszonych do ewaluacji w kilku dyscyplinach czy statystyki odrzuconych osiągnięć, ale nie chciało ujawniać kluczowych informacji – czyli ocen eksperckich wraz z uzasadnieniami. A przecież zobaczenie niespójności ocen między ekspertami – co jest nieuchronne w każdym takim procesie – mogłoby pomóc ulepszyć prawo, ale też wykryć ewentualne błędy w decyzjach. Chciałem obliczyć współczynnik kappa Cohena, aby sprawdzić jakość instrukcji przekazanych ekspertom. Bez danych nie mogę.

Nie wiem, na podstawie jakich przepisów powołano ekspertów oceniających osiągnięcia – byli ekspertami Komisji Ewaluacji Naukowej, a nie ministra, więc może lista ekspertów i ich oceny nie mogą być zatajone na podstawie artykułu 381 ustawy. W każdym razie nawet jeśli prawo pozwala na nieudostępnianie tych „dokumentów wewnętrznych” (choć nie jest to zgodne z rozumną interpretacją przepisu o rzetelności i przejrzystości procesu ewaluacji), to naczelniczka departamentu Nauki w MEiN na pytanie sędziego sprawozdawcy w Wojewódzkim Sądzie Administracyjnym (3 listopada 2023, rozprawa ws. skargi mojego instytutu) przyznała, że nie ma podstawy prawnej do ukrywania tożsamości ekspertów, a jest to jedynie zwyczaj.

Nie mamy dostępu do informacji publicznych dotyczących decyzji o skutkach finansowych badań naukowych lub prac rozwojowych. Nie udostępnia się ich, powołując się na przepisy o tajemnicy przedsiębiorstwa – bo ich ujawnienie mogłoby rzekomo prowadzić do nieuczciwej konkurencji. Tak, według tej interpretacji udostępnienie danych o grantach badawczych finansowanych ze środków publicznych, zarówno krajowych, jak i międzynarodowych, mogłoby naruszać tajemnicę… przedsiębiorcy. Może to mieć sens, gdy politechnika ma udziały w startupie, do którego wnosi know-how i z którego czerpie zyski. Ale w naukach humanistycznych i społecznych takie tłumaczenie jest absurdalne. Tymczasem ocena w kryterium II dotyczy właśnie tego – i jest ona porównawcza. Ani obywatele, ani jednostki naukowe nie mają prawa się niczego dowiedzieć na ten temat, chociaż na tej podstawie przyznaje się kategorię naukową. To skandaliczne.

Mój instytut wystąpił też o udostępnienie kodu źródłowego lub przynajmniej matematycznej specyfikacji algorytmu służącego do optymalizacji osiągnięć – czyli tworzenia wykazu najlepszych publikacji przeznaczonych do oceny. Nie tylko odpowiedziano nam, że nie wiadomo, co oznacza użyty przez nas termin „matematyczna specyfikacja”, ale też oczywiście odmówiono dostępu do kodu źródłowego. A o ile wiem, nikomu ściśle nie udało się odtworzyć wyników uzyskiwanych przez OPI przy generowaniu wykazów. Sama natura problemu wskazuje, że zapewne stosowany musi być jakiś algorytm przybliżający (przypuszczalnie problem, który realizuje OPI, jest znany w informatyce jako tzw. problem plecakowy – o bardzo dużej złożoności obliczeniowej, więc nie da się go wprost poprawnie rozwiązać z powodu jego trudności). Gdyby decyzje dotyczyły osób, to standardy RODO wymagałyby ujawnienia szczegółów. Niestety, w przypadku decyzji dotyczących osób prawnych – które w polskim prawie nie mogą być podejmowane przez algorytm, swoją drogą – nie mamy zasady obligatoryjnego dostępu do algorytmu podejmującego decyzje. A szkoda!

Ministerstwo nie tylko zataja informacje, ale też czasem zaniedbuje ich zbieranie. Wszystkie informacje o publikacjach naukowych muszą być zgłaszane do Polskiej Bibliografii Naukowej (PBN). To dziwny system bibliografii narodowej, gdzie to jednostki same mają być bibliotekarzami – ponieważ podstawową ideą ewaluacji jest to, żeby było tanio, zamiast zatrudniać fachowców, wymaga się poprawnych danych od użytkowników. To oczywiście mrzonka, bo dane nigdy nie są idealnie czyste. Muszą się pojawiać powtórzenia i nieścisłości. Najgorsze jest jednak to, że dane te są co jakiś czas automatycznie ujednolicane. To niby udogodnienie, ale… system nie informuje, jakie informacje się zmieniają.

A jeśli jakaś publikacja ma współautorów z kilku ośrodków, to może zacząć się wojna edycyjna. Sam widziałem wpisy w PBN z ponad 50 zmianami – istna zabawa w „strzyżono – golono”. Niestety, PBN nie udostępnia informacji, co zostaje zmienione. Co najwyżej widać, że coś zostało zmienione. System bowiem nie przechowuje informacji o konkretnych zmianach (co potwierdzono w odpowiedzi na mój wniosek o udostępnienie informacji publicznej na temat PBN), co jest kuriozalne. To tak jakby Wikipedia nie miała historii edycji pokazującej zmiany poszczególnych fragmentów artykułów, a jedynie pokazywała identyfikatory użytkowników i daty edycji. Zgroza. Nic dziwnego, że uczelnie wolą kupować specjalistyczne systemy do analizy danych z PBN i wprowadzania tam masowych poprawek, takie jak Omega PSIR.

System PBN nie daje możliwości korzystania z jego danych przez publiczne otwarte API. To znaczy, że tylko osoby uprawnione w jednostkach naukowych mogą mieć do nich dostęp i je edytować. To ogranicza potencjał ogromnej bazy danych, która mogłaby być wykorzystana w innowacyjnych aplikacjach dla naukowców (teraz z API korzystają tylko systemy do zarządzania bibliografiami jednostek).  A tak naprawdę wdrożenie tego to kwestia paru dni pracy. 

Przejrzystość jest też potrzebna do wykorzystania publicznie zbieranych danych. Gdyby PBN był lepiej dostępny, z publicznym API, to można by zrobić semantyczną wyszukiwarkę polskich publikacji – w każdym języku! – z użyciem nowoczesnych technik przetwarzania języka. Teraz łatwiej znaleźć informacje z Google Scholar czy Semantic Scholar o nowych artykułach z Nowej Zelandii, niż o nowej książce po polsku z Krakowa. Może ktoś by nawet stworzył system liczący cytowania z polskich publikacji, bo ministerstwo nie dało rady. Chyba że bało się prawdy.

Jeśli mamy utrzymać tego potwora, jaką jest ewaluacja (chociaż uważam, że powinna zostać w pełni zlikwidowana, bo jest źródłem degrengolady), to musimy dbać o przejrzystość. Ministerstwo powinno zagwarantować:

• pełną jawność i pełne umocowanie w prawie kryteriów podejmowanych decyzji,
• pełną jawność podstaw wszystkich podejmowanych decyzji,
• pełną jawność ekspertów podejmujących decyzje,
• powszechną dostępność procedur odwoławczych,
• pełen dostęp do wszystkich informacji publicznych, być może z wyłączeniem tych informacji, które dotyczą niepublicznych podmiotów, które rzeczywiście prowadzą działalność gospodarczą.

Bez przejrzystości trudno oceniać wyniki reform. Teraz naprawdę nie wiemy, jakie są skutki reform ministra Gowina. Z własnego doświadczenia – potwierdzonego ostatnio wyrokiem sądu administracyjnego – widzę, że ewaluacja była przeprowadzana z pogwałceniem prawa i zdrowego rozsądku, z jakąś urzędniczą żarliwością do wynajdywania błędów i niechęcią do kontaktu z ocenianymi. Ale czy tak traktowano wszystkich, czy też wyłącznie jednostki naukowe oskarżane przez politruków o szkalowanie Narodu?