Recenzje – pięta achillesowa systemów oceny

W obecnym systemie prawnym nauki i szkolnictwa wyższego ewaluacja stała się kluczowym elementem układanki. To utrudnia pozbycie się tego zupełnie zbędnego balastu – gdyż proces ten po prostu nie działa. Mamy wręcz jasne świadectwa, że jest szkodliwy dla rozwoju nauki:

Kolejnych publikacji będzie więcej, bo badania trwają lub są opracowywane – pokazują ogromny nakład sił i środków, a jednocześnie tkwimy w dysfunkcjonalnym systemie podziału na dyscypliny, co krótko pokazuje np. Robert Lew.

Dobrze, że trwa dyskusja nad zmianami. Niestety, odpowiedzią na łatwo manipulowalne punkty ministerialne – łatwo manipulowalne zarówno przez polityków, jak i przez nieuczciwych wydawców (polecam lekturę krótkiego tekstu Leszka Wrońskiego i Tomasza Żuradzkiego, jak łatwo dostać się do dziesiątki „najlepszych pism” w filozofii w bazie Scopus) – nie są oceny eksperckie. Mimo że ostatnia propozycja zespołu doradczego do spraw ewaluacji przy prezesie PAN jest lepsza niż obecny system, to ma tę samą wadę.

Jest tak nie dlatego, że eksperci nic nie umieją. Idea jest taka, że do oceny – jakościowej – ma służyć recenzja (peer review). Tylko że sęk w tym, iż recenzowanie jest jednym z najsłabszych ogniw w nauce. Wiemy, że nie można go uznać go za system kontroli jakości, bo recenzenci nie potrafią wyłapać nawet najgrubszych błędów, a często też błędnie rzutują swoje upodobania, rekomendując akceptację lub odrzucenie artykułu. Są na ten temat badania. W najlepszym razie można uznać recenzję za pogłębioną (antagonistyczną) dyskusję naukową, jak argumentuje Stephen Cowley. Co więcej, oceny recenzentów zależą od tego, do jakiego pisma recenzują – zmieniają się standardy oceny, a z badań symulacyjnych widzimy, że tak musi być.

 Wiadomo, że w recenzjach pojawiają się rozmaitego rodzaju nadużycia, typu wymuszone cytowania, rekomendacje niezgodne z analizą treści (klasyczna „negatywna z pozytywną konkluzją” w polskim systemie awansowym), lakoniczne i powierzchowne uwagi itd., itp. Co więcej, istnieje zawsze możliwość konfliktu interesu – na co zresztą wskazuje WSA w wyroku ws. ewaluacji mojego instytutu

Podobnie, jak biegły w przypadku, o którym mowa w tym przepisie, ekspert w procedurze ewaluacji wykonuje funkcję dzielenia się z organem posiadanymi przez siebie wiadomościami specjalnymi. Choć KEN składa się z m.in. przedstawicieli jednostek szkolnictwa wyższego, to jej członkowie nie muszą in gremio posiadać specjalistycznej wiedzy z zakresu wszystkich poszczególnych dyscyplin nauki. Skoro zatem w postępowaniu ewaluacyjnym ekspert wykonuje funkcję biegłego, to na mocy art. 84 § 2 k.p.a. należy do niego stosować art. 24 k.p.a., a zwłaszcza § 3 tego przepisu, który umożliwia stronie złożenie wniosku o wyłączenie od udziału w postępowaniu. W sytuacji, w której strona postępowania nie zna personaliów eksperta, nie może ocenić, czy ekspert podlega wyłączeniu. Nie może również skonfrontować merytorycznych kwalifikacji osoby powołanej do zadań eksperta w zakresie jego udziału w postępowaniu, a mianowicie nie może sprawdzić, czy wskazana przez organ osoba rzeczywiście posiada kwalifikacje gwarantujące, że dysponuje ona wiedzą ekspercką w zakresie związanym z dyscypliną podlegającą ewaluacji.

To wszystko wskazuje, dlaczego coraz więcej instytucji przyjmuje model otwartych recenzji – pozwala to uniknąć manipulacji ich treściami. Wiele czasopism – np. „eLife” w ogóle rezygnuje z recenzji przed publikacją, nie uzależniając decyzji o publikacji od recenzji (chociaż możliwe, że to właśnie doprowadziło do zwiększenia dyskrecjonalnej władzy redaktorów, odrzucających teksty bez recenzji). Są też poważne argumenty, aby w ogóle porzucić system recenzyjny w nauce:

  • Heesen, Remco, i Liam Kofi Bright. „Is Peer Review a Good Idea?” The British Journal for the Philosophy of Science 72, nr 3 (wrzesień 2021): 635–63. https://doi.org/10.1093/bjps/axz029.

Krótko mówiąc, obecny system recenzji w czasopismach ma kilka wad:

  1. Znaczne koszty (czas naukowców): Proces recenzji wymaga wielu godzin pracy recenzentów oraz zaangażowania redaktorów, którzy sami są naukowcami. Czas ten mógłby być przeznaczony na prowadzenie badań naukowych.
  2. Opóźnienia w publikacji: Recenzja przed publikacją często powoduje znaczne opóźnienia w udostępnianiu wyników badań, co hamuje postęp naukowy i może prowadzić do niepotrzebnego powielania pracy przez innych naukowców.
  3. Niska skuteczność w wykrywaniu oszustw i błędów: Recenzja przed publikacją nie jest skutecznym narzędziem do wykrywania oszustw naukowych ani błędów metodologicznych. Wielu prominentnych przypadków oszustw przeszło przez proces recenzji niezauważone.
  4. Niska zgodność między recenzentami: Badania pokazują, że istnieje niska spójność ocen między recenzentami. To oznacza, że oceny recenzentów są często niespójne i subiektywne, co podważa wiarygodność procesu recenzji.
  5. Tendencyjność: Recenzje przed publikacją mogą być tendencyjne; w grę wchodzą uprzedzenia związane z płcią (kobiety np. piszą bardziej odpowiedzialne wnioski grantowe, które są gorzej oceniane), statusem instytucji czy też osobistymi preferencjami recenzentów.
  6. Wzmacnianie efektu św. Mateusza: Proces recenzji może zwiększać efekt Mateusza, gdzie bardziej znani naukowcy otrzymują więcej uwagi i zasobów, niezależnie od rzeczywistej wartości ich pracy, co prowadzi do niesprawiedliwości w alokacji zasobów naukowych. (Eksperyment z publikacjami Kapeli Pilaki to ładnie potwierdził).
  7. Wysokie koszty subskrypcji czasopism: Koszty związane z subskrypcją czasopism naukowych są znaczące. Zniesienie recenzji przed publikacją mogłoby zmniejszyć te koszty, poprzez przejście na model otwartego dostępu.
  8. Brak dowodów na poprawę jakości nauki: Dowody empiryczne nie potwierdzają, że recenzja przed publikacją znacząco poprawia jakość nauki. W rzeczywistości, korzyści przypisywane temu systemowi są często niejasne lub nieistniejące.
  9. Straty w potencjale innowacyjnym: System recenzji przed publikacją może zniechęcać do podejmowania ryzykownych, innowacyjnych badań, ponieważ naukowcy mogą obawiać się odrzucenia przez recenzentów preferujących bardziej konserwatywne podejście.

Do czego to obecnie prowadzi? Z jednej strony innowacyjne badania często ukazują się tylko w formie preprintów (co też wcale dobre nie jest, bo wtedy część z nich unika w ogóle zrecenzowania). Z drugiej strony – są prowadzone różne eksperymenty z reformą procesu recenzowania.

A gdybyśmy na to popatrzyli z perspektywy teorii pomiaru, to proces recenzji musiałby mieć dwie podstawowe cechy. Poprawne pomiary muszą być precyzyjne, zbieżne i trafne (Isaac, 2019). O precyzji świadczy to, że wielokrotnie wykonywane procedury pomiarowe konsekwentnie dają te same wyniki (w zbliżonych granicach błędu). Znacznie jednak bardziej skomplikowane jest osiągnięcie zbieżności, która polega na uzyskiwaniu tego samego wyniku za pomocą różnych procedur. W przypadku recenzji rzecz w tym, że ten sam recenzent musiałby tak samo ocenić tekst w różnych momentach. Nie wiemy, jak to kształtuje się w rzeczywistości, bo publikowane otwarte recenzje zwykle nie obejmują tekstów odrzuconych – a liczba dostępnych recenzji rekomendujących odrzucenie jest nikła, ale z doświadczenia redaktorskiego (m.in. siedem lat jako Associate Editor w „European Journal for Philosophy of Science”) wiem, że recenzentom często odmienia się zdanie – i nie wiadomo dlaczego. Natomiast zbieżność… Wszyscy wiemy, że zgodność między recenzjami (punkt 4) jest bardzo rzadka i wcale nie musi świadczyć o trafności recenzji. 

W przypadku systemu ewaluacji musielibyśmy mieć pewność, że recenzje będą precyzyjne i zbieżne. W niektórych agencjach czy programach grantowych wprowadza się np. dokładne opisy tego, co recenzent ma ocenić, co ułatwia uzyskanie stosunkowo wysokiej zbieżności i precyzji. Bez konkretnych wytycznych kończy się to niską spójnością ferowanych ocen. A trafność recenzji osób, które są przeciążone i dostają ogromną liczbę tekstów do oceny, jest wątpliwa.

Chciałem nawet tę spójność wyliczyć dla decyzji w poprzedniej ewaluacji. To nie jest żadna wielka filozofia. Ale oczywiście, w naszej ewaluacji wszystko jest tajne i poufne, więc odmówiono mi dostępu nawet do uzasadnień decyzji podejmowanych przez ekspertów. Znam tylko bardzo skrzywiony rozkład decyzji o odrzuceniach osiągnięć – filozofowie okazali się wyjątkowo dużą chęcią odrzucania, prawnicy kanoniczni – żadną.

Mam więc ogromne wątpliwości, czy można liczyć na rzetelność recenzentów. Zagraniczni recenzenci też będą tendencyjni, bo będą dopasowywać się do wyimaginowanych standardów (o których nikt nigdy explicite dokładnie nie informuje) w Polsce – dokładnie jak w badaniach symulacyjnych, pokazujących, jak impact factor kształtuje ocenę tekstu. Żeby to zapewnić, system musiałby być bardzo, ale to bardzo dokładnie przemyślany i transparentny. A to będzie kosztować.

Czy warto? Oczywiście, że nie warto.

Jedna odpowiedź do “Recenzje – pięta achillesowa systemów oceny”

  1. Dziwię się, że systemy punktacji działają tylko dodatnio tzn. za publikację tekstu otrzymuje się punkty, ale już za wycofanie nie traci się żadnego punktu. Jeżeliby pojawiłyby się kary za wycofania zarówno dla autorów i recenzentów to znacząco ograniczyłoby to różnego rodzaju oszustwa i kombinacje. Z drugiej jednak strony co zrobić kiedy minister ogłasza, że publikacja w jakimś mało znaczącym czasopiśmie nagle otrzymuje maksymalną ilość punktów – na tego rodzaju kombinacje nie ma rady. Ogólnie zgadzam się – system nie działa dobrze, zarówno dlatego, że łatwo go oszukać a z drugiej, że jest nieefektywny pod względem czasu i pieniędzy.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *