Marcin Miłkowski

Nie sposób przecenić znaczenia replikacji badań, czyli powtarzania procedury badawczej w celu sprawdzenia, czy wynik jest powtarzalny. Umożliwia weryfikowanie wcześniejszych wyników i wyciąganych z nich wniosków. Pomaga również w określeniu, jaki jest zakres opisywanego zjawiska. A także odkryciu oszustw naukowych. Niestety, analizy badań z różnych dziedzin pokazują, że nie jest to bynajmniej łatwe. Mnożą się wątpliwości, czy replikacje mają rzeczywistą wartość poznawczą, czy wszystko da się zreplikować oraz jak takie replikacje ocenić.

Mimo wszystko sądzimy, że odpowiedź na pytanie „czy warto replikować?” jest jednoznacznie pozytywna. Jednak odpowiedź na pytanie „jak replikować?” nie jest już taka prosta. Temu drugiemu badaniu poświęcony został artykuł Marcina Miłkowskiego, Witolda Hensela i Mateusza Hohola Replicability or reproducibility? On the replication crisis in computational neuroscience and sharing only relevant detail (opublikowany w otwartym dostępie w „Journal for Computational Neuroscience”) oraz wystąpienie Mateusza Hohola „Kryzys w badaniach nad mózgiem i umysłem?”.

Terminologia związana z powtarzaniem badań zależy od dziedziny nauki. W neuronauce obliczeniowej rozróżnić można:

• powtarzanie,
• replikację
• i reprodukcję.

Powtarzanie występuje wtedy, gdy badacz stara się powtórzyć własne rezultaty przy użyciu tych samych narzędzi. Z replikacją mamy do czynienia, gdy niezależni badacze pracują nad danym zagadnieniem używając tego samego oprogramowania. Przy reprodukcji zaś niezależni badacze pracują na innym oprogramowaniu. By replikacja lub reprodukcja mogły być przeprowadzone, potrzebne jest udostępnienie przez zespół badawczy odpowiednich do tego informacji. Od pracy w neuronauce obliczeniowej oczekuje się reprodukowalności (rekonstrukcji symulacji na podstawie podanych parametrów). Nasze pilotażowe analizy publikacji z różnych dziedzin, w tym neuronauki obliczeniowej, pokazały, że wiele artykułów nie umożliwia zebrania informacji niezbędnych do powtórzenia tych badań. Co więcej, nie każde informacje podawane w artykułach pomagają kolejnym naukowcom.

Istotnym elementem naszego artykułu i wystąpienia jest pokazanie, że przy replikacji i reprodukcji w neuronauce obliczeniowej stawia się różne cele, zatem do ich przeprowadzenia konieczne są inne dane. Przy replikacjach pomocna jest dokładna dokumentacja procesu modelowania, np. zapisywanie wyników z różnych etapów (por. Sandve et al. 2013). Przy reprodukcji natomiast niezbędne są jedynie te informacje, które pomogą odtworzyć model i ocenić jego wartość. Niekoniecznie jest tu ważna ilość informacji, ale raczej jej jakość – te aspekty techniczne i teoretyczne, które umożliwią sprawdzenie modelu w sposób niezależny od pierwotnego. Rozwój replikacji może zapewnić zatem tworzenie repozytoriów danych, natomiast efektywniejszą reprodukowalność umożliwi publikowanie raportów badań zawierających opis umożliwiający odtworzenie modelu. Obie procedury wpływają na wiarygodność, kumulatywność i przydatność wiedzy naukowej. Rozwój ich obu, przez dopracowanie warunków ich przeprowadzania może istotnie wpłynąć na rozwój nauki.

Adrianna Smurzyńska