Metoda peer review, uznawana za najbardziej miarodajną ocenę jakości naukowej, jest stosowana przez najważniejsze instytucje finansujące działalność badawczą na całym świecie. Jednak korzystanie z metody peer review w ocenie wniosków grantowych jest bardzo żmudnym i trudnym procesem, a w efekcie i tak czasami popełnia się błędy ? ocenia prof. Maciej Żylicz, prezes Fundacji na rzecz Nauki Polskiej.
Metoda peer review (jakościowa metoda oceny dokonań naukowych, dokonywana na podstawie kryteriów merytorycznych przez innych uczonych mających podobny lub lepszy do ocenianych dorobek naukowy i będących na porównywalnym do nich etapie kariery naukowej) jest uznawana za najbardziej miarodajną. Stosują ją najważniejsze instytucje finansujące działalność badawczą na całym świecie i stale pracują nad jej ulepszaniem.
Również Fundacja na rzecz Nauki Polskiej (FNP) wykorzystuje ją jako główne narzędzie w praktyce przyznawania wsparcia finansowego naukowcom i zespołom badawczym.
Z moich doświadczeń w FNP, ale także w ERC i wcześniejszych w KBN wynika, że stosowanie metody peer review wcale jest nie jest proste. Zanim wymienię kilka problemów, z jakim mogą się zetknąć instytucje posługujące się nią, chciałbym przybliżyć etapy procedury konkursowej, według której wyłaniamy w Fundacji laureatów naszych konkursów.
Pierwszy etap to ocena w ramach poszczególnych grup recenzenckich reprezentujących ten sam obszar nauki (np. fizyka, biologia, medycyna itd.). Każdy prawidłowo złożony wniosek jest wstępnie oceniany przez 3?5 ekspertów, a następnie wyniki takiej oceny są przedmiotem dyskusji na spotkaniu panelowym z udziałem ekspertów w ramach poszczególnych obszarów nauki. W trakcie panelu jego uczestnicy mogą zmienić swoją wstępną ocenę. Wnioski uznane przez panel ekspertów za najlepsze są kwalifikowane do dalszego etapu konkursu, a pozostałe nie biorą już w nim udziału. Na tym etapie paneliści sugerują także kandydatury potencjalnych recenzentów wniosków (którzy dokonują oceny wniosków w kolejnym etapie). Zakwalifikowane wnioski są następnie wysyłane do co najmniej 3 recenzentów ? wąskich specjalistów w danej dyscyplinie (w większości zagranicznych, aby zmniejszyć prawdopodobieństwo konfliktów interesów). W przypadku wniosków, które uzyskały skrajne oceny, staramy się o dodatkowe opinie.
Po zakończeniu etapu recenzji najlepsze wnioski (oraz te ze skrajnymi ocenami) trafiają do finałowego interdyscyplinarnego panelu (skład osobowy tego panelu jest inny niż panelu z wcześniejszego etapu konkursu). Jest to bezpośrednie spotkanie panelistów z kandydatami i dyskusja wokół ocen wystawionych w recenzjach oraz uwag samych panelistów. Ten etap jest niezbędnym elementem oceny; gdybyśmy pozostali tylko przy recenzjach i pierwszym panelu, margines błędu przy wyborze laureatów byłby dużo większy. Poza tym osoba startująca w konkursie musi dostać szansę obrony i jeżeli ma dobre argumenty, może przekonać panelistów do swojej racji. Musimy pamiętać, że recenzenci nie muszą być nieomylni. Zarówno oni, jak i paneliści ulegają czasem pokusie pójścia na skróty i zamiast przeczytać najważniejsze prace (najczęściej nie więcej niż 5) wskazane przez wnioskodawcę (wymóg formalny) i zastanowić się nad ich oryginalnością i wkładem w rozwój dziedziny (to jest kryterium oceny), ograniczają się do sprawdzenia, gdzie dana praca została opublikowana. Dlatego zawsze zwracamy uwagę, aby paneliści zdefiniowali, w jakim stopniu prace będące przedmiotem oceny są oryginalne, a jak dalece przyczynkowe. Nie stosujemy przy tym kryteriów takich, jak siła przebicia czasopisma, w którym praca została opublikowana (Impact Factor), współczynnik Hirscha, liczba opublikowanych prac czy sumaryczna liczba ich cytowań. Spośród kryteriów ilościowych zwracamy uwagę na poziom cytowania danej pracy, którą wskazał aplikujący, ale jest to kryterium dodatkowe. Musimy w tym przypadku brać pod uwagę, że w zależności od uprawianej dziedziny, średni poziom cytowania publikowanej pracy jest różny.
Chciałbym zwrócić uwagę na kwestię wymogu wskazania we wniosku ograniczonej liczny 5 najlepszych prac powstałych w określonym czasie (np. maks. 5 prac z ostatnich 10 lat). Jest to świadome założenie Fundacji: zależy nam na wskazaniu najlepszych, a nie wszystkich prac, ponieważ nie ilość, ale jakość jest ważna. Ważne jest też, by to sami wnioskodawcy wskazali, co jest dla nich najbardziej cenne. Niektórzy, rzecz jasna, wskazują prace, które zostały opublikowane w czasopismach o najwyższej sile przebicia albo prace najlepiej cytowane. To jednak nie jest dla nas decydujące kryterium, chodzi o wskazanie prac oryginalnych, przełomowych, które dokonały rewolucji w określonej dziedzinie naukowej i są szeroko dyskutowane przez środowisko.
Przechodząc do pułapek peer review, wymienię poniżej kilka krytycznych elementów tej metody oceny, z których trzeba sobie zdawać sprawę:
- Sam wybór recenzentów ma kluczowe znaczenie dla procesu oceny i zawiera w sobie ryzyko manipulacji. Jest to zatem bardzo odpowiedzialne zadanie (w Fundacji należy ono do koordynatorów programów, którzy dobierają recenzentów na podstawie własnego rozeznania i sugestii panelistów). Posłużę się przykładem z mojej dziedziny (biologii molekularnej): wysłanie wniosku do recenzenta z USA czy Wielkiej Brytanii w zasadzie przesądza, że oceny będą dużo niższe. Jeśli przy kwalifikacji wniosku do interdyscyplinarnego panelu zastosujemy średnią ocen z np. 3 recenzji, wysłanie go do choćby jednego recenzenta z USA czy Wielkiej Brytanii jest dla wniosku bardziej ryzykowne ? dlatego podobny profil recenzentów musi być stosowany we wszystkich wnioskach.
- Recenzenci często oceniają tylko jeden wniosek, zatem nie mogą go porównać z poziomem innych wniosków w tym samym konkursie. To powoduje, że przyznawana przez nich punktacja, a czasem także stosowane kryteria oceny, również mogą nie być porównywalne. Dla mnie osobiście najbardziej denerwujące jest sformułowanie: ?jak na Polskę to nawet bardzo dobre?.
- Recenzenci są wąskimi specjalistami w danej dziedzinie/dyscyplinie i mogą być po prostu konkurentami wobec ocenianych. Jeśli koordynator programu, który nie jest częścią środowiska i nie zna jego personalnych animozji, nie uczestniczy w konferencjach naukowych, na których ludzie dyskutują, a czasami się kłócą, wyśle grant do najlepszego specjalisty w tematyce X, znajdując go w bazie danych na podstawie na przykład poziomu cytowania tematyki X, może trafić na naukowego konkurenta wnioskodawcy. Trzeba więc wiedzieć, komu wysyła się dany wniosek. FNP korzysta z listy przeszło 2 tysięcy zagranicznych recenzentów, którzy od lat przygotowują dla nas recenzje, a mimo to zdarza się, że trafiamy na konflikt interesów. Dlatego potrzebna jest dodatkowa weryfikacja ?insidera?, który jest w stanie odróżnić, czy mamy do czynienia z merytoryczną krytyką, czy może ze zwalczaniem konkurencji. Dlatego właśnie w FNP mamy zasadę, że w przypadku skrajnych ocen taki wniosek jest kierowany na interdyscyplinarny panel wraz z tymi bardzo dobrze ocenionymi. Nasi koordynatorzy nie mogą anulować recenzji, natomiast może to zrobić panel. Zdarza się to rzadko, ale czasami tak.
Podsumowując moje refleksje nad peer review, dodam jeszcze, że wnioski, które uzyskują finansowanie FNP, są oceniane przez ok. 8?12, ekspertów w danej dziedzinie, a mimo to zdarza nam się popełnić błąd. Po 6?7 latach od przyznania grantu, po jego zrealizowaniu, międzynarodowy panel ekspertów (inny niż ten, który przyznawał granty) dokonuje ewaluacji ? zarówno wyników uzyskanych w ramach projektu finansowanego ze środków FNP, jak też procedury doprowadzającej do przyznania grantu. Uczestnicy takiej ewaluacji odpowiadają między innymi na pytanie: czy przyznałbyś ten grant powtórnie. Tu potrzebne jest zastrzeżenie, że w przypadku niektórych projektów nie udaje się uzyskać zakładanych celów, ponieważ były one ryzykowne. Nie oznacza to jednak, że popełniliśmy błąd, przyznając dofinansowanie. Prawdziwa nauka wiąże się z ryzykiem. Najważniejszym celem ewaluacji nie jest więc potwierdzenie, że udało się uzyskać planowane wyniki, ale że proces wyłonienia beneficjenta odbył się prawidłowo.
Uważam że dopiero ten ostatni etap jest sprawdzianem, czy nasz system oceny peer review minimalizuje liczbę pomyłek. Piszę ?minimalizuje?, bo pomyłek nie da się uniknąć w ogóle, stosując system, w którym główną rolę odgrywa czynnik ludzki. Trzeba zdawać sobie sprawę, że zastosowanie peer review w ocenie wniosków grantowych jest bardzo żmudnym i trudnym procesem, a w efekcie i tak czasami popełnia się błędy. Ale z peer review jest jak z demokracją ? część z nas na nią narzeka, ale tak naprawdę nie ma innego równie dobrego systemu ? czy mówimy o ustroju politycznym, czy o metodzie oceniania jakości prac naukowych.
Prof. Maciej Żylicz
Artykuł ukazał się w tygodniku ?PAUza Akademicka? (nr 375, 9 marca 2017): link