wtorek, 19 października 2021

Zibipedia - Peer review

Peer review to mający 350 lat system walidacyjny nauki, dający jej szansę na lekkie wybicie statystyczne poprawnych hipotez ponad poziom absolutnej losowości. 

Jeżeli naukowiec sformułował w swoim życiu 1000 naukowych hipotez. Następnie sprawdzał swoje hipotezy eksperymentalnie na podstawie danych rzeczywistych, czyli w środowisku chaosu, wtedy możemy przyjąć, że prawdziwych jest np. zaledwie 10% z nich, czyli 100. Dla naukowca, to nic złego mylić się w 90% przypadków – nie jest to powód do wstydu. Ważne, żeby po wykonaniu badań, okazało się, które z tych tez są fałszywe.

Poprawność hipotez została udowodniona na podstawie danych pochodzących z instrumentów badawczych. Część z tych maszyn na pewno się myli, bo nie jest absolutnie dokładnie wykonana, albo dane z tych maszyn pochodzące zostały źle odczytane lub źle przetworzone, czy podsumowane. Dodatkowo można przyjąć założenie, że człowiek podświadomie szuka potwierdzenia sformułowanej wcześniej własnej tezy w wynikach badań – lubimy bowiem mieć rację. Prowadzi to do wniosku, że ilość potwierdzonych hipotez w stosunku do prawdziwych hipotez – będzie większa. Jeśli z 900 fałszywych hipotez zaledwie 1 na 20 będzie fałszywie potwierdzona, to do 100 prawdziwych hipotez należy dodać 45 fałszywych. Dlatego prawie jedna trzecia z hipotez wyglądających na prawdziwe – będzie błędna. 

Dodatkowo, wśród dowodów na część hipotez, które są prawdziwe, w wyniku tego samego mechanizmu powstawania błędów, pojawią się dane sugerujące ich fałszywość. Ponieważ ostrożny naukowiec przyjmuje za prawdę tylko te wyniki, które „ponad wszelką wątpliwość”, czyli w ogromnej większości, potwierdzają jego tezy, losowy szum błędów sprawi, że odrzuci nawet większy odsetek przypadków, podejrzewając, że są fałszywe. Jeśli będzie to 1 sytuacja na 10, to odrzuci 10 prawdziwych hipotez i ostatecznie uzyska 135 potwierdzonych hipotez. Wśród nich 90 będzie prawdziwych, a 45 fałszywych, czyli „udowodnionych” fałszywych hipotez będzie połowa…

Dlatego poprawnie i sumiennie pracujący naukowiec, głoszący swoje tezy w oderwaniu od krzyżowego sprawdzania wyników i powtarzania oraz potwierdzania ich przez innych badaczy w wyniku niezależnych eksperymentów, ma 50% szans, że się myli. Co więcej, wnioski wyciągane z błędnych hipotez – będą generowały kolejne fałszywe hipotezy. 

W rezultacie naukę można uprawiać w oderwaniu od paradygmatu naukowej społeczności, lecz nie wiadomo, czy robimy takim działaniem ludzkości przykrość czy przysługę. 

Samotny naukowiec, pozbawiony usieciowienia oceny swojej pracy w postaci choćby peer review na dłuższą metę nie różni się od monety, chociaż od niej dużo ciężej pracuje. 

Zbigniew Galar

Brak komentarzy:

Prześlij komentarz