Twintig jaar geleden, het was moeilijk om informatie te vinden over lokale restaurants, behalve van de restaurants zelf. Nutsvoorzieningen, dankzij internet, onafhankelijke evaluaties zijn gemakkelijk te vinden. Het is verleden tijd dat we dat pleiten voor wetenschappelijk onderzoek, te.

Aan zijn grens, wetenschap is ongepolijst en ongelijk. De bevindingen komen van nieuwe machines of procedures. Vaak worden deze niet volledig begrepen - zoals Einstein zou hebben gezegd:"Als we wisten wat we aan het doen waren, het zou geen onderzoek heten."

Nederigheid is dus belangrijk, maar je zult het niet altijd vinden in de populaire verhalen die nieuw werk uitbazuinen. Tot op zekere hoogte, dat weerspiegelt hoe de onderzoekers zelf hun werk uitbeelden. Wij wetenschappers geven er soms de voorkeur aan om elke mogelijkheid dat onze bevindingen een fout weerspiegelen, terzijde te schuiven. We hebben ook de neiging om te optimistisch te zijn dat onze bevindingen van brede algemeenheid zijn, in plaats van afhankelijk te zijn van zeer specifieke omstandigheden.

Bij wetenschappers, zoals mensen in het algemeen, vooroordelen zijn onvermijdelijk. Om te voorkomen dat we te zeker zijn in wetenschappelijke conclusies, dan, we moeten de meningen van beide kanten van een kwestie zien. Helaas, echter, veel meningsverschillen tussen onderzoekers worden systematisch verborgen in plaats van onthuld.

Nieuwe resultaten ondergaan iets dat 'peer review' wordt genoemd. Die peer review onthult vaak de complexiteit, onzekerheid, en onenigheid die inherent zijn aan baanbrekend werk, maar het is niet beschikbaar voor het publiek.

Als resultaat, wetenschap zoals gezien door het publieke oog is veel zekerder, universeel, en onomstreden dan het in werkelijkheid is.

Het peer review proces

Mensen zijn bevooroordeelde wezens. Stiekem of niet zo stiekem, onderzoekers zullen juichen voor hun favoriete theorieën. Individuele wetenschappelijke oordelen, daarom, niet blindelings te vertrouwen.

Gelukkig, wij wetenschappers zijn vaak in dialoog met elkaar. Bij de presentatie van mijn werk, Ik merk dat ik vaak geprikkeld word om mijn eigen ideeën beter te bekijken, en op de strengheid van mijn methoden. Ik word meegesleurd tot het besef dat mijn critici eigenlijk gelijk hebben over sommige dingen.

Veel van dit heen en weer gebeurt in peer review van tijdschriften. Nadat ik een artikel heb ingediend bij een tijdschrift, een redacteur stuurt het naar twee of drie andere onderzoekers. Deze "peer-reviewers, " die vaak afkomstig zijn van 's werelds meest vooraanstaande experts over het onderwerp van het artikel, zijn belast met het evalueren van het artikel en de studies die het rapporteert.

De opmerkingen van de experts kunnen een mix van kritiek en lof zijn, met gedachten over de analyses van de gegevens, de gebruikte procedures, hoe de bevindingen zich precies verhouden tot die van eerder werk, en de kracht van het gepresenteerde bewijs voor de conclusies van mijn artikel.

Zelfs in die gevallen waarin de peer reviews kort zijn, ze omvatten de goedkeuring door deskundigen van bepaalde aspecten van een artikel, die voor sommige lezers zeer waardevol zou zijn.

Soms zijn de recensies vrij lang, en de kennis die erin zit is nergens anders te vinden. Bijvoorbeeld, de laatste drie peer reviews die ik schreef waren elk meer dan duizend woorden, komen binnen op zestien pagina's tekst allemaal. Veel van de individuele opmerkingen zijn van weinig belang voor iedereen die niet in het veld werkt, maar samen kunnen ze leiden tot bredere implicaties voor de geloofwaardigheid van de conclusies.

Auteurs reageren doorgaans op peer reviews door enkele van hun punten op te nemen, openlijke fouten herstellen, en het verschuiven van delen van hun argument om elke afhankelijkheid van dubieuze aannames te verminderen. Echter, de onderzoekers vermijden soms om controversiële kwesties rechtstreeks aan te pakken, liever onder het tapijt vegen. De zorgen van de peer reviewers kunnen dan onopgemerkt blijven voor toekomstige lezers.

Het vermijden van verhalende omwegen om onvolkomenheden of twijfelachtige veronderstellingen te bespreken, kan belangrijk zijn om het belangrijkste punt van een onderzoek over te brengen. Dit is de reden waarom ik mijn eigen artikelen maak als een netjes verhaal - dat zeg ik tegen mezelf. Ik wil dat mijn artikelen schitteren. Ik moet toegeven, Hoewel, dat ik ook wil dat lezers eventuele sprongen op het pad dat naar mijn conclusie leidt over het hoofd zien.

Een gezuiverde versie van wetenschap

Wetenschappelijke tijdschriften beschouwen peer reviews als vertrouwelijk, en laat alleen de auteurs van het artikel toe, de twee of drie recensenten, en de tijdschriftredacteur om ze te zien. Wat lezers en de wereld zien, dan, is een gezuiverde versie van wetenschap. De consumenten van onderzoek, of het nu andere onderzoekers zijn, ingenieurs, beleidsmakers, journalisten, of farmaceutische bedrijven – worden de informatie in de peer reviews onthouden.

Bij het schrijven van een artikel over een nieuwe bevinding, journalisten moeten uiteindelijk zelf voor externe evaluatie zorgen. Ze bellen alle experts die ze kunnen vinden en vragen hen naar mogelijke problemen. Door dit te doen, ze proberen een beoordelingsproces opnieuw te maken dat al is uitgevoerd. Zelden zullen ze zo uitgebreid commentaar krijgen als in de formele peer review, en ze krijgen deze opmerkingen voor slechts een klein deel van de nieuwe bevindingen die elke dag worden gepubliceerd.

Als de evaluatie in het oorspronkelijke peer review-proces openbaar was, nieuwsaccounts zouden minder goedgelovig zijn, en het publieke begrip van wetenschap is misschien meer verfijnd. onderzoekers, het voordeel hebben om peer review-opmerkingen samen met nieuw werk te kunnen lezen, zou minder geneigd zijn om aan te nemen dat een bevinding solide is, een houding die heeft bijgedragen aan de replicatiecrisis.

Post-pandemie, een nieuwe onderzoekswereld

Toen de uitbraak van het coronavirus zich vorig jaar verspreidde, er was een breed besef dat peer review van COVID-onderzoek te belangrijk was om achter gesloten deuren te blijven. Onderzoekers beoordeelden snel nieuw werk en plaatsten hun commentaren op internetfora zoals Twitter en de onderzoeks-commentaarsite PubPeer.

Een deel van deze kritiek werd opgepikt door journalisten en droeg bij tot de intrekking van een ondeugdelijk onderzoek naar hydroxychloroquine en tot snelle correcties van onderzoeken naar infectiepercentages.

Twitter-discussies kunnen chaotisch zijn, en het twitteralgoritme beloont geen nuance. De excessen die zijn ontstaan, zijn een reden dat niet alle onderzoekers de toename van open commentaar hebben toegejuicht, dus met het verstrijken van de pandemie, het gevaar bestaat dat de wetenschap terug in haar schulp krimpt. Gelukkig, openbare peer review-initiatieven ontworpen door onderzoekers, in plaats van door socialemediabedrijven die geld willen verdienen aan verontwaardiging, hebben inmiddels een aanzienlijk aantal deskundigen aangetrokken.

In de afgelopen twintig jaar, dankzij iets dat de "open access"-beweging wordt genoemd, we hebben gezien dat het aandeel wetenschappelijke artikelen dat gratis kan worden gelezen, van een kleine minderheid tot bijna de helft is gestegen. In de komende twintig jaar zal om echt publiek inzicht te krijgen in de aard van nieuwe bevindingen, we moeten ook peer review openstellen.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.