De wetenschap bevindt zich midden in een crisis:een verrassend deel van de gepubliceerde onderzoeken wordt niet gerepliceerd wanneer de procedures worden herhaald.

Bijvoorbeeld, neem de studie, gepubliceerd in 2007, die beweerde dat lastige wiskundige problemen die zorgvuldig nadenken, gemakkelijker op te lossen zijn als ze in een vaag lettertype worden gepresenteerd. Toen onderzoekers in een kleine studie ontdekten dat het gebruik van een fuzzy font de nauwkeurigheid van de prestaties verbeterde, het ondersteunde een bewering dat het tegenkomen van perceptuele uitdagingen mensen ertoe zou kunnen aanzetten om zorgvuldiger na te denken.

Echter, 16 pogingen om het resultaat te repliceren mislukten, definitief aantonen dat de oorspronkelijke claim onjuist was. Samen uitgezet in een grafiek, de studies vormden een perfecte belcurve gecentreerd rond het nuleffect. Zoals vaak het geval is bij het niet repliceren, van de 17 totale pogingen, het origineel had zowel de kleinste steekproefomvang als het meest extreme resultaat.

Het reproduceerbaarheidsproject, een samenwerking van 270 psychologen, heeft geprobeerd 100 psychologiestudies te repliceren, terwijl een rapport uit 2018 studies onderzocht die tussen 2010 en 2015 in de prestigieuze wetenschappelijke tijdschriften Nature and Science waren gepubliceerd. Uit deze inspanningen blijkt dat ongeveer tweederde van de studies tot op zekere hoogte repliceren, maar dat de sterkte van de bevindingen vaak zwakker is dan oorspronkelijk werd beweerd.

Is dit slecht voor de wetenschap? Het is zeker ongemakkelijk voor veel wetenschappers wiens werk wordt ondermijnd, en het aantal mislukkingen kan momenteel onaanvaardbaar hoog zijn. Maar, als psycholoog en statisticus, Ik geloof dat de confrontatie met de replicatiecrisis goed is voor de wetenschap als geheel.

Goede wetenschap beoefenen

Eerst, deze replicatiepogingen zijn voorbeelden van goede wetenschap die werkt zoals het hoort. Het zijn gerichte toepassingen van de wetenschappelijke methode, zorgvuldig experimenteren en observeren bij het nastreven van reproduceerbare resultaten.

Veel mensen gaan er ten onrechte van uit dat, vanwege de "p <.05" drempel voor statistische significantie, slechts 5% van de ontdekkingen blijken fouten te zijn. Echter, 15 jaar geleden, arts John Ioannidis wees op enkele drogredenen in die veronderstelling, met het argument dat valse ontdekkingen de meerderheid van de gepubliceerde literatuur vormden. Replicatie-inspanningen bevestigen dat het percentage valse ontdekkingen veel hoger is dan 5%.

Bewustwording over de replicatiecrisis lijkt beter gedrag bij wetenschappers te bevorderen. Twintig jaar geleden, de cyclus voor publicatie was in principe voltooid nadat een wetenschapper drie recensenten en een redacteur ervan had overtuigd dat het werk deugdelijk was. Ja, het gepubliceerde onderzoek zou onderdeel worden van de literatuur, en daarom open voor herziening - maar dat was een langzaam proces.

Vandaag, de inzet is verhoogd voor onderzoekers. Ze weten dat de mogelijkheid bestaat dat hun onderzoek wordt beoordeeld door duizenden eigenzinnige commentatoren op internet of door een vooraanstaande groep zoals het Reproducibility Project. Sommige tijdschriften vereisen nu dat wetenschappers hun gegevens en computercode beschikbaar stellen, waardoor het waarschijnlijker is dat anderen fouten in hun werk opmerken. Bovendien, sommige wetenschappers kunnen hun hypothesen nu "preregistreren" voordat ze met hun onderzoek beginnen - het equivalent van je kans grijpen voordat je het doet.

Gecombineerd met het open delen van materialen en gegevens, preregistratie verbetert de transparantie en reproduceerbaarheid van wetenschap, hopelijk ervoor zorgen dat een kleiner deel van toekomstige studies niet zal worden gerepliceerd.

Hoewel er tekenen zijn dat wetenschappers hun werkwijze inderdaad aan het hervormen zijn, er is nog een lange weg te gaan. Van de 1, 500 geaccepteerde presentaties op de jaarlijkse bijeenkomst van de Society for Behavioral Medicine in maart, slechts 1 op de 4 auteurs rapporteerde het gebruik van deze open science-technieken in het werk dat ze presenteerden.

Statistische intuïtie verbeteren

Eindelijk, de replicatiecrisis helpt de intuïtie van wetenschappers over statistische gevolgtrekkingen te verbeteren.

Onderzoekers begrijpen nu beter hoe zwakke ontwerpen met hoge onzekerheid - in combinatie met de keuze om alleen te publiceren wanneer resultaten statistisch significant zijn - overdreven resultaten opleveren. In feite, het is een van de redenen waarom meer dan 800 wetenschappers onlangs pleitten voor het afschaffen van statistische significantietests.

We begrijpen ook beter hoe geïsoleerde onderzoeksresultaten passen in het bredere patroon van resultaten. In een andere studie, Ionnadis en oncoloog Jonathan Schoenfeld onderzochten de epidemiologische literatuur voor studies die 40 veel voorkomende voedselingrediënten met kanker in verband brachten. Er waren enkele brede consistente trends - niet verwonderlijk, spek, zout en suiker blijken nooit beschermend te zijn tegen kanker.

Maar het plotten van de effecten van 264 onderzoeken leverde een verwarrend patroon op. De grootte van de gerapporteerde effecten was zeer variabel. Met andere woorden, een studie zou kunnen zeggen dat een bepaald ingrediënt erg slecht voor je was, terwijl een ander zou kunnen concluderen dat de schade klein was. Vaak, de onderzoeken waren het zelfs oneens over de vraag of een bepaald ingrediënt schadelijk of heilzaam was.

Elk van de onderzoeken was op een gegeven moment afzonderlijk in een krant of op een website vermeld als de nieuwste ontdekking op het gebied van gezondheid en voeding. Maar als geheel genomen, het bewijs van alle onderzoeken was lang niet zo definitief als elk afzonderlijk onderzoek leek.

Schoenfeld en Ioannidis hebben ook een grafiek gemaakt van de 264 gepubliceerde effectgroottes. In tegenstelling tot de vage lettertypereplicaties, hun grafiek van gepubliceerde effecten zag eruit als de staarten van een klokkromme. Het was gecentreerd op nul met alle niet-significante bevindingen uitgehouwen. De onmiskenbare indruk van het zien van alle gepubliceerde voedingsresultaten die in één keer worden gepresenteerd, is dat velen van hen kunnen lijken op het vage lettertype-resultaat - indrukwekkend geïsoleerd, maar abnormaal onder replicatie.

De adembenemende mogelijkheid dat een groot deel van de gepubliceerde onderzoeksresultaten zomaar toevallig is, is precies waarom mensen spreken van de replicatiecrisis. Maar het is niet echt een wetenschappelijke crisis, omdat het bewustzijn verbeteringen in de onderzoekspraktijk brengt, nieuwe inzichten over statistische gevolgtrekkingen en het besef dat geïsoleerde bevindingen moeten worden geïnterpreteerd als onderdeel van een groter patroon.

In plaats van de wetenschap te ondermijnen, Ik heb het gevoel dat dit de beste praktijken van de wetenschappelijke methode bevestigt.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.