In een recent onderzoek van meer dan 1 500 wetenschappers, meer dan 70 procent van hen meldde dat ze de bevindingen van andere wetenschappers niet minstens één keer konden reproduceren. Ongeveer de helft van de ondervraagde wetenschappers kwam in de problemen bij het reproduceren van hun eigen resultaten. Geen wonder dat mensen het hebben over een "reproduceerbaarheidscrisis" in wetenschappelijk onderzoek - een epidemie van onderzoeken die geen stand houden wanneer ze een tweede keer worden uitgevoerd.

Reproduceerbaarheid van bevindingen is een fundamenteel fundament van de wetenschap. Als wetenschappelijke resultaten alleen gelden in sommige laboratoria, maar niet in andere, hoe kunnen onderzoekers dan vertrouwen hebben in hun ontdekkingen? Hoe kan de samenleving empirisch onderbouwd beleid invoeren als het bewijs onbetrouwbaar is?

De erkenning van deze "crisis" heeft geleid tot oproepen tot hervormingen. Onderzoekers voelen hun weg, experimenteren met verschillende praktijken die bedoeld zijn om solide wetenschap te onderscheiden van niet-reproduceerbare resultaten. Sommige mensen beginnen zelfs opnieuw te evalueren hoe keuzes worden gemaakt over welk onderzoek daadwerkelijk wordt aangepakt. Het betreden van innovatieve nieuwe wegen is flitsender dan het opnieuw bekijken van reeds gepubliceerd onderzoek. Leidt het prioriteren van nieuwheid natuurlijk tot dit punt?

Het verkeerde stimuleren?

Een oplossing voor de reproduceerbaarheidscrisis zou kunnen zijn om eenvoudig veel replicatieonderzoeken uit te voeren. Bijvoorbeeld, het wetenschappelijke tijdschrift eLife neemt deel aan een initiatief om belangrijke recente bevindingen op het gebied van kankeronderzoek te valideren en te reproduceren. De eerste reeks van deze "herhaalde" onderzoeken is onlangs vrijgegeven en leverde gemengde resultaten op. De resultaten van 2 van de 5 onderzoeken waren reproduceerbaar, één was dat niet en twee aanvullende onderzoeken gaven geen definitieve antwoorden.

Het is niet nodig om dit soort herhalingsstudies te beperken tot kankeronderzoek - reproduceerbaarheidsproblemen kunnen op verschillende gebieden van wetenschappelijk onderzoek worden opgemerkt.

Maar er is minstens één groot obstakel om tijd en moeite in dit streven te investeren:de zoektocht naar nieuwigheid. Het prestige van een wetenschappelijk tijdschrift hangt in ieder geval deels af van hoe vaak de onderzoeksartikelen die het publiceert, worden geciteerd. Dus, onderzoekstijdschriften willen vaak nieuwe wetenschappelijke bevindingen publiceren die eerder worden geciteerd, niet noodzakelijk de resultaten van nieuw herhaald ouder onderzoek.

Een studie van klinische onderzoeken die in medische tijdschriften zijn gepubliceerd, wees uit dat de meest prestigieuze tijdschriften de voorkeur geven aan het publiceren van studies die als zeer nieuw worden beschouwd en niet noodzakelijk die met de meest solide cijfers die de beweringen ondersteunen. Financieringsinstanties zoals de National Institutes of Health vragen wetenschappers die aanvragen voor onderzoekssubsidies beoordelen om een ​​"innovatiescore" te geven om prioriteit te geven aan financiering voor het meest innovatieve werk. En wetenschappers merken deze tendensen natuurlijk op - een onderzoek vond het gebruik van positieve woorden als "roman, " "verbazingwekkend, "Innovatief" en "ongekend" in papieren abstracts en titels is tussen 1974 en 2014 bijna vertienvoudigd.

Genetica-onderzoeker Barak Cohen van de Washington University in St. Louis publiceerde onlangs een commentaar waarin hij deze groeiende drang naar nieuwigheid analyseerde. Hij suggereert dat vooruitgang in de wetenschap afhangt van een delicaat evenwicht tussen nieuwheid en het controleren van het werk van andere wetenschappers. Wanneer beloningen zoals het financieren van subsidies of publicatie in prestigieuze tijdschriften de nadruk leggen op nieuwheid ten koste van het testen van eerder gepubliceerde resultaten, de wetenschap loopt het risico scheuren in haar fundament te ontwikkelen.

Huizen van baksteen, herenhuizen van stro

Kankeronderzoeker William Kaelin Jr., een ontvanger van de 2016 Albert Lasker Award for Basic Medical Research, pleitte onlangs in wetenschappelijke publicaties voor minder "herenhuizen van stro" en meer "huizen van baksteen".

Een van zijn grootste zorgen is dat wetenschappelijke artikelen hun claims nu opblazen om hun nieuwheid en de relevantie van biomedisch onderzoek voor klinische toepassingen te benadrukken. Door diepgang van onderzoek uit te wisselen voor brede claims, onderzoekers lopen het risico de robuustheid van het werk in gevaar te brengen. Door buitensporige nieuwheid en impact te claimen, onderzoekers kunnen de werkelijke betekenis ervan ondermijnen omdat ze mogelijk geen solide bewijs leveren voor elke claim.

Kaelin suggereert zelfs dat een deel van zijn eigen werk uit de jaren 90, die celbiologisch onderzoek transformeerde door te ontdekken hoe cellen zuurstof kunnen waarnemen, misschien moeite hebben gehad om vandaag gepubliceerd te worden.

Prestigieuze tijdschriften eisen nu vaak complete wetenschappelijke verhalen, van elementaire moleculaire mechanismen tot het bewijzen van hun relevantie in verschillende diermodellen. Onverklaarbare resultaten of onbeantwoorde vragen worden als zwakheden gezien. In plaats van één opwindende nieuwe ontdekking te publiceren die robuust is, en die zou kunnen leiden tot een nieuwe onderzoeksrichting door andere groepen, onderzoekers besteden nu jaren aan het verzamelen van een hele reeks bevindingen met brede beweringen over nieuwheid en impact.

Balanceren tussen nieuwe bevindingen en robuustheid

Een uitdaging voor redacteuren en recensenten van wetenschappelijke manuscripten is het beoordelen van de nieuwheid en waarschijnlijke langetermijnimpact van het werk dat ze beoordelen. Het uiteindelijke belang van een nieuwe, uniek wetenschappelijk idee is soms moeilijk te herkennen, zelfs door leeftijdsgenoten die op bestaande kennis zijn gebaseerd. Veel fundamentele onderzoeksstudies vormen de basis van toekomstige praktische toepassingen. Een recente studie vond dat van fundamentele onderzoeksartikelen die ten minste één bronvermelding kregen, 80 procent werd uiteindelijk geciteerd door een octrooiaanvraag. Maar het kost tijd voordat praktische betekenis aan het licht komt.

Een samenwerkend team van economische onderzoekers heeft onlangs een ongebruikelijke mate van wetenschappelijke nieuwigheid ontwikkeld door de referenties van een paper zorgvuldig te bestuderen. Ze beoordeelden een wetenschappelijk artikel als nieuwer als het een diverse combinatie van tijdschriften citeerde. Bijvoorbeeld, een wetenschappelijk artikel dat een botanisch tijdschrift citeert, een economisch tijdschrift en een natuurkundig tijdschrift zouden als heel nieuw worden beschouwd als geen ander artikel deze combinatie van verschillende referenties eerder had geciteerd.

Deze mate van nieuwheid stelde hen in staat om artikelen te identificeren die op de lange termijn waarschijnlijker zouden worden geciteerd. Maar het duurde ongeveer vier jaar voordat deze nieuwe artikelen hun grotere impact begonnen te laten zien. Men kan het oneens zijn met deze specifieke indicator van nieuwheid, maar de studie maakt een belangrijk punt:het kost tijd om de volledige impact van nieuwe bevindingen te erkennen.

Beseffend hoe moeilijk het is om nieuwheid te beoordelen, zou financieringsinstanties, tijdschriftredacteuren en wetenschappers pauzeren. Vooruitgang in de wetenschap hangt af van nieuwe ontdekkingen en het volgen van onontgonnen paden - maar solide, reproduceerbaar onderzoek vereist een even grote nadruk op de robuustheid van het werk. Door de balans te herstellen tussen eisen en beloningen voor nieuwheid en robuustheid, wetenschap zal nog grotere vooruitgang boeken.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees het originele artikel.