Hoewel computationele reproduceerbaarheid in wetenschappelijk onderzoek over het algemeen wordt verwacht wanneer de originele gegevens en code beschikbaar zijn, gebrek aan vermogen om een ​​eerder onderzoek te repliceren - of consistente resultaten te verkrijgen met dezelfde wetenschappelijke vraag maar met verschillende gegevens - is genuanceerder en kan af en toe helpen bij het proces van wetenschappelijke ontdekking, zegt een nieuw door het congres verplicht rapport van de National Academies of Sciences, Engineering, en geneeskunde. Reproducibility and Replicability in Science beveelt manieren aan waarop onderzoekers, academische instituties, tijdschriften, en financiers moeten helpen de nauwkeurigheid en transparantie te versterken om de reproduceerbaarheid en reproduceerbaarheid van wetenschappelijk onderzoek te verbeteren.

Reproduceerbaarheid en repliceerbaarheid definiëren

De termen "reproduceerbaarheid" en "repliceerbaarheid" worden vaak door elkaar gebruikt, maar het rapport gebruikt elke term om naar een afzonderlijk concept te verwijzen. Reproduceerbaarheid betekent het verkrijgen van consistente rekenresultaten met dezelfde invoergegevens, rekenstappen, methoden, code, en analysevoorwaarden. Repliceerbaarheid betekent het verkrijgen van consistente resultaten voor alle onderzoeken die gericht zijn op het beantwoorden van dezelfde wetenschappelijke vraag, die elk hun eigen gegevens hebben verkregen.

Het reproduceren van onderzoek omvat het gebruik van de originele gegevens en code, terwijl het repliceren van onderzoek nieuwe gegevensverzameling en vergelijkbare methoden omvat die in eerdere onderzoeken zijn gebruikt, zegt het rapport. Zelfs wanneer een onderzoek rigoureus werd uitgevoerd volgens de beste praktijken, correct geanalyseerd, en transparant gerapporteerd, het kan niet worden gerepliceerd.

"In staat zijn om de computationele resultaten van een andere onderzoeker te reproduceren, beginnend met dezelfde gegevens en een eerdere studie repliceren om de resultaten te testen, vergemakkelijkt het zelfcorrigerende karakter van de wetenschap, en worden vaak aangehaald als kenmerken van goede wetenschap, " zei Harvey Fineberg, voorzitter van de Gordon and Betty Moore Foundation en voorzitter van de commissie die het onderzoek heeft uitgevoerd. "Echter, factoren zoals gebrek aan transparantie van rapportage, gebrek aan passende opleiding, en methodologische fouten kunnen onderzoekers ervan weerhouden een onderzoek te reproduceren of te repliceren. Onderzoek financiers, tijdschriften, academische instituties, beleidsmakers, en wetenschappers zelf hebben elk een rol te spelen bij het verbeteren van de reproduceerbaarheid en reproduceerbaarheid door ervoor te zorgen dat wetenschappers zich houden aan de hoogste praktijknormen, de onzekerheid die inherent is aan hun conclusies te begrijpen en uit te drukken, en doorgaan met het versterken van het onderling verbonden web van wetenschappelijke kennis - de belangrijkste motor van vooruitgang in de moderne wereld."

reproduceerbaarheid

De definitie van reproduceerbaarheid van de commissie is gericht op berekening, omdat de meeste wetenschappelijke en technische onderzoeksdisciplines berekening als hulpmiddel gebruiken, en de overvloed aan gegevens en het wijdverbreide gebruik van berekeningen hebben veel disciplines getransformeerd. Echter, deze revolutie wordt nog niet uniform weerspiegeld in hoe wetenschappers software gebruiken en hoe wetenschappelijke resultaten worden gepubliceerd en gedeeld, zegt het rapport. Deze tekortkomingen hebben gevolgen voor de reproduceerbaarheid, omdat wetenschappers die onderzoek willen reproduceren, mogelijk niet de informatie of training hebben die ze daarvoor nodig hebben.

Wanneer resultaten worden geproduceerd door complexe computerprocessen waarbij grote hoeveelheden gegevens worden gebruikt, de methodesectie van een wetenschappelijk artikel is onvoldoende om de nodige informatie voor anderen over te brengen om de resultaten te reproduceren, zegt het rapport. Aanvullende informatie met betrekking tot gegevens, code, modellen, en rekenkundige analyse nodig is.

Als er voldoende aanvullende informatie beschikbaar is en een tweede onderzoeker de methoden volgt die door de eerste onderzoeker zijn beschreven, men verwacht in veel gevallen dezelfde exacte numerieke waarden te verkrijgen - of bitsgewijze reproductie. Voor een aantal onderzoeksvragen bitsgewijze reproductie is mogelijk niet haalbaar en reproduceerbare resultaten kunnen worden verkregen binnen een geaccepteerd variatiebereik.

De wetenschappelijke basis om de prevalentie van niet-reproduceerbaarheid in onderzoek te bepalen is onvolledig, en het bepalen van de omvang van problemen met betrekking tot computationele reproduceerbaarheid in of binnen wetenschapsgebieden zou een enorme onderneming zijn met een lage kans op succes, vond de commissie. Echter, een aantal systematische pogingen om rekenresultaten op verschillende gebieden te reproduceren, hebben in meer dan de helft van de pogingen gefaald, voornamelijk vanwege onvoldoende details over de gegevens, code, en computationele workflow.

Repliceerbaarheid

Een belangrijke manier om eerdere resultaten te bevestigen of erop voort te bouwen, is door dezelfde methoden te volgen, nieuwe gegevens verkrijgen, en kijk of de resultaten overeenkomen met het origineel. Een succesvolle replicatie garandeert niet dat de oorspronkelijke wetenschappelijke resultaten van een onderzoek correct waren, echter, evenmin weerlegt een enkele mislukte replicatie de oorspronkelijke beweringen definitief, zegt het rapport.

Niet-repliceerbaarheid kan uit een aantal bronnen voortkomen. De commissie classificeerde bronnen van niet-repliceerbaarheid in die die mogelijk nuttig zijn voor het verkrijgen van kennis, en degenen die niet helpen.

Mogelijk nuttige bronnen van niet-repliceerbaarheid zijn inherente maar niet-gekarakteriseerde onzekerheden in het systeem dat wordt bestudeerd. Deze bronnen van niet-repliceerbaarheid zijn een normaal onderdeel van het wetenschappelijke proces, vanwege de intrinsieke variatie of complexiteit in de natuur, de reikwijdte van de huidige wetenschappelijke kennis, en de grenzen van de huidige technologieën. In dergelijke gevallen, het niet repliceren kan leiden tot de ontdekking van nieuwe fenomenen of nieuwe inzichten over variabiliteit in het systeem dat wordt bestudeerd.

In andere gevallen, het rapport zegt, niet-repliceerbaarheid is te wijten aan tekortkomingen in het ontwerp, gedrag, en communicatie van een studie. Of het nu voortkomt uit een gebrek aan kennis, perverse prikkels, slordigheid, of vooringenomenheid, deze nutteloze bronnen van niet-repliceerbaarheid verminderen de efficiëntie van wetenschappelijke vooruitgang.

Nutteloze bronnen van niet-repliceerbaarheid kunnen worden geminimaliseerd door middel van initiatieven en praktijken die gericht zijn op het verbeteren van onderzoeksontwerp en -methodologie door middel van training en mentoring, experimenten herhalen vóór publicatie, strenge collegiale toetsing, het gebruik van tools voor het controleren van analyses en resultaten, en betere transparantie bij de verslaglegging. Pogingen om vermijdbare en nutteloze bronnen van niet-repliceerbaarheid te minimaliseren, vereisen voortdurende aandacht, zegt het rapport.

Onderzoekers die willens en wetens dubieuze onderzoekspraktijken gebruiken met de bedoeling te misleiden, plegen wangedrag of fraude. Het kan in de praktijk moeilijk zijn om onderscheid te maken tussen eerlijke fouten en opzettelijk wangedrag, omdat de onderliggende actie hetzelfde kan zijn, terwijl de bedoeling dat niet is. Wetenschappelijk wangedrag in de vorm van een verkeerde voorstelling van zaken en fraude is een voortdurende zorg voor de hele wetenschap, hoewel het een zeer klein percentage van de gepubliceerde wetenschappelijke artikelen uitmaakt, vond de commissie.

Verbetering van de reproduceerbaarheid en repliceerbaarheid in onderzoek

Het rapport beveelt een reeks stappen aan die belanghebbenden in de onderzoeksonderneming moeten nemen om de reproduceerbaarheid en reproduceerbaarheid te verbeteren, inclusief:

• Alle onderzoekers moeten een duidelijke, specifiek, en volledige beschrijving van hoe de gerapporteerde resultaten zijn bereikt. Rapporten moeten details bevatten die geschikt zijn voor het type onderzoek, zoals een duidelijke beschrijving van alle methoden, instrumenten, materialen, procedures, afmetingen, en andere variabelen die bij het onderzoek betrokken zijn; een duidelijke beschrijving van de analyse van gegevens en besluiten tot uitsluiting van sommige gegevens of opname van andere; en bespreking van de onzekerheid van de metingen, resultaten, en gevolgtrekkingen.
• Financieringsinstanties en -organisaties zouden moeten overwegen te investeren in onderzoek en ontwikkeling van open-source, bruikbare tools en infrastructuur die reproduceerbaarheid ondersteunen voor een breed scala aan onderzoeken in verschillende domeinen op een naadloze manier. gelijktijdig, investeringen zouden nuttig zijn om onderzoekers te informeren en op te leiden over beste praktijken en het gebruik van deze instrumenten.
• Tijdschriften zouden manieren moeten overwegen om de computerreproduceerbaarheid te waarborgen voor publicaties die beweringen doen op basis van berekeningen, voor zover ethisch en wettelijk mogelijk is.
• De National Science Foundation moet stappen ondernemen om het transparant delen en beschikbaar stellen van digitale artefacten te vergemakkelijken, zoals gegevens en code, voor door NSF gefinancierde onderzoeken, waaronder het ontwikkelen van een reeks criteria voor vertrouwde open repositories die door de wetenschappelijke gemeenschap kunnen worden gebruikt voor objecten uit de wetenschappelijke geschiedenis, en het goedkeuren of overwegen van het creëren van code- en gegevensopslagplaatsen voor archivering en bewaring op lange termijn van digitale artefacten die beweringen in de wetenschappelijke gegevens ondersteunen op basis van door NSF gefinancierd onderzoek, onder andere acties.

Vertrouwen in de wetenschap

Repliceerbaarheid en reproduceerbaarheid, nuttig als ze zijn bij het opbouwen van vertrouwen in wetenschappelijke kennis, zijn niet de enige manieren om vertrouwen te krijgen in wetenschappelijke resultaten. Onderzoekssynthese en meta-analyse, bijvoorbeeld, zijn waardevolle methoden om de betrouwbaarheid en validiteit van onderzoeksinstanties te beoordelen, zegt het rapport. Een doel van wetenschap is om het algemene effect van een reeks wetenschappelijke studies te begrijpen, niet strikt te bepalen of een onderzoek een ander heeft gerepliceerd.

Onder andere gerelateerde aanbevelingen, het rapport zegt dat mensen die persoonlijke of beleidsbeslissingen nemen op basis van wetenschappelijk bewijs, op hun hoede moeten zijn voor het nemen van een serieuze beslissing op basis van de resultaten, hoe veelbelovend ook, van een enkele studie. Op dezelfde manier, ze moeten geen nieuwe nemen, enkele tegengestelde studie als weerlegging van wetenschappelijke conclusies ondersteund door meerdere regels van eerder bewijs.

De studie, uitgevoerd door het Comité voor reproduceerbaarheid en repliceerbaarheid in de wetenschap, werd gesponsord door de National Science Foundation en de Alfred P. Sloan Foundation. De Nationale Academies zijn privé, non-profit instellingen die onafhankelijke, objectieve analyse en advies aan de natie om complexe problemen op te lossen en openbare beleidsbeslissingen met betrekking tot wetenschap te informeren, technologie, en geneeskunde. Ze opereren onder een congreshandvest uit 1863 van de National Academy of Sciences, ondertekend door president Lincoln. Voor meer informatie, bezoek nationalacademies.org.