In zes gerenommeerde tijdschriften over hydrologie en waterbronnen die in 2017 werden gepubliceerd, het geschatte percentage onderzoeken waarvan de resultaten volledig konden worden gereproduceerd, lag tussen de 0,06 en 6,8 procent. Dit lage niveau van reproduceerbaarheid is niet ongebruikelijk in hydrologische studies - een feit dat veel wetenschappers gemakkelijk erkennen. Echter, een team van onderzoekers van de Utah State University heeft mogelijk een oplossing gevonden om deze studies reproduceerbaarder te maken.

In hun krant "Het beoordelen van de beschikbaarheid van gegevens en de reproduceerbaarheid van onderzoek in hydrologie en watervoorraden, " gepubliceerd op 26 februari in Nature's Wetenschappelijke gegevens , De co-auteurs van David Rosenberg ontwikkelden een online-enquêtetool om de reproduceerbaarheid van gepubliceerd onderzoek te beoordelen. Het team beoordeelde 360 ​​artikelen uit zes tijdschriften over waterbronnen die in 2017 werden gepubliceerd. ze konden de resultaten van vier artikelen slechts volledig reproduceren.

"Onze enquêtetool splitst het concept van wetenschappelijke reproduceerbaarheid op in specifieke componenten van gegevensbeschikbaarheid, reproduceerbaarheid van resultaten en reproduceerbaarheid van bevindingen, " zei Rosenberg, een universitair hoofddocent civiele en milieutechniek aan de USU. "We stellen dan voor hoe auteurs, tijdschriften, financiers en instellingen kunnen de enquêtetool gebruiken om de lage reproduceerbaarheid te verhogen."

De auteurs zeggen dat reproduceerbaarheid kan worden onderverdeeld in drie componenten:

• Zijn de gegevens, modellen, code, gebruiksaanwijzingen en andere artefacten die in het beschikbare werk worden gebruikt?
• Kunnen artefacten worden gebruikt om gepubliceerde resultaten te reproduceren?
• Kunnen de bevindingen worden gerepliceerd met nieuwe datasets?

De online-enquêtetool van het team bestaat uit 15 vragen en biedt een checklist met de essentiële items die nodig zijn voor de beschikbaarheid van artefacten en de reproduceerbaarheid van resultaten. Artifacts is een overkoepelende term voor alle data, software, modellen, code, aanwijzingen en ander materiaal dat nodig is om resultaten binnen een onderzoek te reproduceren.

Het team ontdekte dat ongeveer 70 procent van de artikelen in de steekproef vermeldde dat sommige materialen beschikbaar waren, maar dat slechts ongeveer 48 procent van de materialen online toegankelijk was. Slechts ongeveer zes procent van de gesamplede artikelen maakte artefacten openbaar beschikbaar, en slechts één procent van de bemonsterde artikelen maakte artefacten beschikbaar en kon volledig worden gereproduceerd.

De auteurs zeiden dat veel artikelen aanwijzingen misten om resultaten te genereren. Als auteurs aanwijzingen geven, ze zeggen, het aantal artikelen dat op reproduceerbaarheid zou kunnen worden getest, zou verdubbelen. Artikelen die alle artefacten beschikbaar maakten, hadden een kans van zes op tien dat sommige of al hun resultaten werden gereproduceerd. Twee tijdschriften die door het team werden onderzocht, hadden artikelen nodig om aan te geven hoe toegang tot artefacten kan worden verkregen, en vier tijdschriften moedigden uitspraken aan. Er waren geen tijdschriften die auteurs nodig hadden om alle artefacten beschikbaar te stellen.

De enquêtetool kan auteurs helpen herkennen en stimuleren om bepaalde reproduceerbaarheidsniveaus te bereiken. Bijvoorbeeld, auteurs kunnen de enquêtetool gebruiken om zelf de reproduceerbaarheid van hun resultaten te beoordelen. Rosenberg en zijn team bevelen ook een medaillesysteem aan om verschillende niveaus van reproduceerbaarheid te herkennen:

• Bronzen medaille:alle artefacten worden beschikbaar gesteld in het artikel of in open repositories
• Zilveren medaille:alle artefacten worden beschikbaar gesteld en de resultaten zijn volledig reproduceerbaar
• Gouden medaille:resultaten zijn volledig reproduceerbaar en algemene bevindingen kunnen worden gerepliceerd in verschillende instellingen met dezelfde of verschillende artefacten

Rosenberg beveelt aan om medaillepictogrammen naast online artikelen te plaatsen om auteurs te herkennen voor hun reproduceerbaarheidswerk en het voor lezers gemakkelijker te maken om de beste reproduceerbaarheidspraktijken te vinden. Rosenberg en zijn team kenden vier zilveren medailles en zes bronzen medailles toe uit de 360 ​​artikelen die ze beoordeelden. Het toekennen van gouden medailles voor de reproduceerbaarheid van bevindingen blijft een belangrijk onderdeel van toekomstig werk.

"We hopen dat de enquêtetool auteurs een duwtje in de rug zal geven, tijdschriften, financiers en instellingen om wetenschappelijk werk reproduceerbaarder te maken, " zei Rosenberg. "We verwelkomen discussie om de enquêtetool te verbeteren en de reproduceerbaarheid van onze wetenschap te verbeteren."