Reproduceerbaarheid van wetenschappelijke bevindingen is lange tijd een belangrijke indicator geweest voor de validiteit van gegevens uit onderzoek, een proces dat in dit tijdperk van steeds veranderende technologieën en methoden nog belangrijker wordt geacht.

Op het Sackler-colloquium ging het over "Reproduceerbaarheid van onderzoek:problemen en voorgestelde remedies, "David B. Allison, decaan van de Indiana University School of Public Health-Bloomington, en medeorganisatoren Richard Shiffrin, IU Distinguished Professor en Luther Dana Waterman hoogleraar psychologische en hersenwetenschappen; Victoria Stodden van de Universiteit van Illinois en wijlen Stephen Fienberg van de Carnegie Mellon University nodigden uit tot discussie over de belangrijkste onderwerpen van het definiëren van reproduceerbaarheid in verschillende onderzoekscontexten en het bieden van remedies die bijdragen aan een grotere reproduceerbaarheid en transparantie.

Een tiental artikelen die het colloquium vormgeven, werden gepubliceerd in het speciale nummer van maart 2018 van: Proceedings van de National Academy of Sciences en besloeg een uitgebreid scala aan onderwerpen, van het verzamelen van gegevens tot de verspreiding van bevindingen van zowel de wetenschappelijke als niet-wetenschappelijke gemeenschappen.

Onder hen is "Wetenschappelijke vooruitgang ondanks onreproduceerbaarheid:een schijnbare paradox, " door Shiffrin; Katy Börner, IU Distinguished Professor of Engineering and Information Science en Stephen M. Stigler van de University of Chicago. In een tijd waarin wetenschappelijke vooruitgang dagelijks plaatsvindt en een groot deel van de moderne samenleving beheerst, het lijkt tegenstrijdig dat de manier waarop wetenschap wordt beoefend, een flink aantal gerapporteerde bevindingen moeilijk of onmogelijk maakt om te reproduceren. Echter, de wetenschappelijke praktijk is blijven evolueren en vooruitgaan ondanks elementaire problemen, niet in de laatste plaats dat het een aantal jaren kan duren voordat de geldigheidsduur is verstreken, belang en bruikbaarheid van bevindingen goed kan worden vastgesteld.

De onderzoekers erkennen dat het vaak mogelijk is om zelfs ongeldige bevindingen en conclusies te reproduceren, maar merken op dat de herhaling van fundamentele - en vaak vermijdbare - fouten meestal de kern vormt van een dergelijk resultaat. Daarom, vooruitgang te maximaliseren, zij bevelen aan om een ​​evenwicht te vinden tussen het delen van veelbelovende resultaten in een vroeg stadium en het handhaven van strikte waakzaamheid om kwaliteitsrapportage te waarborgen. Gedeelde gegevens moeten niet alleen betrouwbaar en belangrijk zijn, maar ook van echte wetenschappelijke waarde met het vermogen om te generaliseren naar vergelijkbare instellingen.

De auteurs onderzoeken voorgestelde nieuwe remedies die bedoeld zijn om de mate van niet-reproduceerbaarheid te verminderen - zoals het eisen van preregistratie van onderzoeken om 'cherry-picking'-gegevens te voorkomen - en bevelen hervormingen aan die zijn afgestemd op het type onderzoek en de doelen. Dit standpunt wordt versterkt door de verschillende gevolgen die mogelijk zijn als ongeldige resultaten worden gepubliceerd:bevindingen die tijdens het exploratieproces zijn verzameld, zullen waarschijnlijk geen schade aanrichten, hoewel een foutieve toepassing van conclusies in de praktijk ernstige schade kan aanrichten. Ze waarschuwen, echter, dat elke remedie en hervorming onbedoelde gevolgen kan hebben die de wetenschappelijke vooruitgang eerder vertragen dan versnellen.

Ook gemarkeerd in de PNAS kwestie is een rapport van Andrew Brown, assistent-professor toegepaste gezondheidswetenschappen aan de IU School of Public Health-Bloomington; Kathryn A. Kaiser, assistent-professor gezondheidsgedrag aan de Universiteit van Alabama in Birmingham en Allison, getiteld "Problemen met gegevens en analyses:fouten, Onderliggende thema's, en mogelijke oplossingen, " die zich richt op fouten die mogelijk voorkomen hadden kunnen worden door toepassing van goede gevestigde praktijken.

De onderzoekers bespreken invloeden als citatie- en publicatiebias, wiskundige misrekeningen, fouten in de interpretatie en het werken met slechte gegevens die zijn verkregen via twijfelachtige methoden, ontwerpen of technieken. Onjuist beheer en opslag van gegevens kan ook van invloed zijn op het vermogen om bevindingen te bevestigen, evenals fouten in communicatie en logica. Ze benadrukken dat de gevolgen van ongeldige interpretatie en rapportage variëren van het verlies van vertrouwen van het publiek tot het mogelijke verlies van mensenlevens.

Ook worden de voor- en nadelen van het peer review-proces als een betrouwbare handhaver van wetenschappelijke integriteit in de literatuur besproken. Ondanks uitdagingen als wat de auteurs "een onbekende onbekende" noemen - wat inhoudt dat recensenten lezen wat in manuscripten wordt gepresenteerd zonder aanvullende informatie (of misschien zelfs volledige informatie) te hebben om mogelijke fouten te evalueren - die inherent zijn aan dit proces, Brown and the team maintain that there are certain actions and methods that well-trained scientists should and could recognize as erroneous and/or lacking in rigor.

Notes Brown, "The entire colloquium focused on research rigor and reproducibility. In particular, we were interested in identifying challenges and limitations to rigor and reproducibility, maar, more importantly we were interested in identifying paths forward to make science more rigorous and reproducible. We need to start from a position that scientific thinking is still our best way of coming to have objective knowledge of the world. I think we as a scientific enterprise have done a thorough job noting that reproducibility is a problem, even if more work needs to be done to determine underlying causes, more rigorously catalog errors and pitfalls, and identify the best interventions for reinforcing scientific rigor. Echter, we know that there are incremental and structural changes we can make now to improve the present condition of scientific investigations and publications to fulfill the mantra that science is self-correcting."