Vandaag, in Natuur Menselijk gedrag , een samenwerkend team van vijf laboratoria publiceerde de resultaten van 21 krachtige replicaties van sociaalwetenschappelijke experimenten die oorspronkelijk in Wetenschap en Natuur , twee van de meest prestigieuze wetenschappelijke tijdschriften. Ze slaagden er niet in de resultaten van meer dan een derde van de onderzoeken te repliceren en leverden significant zwakker bewijs voor de rest in vergelijking met de oorspronkelijke onderzoeken.

In aanvulling, voordat de herhalingen worden uitgevoerd, het team zette voorspellingsmarkten op voor andere onderzoekers om geld te wedden op de vraag of ze dachten dat elk van de bevindingen zou repliceren. De markten waren zeer nauwkeurig in het voorspellen van welke studies later wel of niet zouden worden gerepliceerd.

"Het is mogelijk dat fouten in de replicatie of verschillen tussen de originele en replicatiestudies verantwoordelijk zijn voor sommige mislukkingen om te repliceren, " zegt Gideon Nave, een assistent-professor marketing van de Wharton School of Business van de University of Pennsylvania en een van de leiders van het project, "maar het feit dat de markten het succes en falen van replicatie van tevoren nauwkeurig voorspelden, vermindert de aannemelijkheid van deze verklaringen."

Het team omvatte onderzoekers van Penn, de Universiteit van Innsbruck, de Stockholm School of Economics, het Nieuw-Zeelandse Instituut voor geavanceerde studie, het Centrum voor Open Wetenschap, de Nationale Universiteit van Singapore, de Universiteit van Virginia, Californië Instituut voor Technologie, de Universiteit van Göteborg, Harvard universiteit, Spotify Zweden, LMU München, de Universiteit van Amsterdam, en het Harbin Instituut voor Technologie.

De onderzoekers probeerden één hoofdbevinding te repliceren uit elk experimenteel sociaalwetenschappelijk artikel dat tussen 2010 en 2015 werd gepubliceerd en dat voldeed aan de vereisten van het team om gerandomiseerde gecontroleerde experimenten te betrekken, uitgevoerd met studenten of online. Om eerdere replicatie-inspanningen uit te breiden en te verbeteren, het team verkreeg de originele materialen en ontving de beoordeling en goedkeuring van de protocollen van bijna alle oorspronkelijke auteurs voordat de onderzoeken werden uitgevoerd. De onderzoeken waren vooraf geregistreerd om het ontwerp- en analyseplan publiekelijk bekend te maken, en het onderzoeksontwerp omvatte grote steekproefomvang, zodat de replicaties waarschijnlijk ondersteuning voor de bevindingen zouden detecteren, zelfs als ze maar de helft van het oorspronkelijke resultaat waren.

"Om een ​​hoge statistische power te garanderen, " zegt Felix Holzmeister van de Universiteit van Innsbruck, een andere van de projectleiders, "de gemiddelde steekproefomvang van de replicatieonderzoeken was ongeveer vijf keer groter dan de gemiddelde steekproefomvang van de originele onderzoeken."

Het team ontdekte dat 13 van de 21 replicaties, of 62 procent, toonde significant bewijs in overeenstemming met de oorspronkelijke hypothese, en andere methoden voor het evalueren van replicatiesucces gaven vergelijkbare resultaten aan, variërend van 57 tot 67 procent. Ook, gemiddeld, de replicatieonderzoeken lieten effectgroottes zien die ongeveer 50 procent kleiner waren dan de oorspronkelijke onderzoeken. Alles bij elkaar suggereert dit dat de reproduceerbaarheid onvolmaakt is, zelfs bij onderzoeken die zijn gepubliceerd in de meest prestigieuze wetenschappelijke tijdschriften.

"Deze resultaten laten zien dat 'statistisch significante' wetenschappelijke bevindingen, " zegt Magnus Johannesson van de Stockholm School of Economics, een andere projectleider, "Moeten heel voorzichtig worden geïnterpreteerd totdat ze zijn gerepliceerd, zelfs als ze in de meest prestigieuze tijdschriften zijn gepubliceerd."

De voorspellingsmarkten die het onderzoeksteam heeft opgesteld, voorspelden de uitkomsten correct voor 18 van de 21 replicaties. Marktopvattingen over replicatie waren sterk gecorreleerd met replicatie-effectgroottes.

"De bevindingen van de voorspellingsmarkten suggereren dat onderzoekers voorkennis hebben over de waarschijnlijkheid dat sommige bevindingen zich zullen herhalen, " merkt Thomas Pfeiffer van het New Zealand Institute for Advanced Study op, een van de projectleiders. De schijnbare robuustheid van dit fenomeen suggereert dat voorspellingsmarkten kunnen worden gebruikt om prioriteit te geven aan replicatie-inspanningen voor die onderzoeken die zeer belangrijke bevindingen hebben, maar een relatief onzekere of zwakke kans op replicatiesucces.

"Het gebruik van voorspellingsmarkten zou voor de wetenschappelijke gemeenschap een andere manier kunnen zijn om middelen efficiënter te gebruiken en ontdekking te versnellen, " voegt Anna Dreber van de Stockholm School of Economics toe, een andere projectleider.

Deze studie levert aanvullend bewijs voor de uitdagingen bij het reproduceren van gepubliceerde resultaten, en gaat in op enkele van de mogelijke kritieken op eerdere replicatiepogingen. Bijvoorbeeld, het is mogelijk dat resultaten met een hoger profiel reproduceerbaar zijn vanwege de hoge normen en het prestige van de publicatie-outlet. Deze studie selecteerde artikelen uit de meest prestigieuze wetenschappelijke tijdschriften.

Hetzelfde, een kritiek op het Reproducibility Project in Psychology suggereerde dat krachtigere onderzoeksontwerpen en trouw aan de originele studies zouden resulteren in een hoge reproduceerbaarheid. Deze studie had zeer krachtige tests, originele materialen voor alles behalve één studie, and the endorsement of protocols for all but two studies, and yet still failed to replicate some findings and found a substantially smaller effect sizes in the replications.

"This shows that increasing power substantially is not sufficient to reproduce all published findings, " says Lily Hummer of the Center for Open Science, een van de co-auteurs.

That there were replication failures does not mean that those original findings are false. Hoe dan ook, some original authors provided commentaries with potential reasons for failures to replicate. These productive ideas are worth testing in future research to determine whether the original findings can be reproduced under some conditions.

The replications undertaken in this work follow emerging best practices for improving the rigor and reproducibility of research. "In this project, we led by example, involving a global team of researchers, , " says Teck-Hua Ho of the National University of Singapore, another project lead. "The team followed the highest standards of rigor and transparency to test the reproducibility and robustness of studies in our field."

All of the studies were preregistered on OSF to eliminate reporting bias and to commit to the design and analysis plan. Ook, all project data and materials are publicly accessible with the OSF registrations to facilitate the review and reproduction of the replication studies themselves.

Brian Nosek, executive director of the Center for Open Science, professor at the University of Virginia, and one of the co-authors, notities, "Someone observing these failures to replicate might conclude that science is going in the wrong direction. In fact, science's greatest strength is its constant self-scrutiny to identify and correct problems and increase the pace of discovery."

This large-scale replication project is just one part of an ongoing reformation of research practices. onderzoekers, financiers, journals, and societies are changing policies and practices to nudge the research culture toward greater openness, rigor, and reproducibility. Nosek concludes, "With these reforms, we should be able to increase the speed of finding cures, oplossingen, and new knowledge. Natuurlijk, like everything else in science, we have to test whether the reforms actually deliver on that promise. Als ze dat niet doen, then science will try something else to keep improving."