Ze zeggen dat achteraf 20-20 is, en misschien is dat nergens meer waar dan in wetenschappelijk onderzoek.

"We hebben allemaal de ervaring gehad om op te staan ​​om een ​​nieuwe reeks bevindingen te presenteren, vaak voortbouwend op jarenlang werk, en dat iemand in het publiek eruit flapt:'Maar dit wisten we al!, '" zegt prof. Stefano DellaVigna, een gedragseconoom met gezamenlijke benoemingen in het Department of Economics en Berkeley Haas. "Maar in de meeste van deze gevallen iemand zou hetzelfde hebben gezegd als we het tegenovergestelde resultaat hadden gevonden. We zijn allemaal 20-20, na het feit."

DellaVigna heeft een remedie voor dit soort academische quarterbacking op maandagochtend:een voorspellingsplatform om de conventionele wijsheid vast te leggen voordat studies worden uitgevoerd.

Samen met collega's Devin Pope van de Booth School of Business van de University of Chicago en Eva Vivalt van de Research School of Economics van de Australian National University, hij heeft een bètawebsite gelanceerd waarmee onderzoekers, doctoraat studenten, en zelfs leden van het grote publiek om voorgestelde onderzoeksprojecten te beoordelen en voorspellingen te doen over de uitkomst.

Hun voorstel, uiteengezet in een artikel in Wetenschap 's Beleidsforum, maakt deel uit van een golf van inspanningen om de nauwkeurigheid en geloofwaardigheid van sociaalwetenschappelijk onderzoek te verbeteren. Deze hervormingen werden aangewakkerd door de replicatiecrisis - het falen om de resultaten van veel gepubliceerde onderzoeken te reproduceren - en omvatten massale inspanningen om onderzoeken te repliceren, evenals platforms voor het vooraf registreren van onderzoeksontwerpen en -hypothesen.

"We dachten dat er iets belangrijks te winnen was door vast te leggen wat mensen geloofden voordat de resultaten bekend waren, en sociale wetenschappers hebben dat nooit op een systematische manier gedaan, " zegt DellaVigna, die mede-directeur is van het Berkeley Initiative for Behavioural Economics and Finance. "Dit zal ons niet alleen helpen om resultaten die echt verrassend zijn beter te identificeren, maar zal ook helpen bij het verbeteren van het experimentele ontwerp en de nauwkeurigheid van voorspellingen."

Omdat de wetenschap op zichzelf voortbouwt, mensen interpreteren nieuwe resultaten op basis van wat ze al weten. Een voordeel van het voorspellingsplatform is dat het echt verrassende resultaten beter kan identificeren, zelfs in gevallen waarin er een nulbevinding is - die zelden wordt gepubliceerd omdat ze meestal niet als significant worden beschouwd, argumenteren de onderzoekers.

"Het verzamelen van geavanceerde prognoses van onderzoeksresultaten zou deze vooringenomenheid kunnen bestrijden door nulresultaten interessanter te maken, aangezien ze een afwijking van de aanvaarde wijsheid kunnen aangeven, Vivalt schreef in een artikel over het voorstel in Het Gesprek.

Een onderzoeksvoorspellingsplatform helpt ook te meten hoe nauwkeurig experts op bepaalde gebieden zijn. Bijvoorbeeld, DellaVigna en Pope verzamelden voorspellingen van academische experts over 18 verschillende experimenten om de effectiviteit te bepalen van "nudges" versus monetaire prikkels bij het motiveren van werknemers om een ​​online taak uit te voeren. Ze ontdekten dat de experts redelijk accuraat waren, maar er was geen verschil tussen hoog aangeschreven faculteit en andere faculteit, en dat Ph.D. leerlingen deden het beste.

Inzicht in waar er een algemene consensus is, kan onderzoekers ook helpen bij het ontwerpen van betere onderzoeksvragen, om minder goed begrepen verschijnselen te krijgen, wijzen de auteurs erop. Het verzamelen van een kritische massa aan voorspellingen zal ook een nieuw potentieel onderzoeksgebied openen over de vraag of mensen hun overtuigingen actualiseren nadat nieuwe resultaten bekend zijn.

Het maken van een voorspelling op het platform zou een eenvoudige enquête van 5 tot 15 minuten vereisen, zegt DellaVigna. De voorspellingen zouden aan de onderzoeker worden gedistribueerd nadat de gegevens zijn verzameld, en de onderzoeksresultaten zouden aan het einde van het onderzoek naar de voorspellers worden gestuurd.

Berkeley Haas Prof. Don Moore, die een leider is geweest in het pleiten voor meer transparante, rigoureuze onderzoeksmethoden en het opleiden van de volgende generatie onderzoekers, zegt dat het voorspellingsplatform "een krachtige en constructieve verandering kan brengen in de manier waarop we over onderzoeksresultaten denken. Een van zijn grote sterke punten is dat het profiteert van de wijsheid van de menigte, mogelijk gebruik maken van de collectieve kennis van een veld om een ​​wetenschappelijke consensus te helpen bereiken waarop nieuwe onderzoeksresultaten kunnen voortbouwen."