Wij vragen altijd experts om advies. Een bedrijf kan een econoom om advies vragen over het motiveren van zijn medewerkers. Een regering zou zich kunnen afvragen wat het effect van een beleidshervorming zal zijn.

Om het advies te geven, experts willen vaak putten uit de resultaten van een experiment. Maar ze hebben niet altijd relevant experimenteel bewijs.

Het verzamelen van voorspellingen van experts over onderzoeksresultaten kan een krachtig nieuw hulpmiddel zijn om de wetenschap te helpen verbeteren - en het advies dat wetenschappers geven.

Betere wetenschap

In de afgelopen decennia is academische nauwkeurigheid en transparantie, vooral in de sociale wetenschappen, zijn enorm verbeterd.

Nog, zoals de Australische hoofdwetenschapper Alan Finkel onlangs betoogde:er moet nog veel worden gedaan om 'slechte wetenschap' te minimaliseren.

Hij beveelt veranderingen aan in de manier waarop onderzoek wordt gemeten en gefinancierd. Een andere steeds vaker voorkomende benadering is het uitvoeren van gerandomiseerde gecontroleerde onderzoeken en preregistratieonderzoeken om vertekening in de resultaten te voorkomen.

Deskundige voorspellingen kunnen nog een ander hulpmiddel zijn om onderzoek sterker te maken, als mijn co-auteurs Stefano DellaVigna, Devin Pope en ik argumenteren in een nieuw artikel gepubliceerd in Wetenschap .

Waarom voorspellingen?

De manier waarop we onderzoeksresultaten interpreteren, hangt af van wat we al geloven. Bijvoorbeeld, als we een onderzoek zouden zien waarin wordt beweerd dat roken gezond is, we zouden waarschijnlijk behoorlijk sceptisch zijn.

Als een resultaat experts verrast, dat feit zelf is informatief. Het zou erop kunnen wijzen dat er iets mis is geweest met de onderzoeksopzet.

Of, als het onderzoek goed opgezet was en de bevinding gerepliceerd werd, we zouden kunnen denken dat dat resultaat ons begrip van hoe de wereld werkt fundamenteel heeft veranderd.

Maar momenteel verzamelen onderzoekers zelden informatie waarmee ze hun resultaten kunnen vergelijken met wat de onderzoeksgemeenschap vooraf geloofde. Dit maakt het moeilijk om de nieuwheid en het belang van een resultaat te interpreteren.

Het academische publicatieproces wordt ook geplaagd door vooroordelen tegen het publiceren van onbeduidende, of "nul, " resultaten.

Het verzamelen van voorspellingen van onderzoeksresultaten zou deze bias kunnen tegengaan door nulresultaten interessanter te maken, omdat ze een afwijking van de geaccepteerde wijsheid kunnen aangeven.

Van gedachten veranderen

Naast het direct verbeteren van de interpretatie van onderzoeksresultaten, het verzamelen van voorspellingen kan ons helpen begrijpen hoe mensen van gedachten veranderen.

Bijvoorbeeld, mijn collega Aidan Coville en ik verzamelden voorspellingen van beleidsmakers om te onderzoeken welk effect academische onderzoeksresultaten hadden op hun overtuigingen. We ontdekten dat ze over het algemeen meer ontvankelijk waren voor 'goed nieuws' dan voor 'slecht nieuws' en negeerden ze onzekerheden in de resultaten.

Prognoses kunnen ons ook informeren over welke potentiële studies beleidsbeslissingen het meest zouden kunnen verbeteren.

Bijvoorbeeld, stel dat een onderzoeksteam een ​​van de tien interventies moet kiezen om te bestuderen. Voor een deel van de interventies we zijn er vrij zeker van wat een studie zou vinden, en een nieuwe studie zou ons waarschijnlijk niet van gedachten doen veranderen. Voor anderen, we zijn minder zeker, maar het is onwaarschijnlijk dat ze de beste interventie zijn.

Als voorspellingen van tevoren zijn verzameld, ze zouden ons kunnen vertellen welke interventie we moeten bestuderen om de grootste beleidsimpact te hebben.

Prognoses testen

Op lange termijn, als kan worden aangetoond dat voorspellingen van experts redelijk nauwkeurig zijn, ze zouden enige ondersteuning kunnen bieden voor beleidsbeslissingen waar rigoureuze studies niet kunnen worden uitgevoerd.

Bijvoorbeeld, Stefano DellaVigna en Devin Pope verzamelden voorspellingen over hoe verschillende prikkels de hoeveelheid moeite die mensen steken in het voltooien van een taak veranderen.

Zoals u in de onderstaande grafiek kunt zien, de voorspellingen waren niet perfect (een stip op de gestippelde diagonale lijn zou een perfecte match van voorspelling en resultaat vertegenwoordigen). Maar er lijkt een verband te bestaan ​​tussen de geaggregeerde prognoses en de resultaten.

Een centrale plek voor voorspellingen

Om de prognoses van onderzoeksresultaten optimaal te benutten, ze moeten systematisch worden verzameld.

Overuren, dit zou ons helpen beoordelen hoe nauwkeurig individuele voorspellers zijn, leer ons hoe we prognoses het beste kunnen aggregeren, en vertel ons welke soorten resultaten vaak goed worden voorspeld.

We hebben een platform gebouwd dat onderzoekers kunnen gebruiken om voorspellingen over hun experimenten van onderzoekers te verzamelen, beleidsmakers, beoefenaars, en andere belangrijke doelgroepen. De beta-website is hier te bekijken.

Hoewel we ons in de eerste plaats concentreren op onze eigen discipline - economie - denken we dat zo'n tool breed inzetbaar zou moeten zijn. We zouden onderzoekers op elk academisch gebied willen aanmoedigen om voorspellingen van onderzoeksresultaten te verzamelen.

Er zijn veel mogelijke toepassingen voor voorspellingen van onderzoeksresultaten die verder gaan dan hier beschreven. Veel andere academici onderzoeken dit gebied ook, zoals de Replication Markets en repliCATS-projecten die deel uitmaken van een groot onderzoeksinitiatief over replicatie.

Het veelvuldige gebruik van onderzoeksprognoses geeft ons het vertrouwen dat een meer rigoureuze en systematische behandeling van eerdere overtuigingen de interpretatie van onderzoeksresultaten aanzienlijk kan verbeteren en uiteindelijk de manier waarop we wetenschap bedrijven, kan verbeteren.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.