Wetenschap is de beste methode van de samenleving om de wereld te begrijpen. Toch zijn veel wetenschappers niet tevreden met de manier waarop het werkt, en er zijn groeiende zorgen dat er iets "gebroken" is in de huidige wetenschappelijke praktijk. Veel van de regels en procedures die bedoeld zijn om innovatief onderzoek te bevorderen, zijn niet meer dan historische precedenten en er is weinig reden om aan te nemen dat ze efficiënte of betrouwbare ontdekkingen aanmoedigen. Slechter, ze kunnen perverse bijwerkingen hebben die zowel de wetenschap als de wetenschappers schaden. Een bekend voorbeeld is de algemene voorkeur voor positieve boven negatieve resultaten, wat een "publicatiebias" creëert die de valse indruk wekt dat bepaalde effecten bestaan ​​waar in werkelijkheid het afwijkende bewijs gewoon niet wordt vrijgegeven.

Onderzoekers van de Arizona State University, Thomas Morgan en Minhua Yan, werken met ASU afgestudeerde Leonid Tiokhin, nu aan de Technische Universiteit Eindhoven in Nederland, een nieuw model hebben ontwikkeld, deze week gepubliceerd in Natuur Menselijk gedrag , om de uitdagingen waarmee het wetenschappelijke proces wordt geconfronteerd beter te begrijpen en hoe we het kunnen verbeteren. Ze concentreerden zich op de "prioriteitsregel":de neiging van de eerste wetenschapper om een ​​bevinding te documenteren die onevenredig wordt beloond met prestige, prijzen en carrièremogelijkheden, terwijl degenen op de tweede plaats weinig tot geen erkenning krijgen.

De winnaar krijgt alles

Veel wetenschappers hebben slapeloze nachten en maken zich zorgen over het feit dat ze "geschept" worden, omdat ze bang zijn dat hun werk niet als "nieuw" genoeg zal worden beschouwd voor de wetenschappelijke tijdschriften met de grootste impact omdat een andere groep die aan hetzelfde onderwerp werkt, als eerste publiceert. De voorrangsregel bestaat al eeuwen. In de 17e eeuw, Newton en Leibniz onderhandelden over de uitvinder van calculus. En in de 19e eeuw, Charles Darwin haastte zich om "The Origin of Species" te publiceren om te voorkomen dat hij door Alfred Russel Wallace werd opgepikt.

"Prioriteit belonen is begrijpelijk en heeft enkele voordelen. het kost wat, ", zegt Tiokhin. "Beloningen voor prioriteit kunnen wetenschappers verleiden om de kwaliteit van hun onderzoek op te offeren en te bezuinigen."

"Het idee is dat concurrentie wetenschappers aanmoedigt om hard en efficiënt te werken, zodat ontdekkingen snel worden gedaan. Maar als iedereen hard werkt, en je moet eerst binnenkomen om succesvol te zijn, dan is de verleiding groot om te bezuinigen om je kansen te maximaliseren, zelfs als het betekent dat de wetenschap lijdt, " zei Morgan, een onderzoeksfiliaal bij het Institute of Human Origins en universitair hoofddocent bij de School of Human Evolution and Social Change aan de Arizona State University.

Dit is gedeeltelijk de reden waarom sommige academische uitgevers, zoals PLOS en eLife , bieden nu "schepbescherming, " waardoor onderzoekers bevindingen kunnen publiceren die identiek zijn aan de bevindingen die al binnen een bepaald tijdsbestek zijn gepubliceerd. Het probleem is dat de wetenschap en uitgevers momenteel geen goed idee hebben of deze hervormingen zin hebben.

De prioriteitsregel modelleren

Om erachter te komen hoe de voorkeur voor prioriteit de wetenschap precies beïnvloedt, en of recente hervormingen een oplossing bieden voor de mogelijke nadelen ervan, de medewerkers ontwikkelden een 'evolutionair agent-gebaseerd model'. Dit computermodel simuleert hoe een groep wetenschappers onderzoeksvragen onderzoekt of laat varen, afhankelijk van hun eigen resultaten en het gedrag van andere wetenschappers waarmee ze concurreren.

"Het voordeel van een evolutionaire simulatie is dat we niet van tevoren hoeven te specificeren hoe wetenschappers zich gedragen. We creëren gewoon een wereld waarin succes wordt beloond, en we laten selectie uitzoeken welk soort gedrag dit bevordert, " zei Morgan. "We kunnen dan variëren wat het betekent om succesvol te zijn - bijvoorbeeld, of het van cruciaal belang is om op de eerste plaats te komen - en te zien hoe selectie het gedrag van wetenschappers als reactie daarop verandert. We kunnen ook de voordelen voor de samenleving meten:zijn wetenschappers efficiënt? Kloppen hun bevindingen? Enzovoort."

Geen wondermiddel

De onderzoekers ontdekten dat een cultuur van buitensporige beloningen voor prioriteit schadelijke effecten kan hebben. Onder andere, het motiveert wetenschappers om "quick and dirty" studies uit te voeren, zodat ze als eerste kunnen publiceren. Dit vermindert de kwaliteit van hun werk en schaadt de betrouwbaarheid van de wetenschap als geheel.

Het model suggereert ook dat scoopbescherming, zoals geïntroduceerd door PLOS en eLife , werken.

"Het vermindert de verleiding om het onderzoek te haasten en geeft onderzoekers meer tijd om aanvullende gegevens te verzamelen, "zei Tiokhin. "Echter, schepbescherming is geen wondermiddel."

Dit komt omdat scoopbescherming sommige wetenschappers motiveert om door te gaan met een onderzoekslijn, zelfs nadat verschillende resultaten over dat onderwerp zijn gepubliceerd, waardoor het totale aantal onderzoeksvragen dat de wetenschappelijke gemeenschap kan beantwoorden, wordt verminderd.

Het 'voordeel' van inefficiëntie

Schep beschermingshervormingen op zich, hoewel behulpzaam, are not sufficient to guarantee high-quality research or a reliable published literature. The model also shows that even with scoop protection, scientists will be tempted to run many small studies if new studies are cheap and easy to set up and the rewards for negative results are high. This suggests that measures that force scientists to invest more heavily in each study, such as asking scientists to preregister their studies or get their research plans criticized before they begin collecting data, can help.

"We also learned that inefficiency in science is not always a bad thing. On the contrary—inefficiencies force researchers to think twice before starting a new study, " said Tiokhin.

Another option is to make large-scale data collection so straightforward that there is less incentive to skimp on data, alternatively, reviewers and journals could be more vigilant in looking out for "underpowered" studies with small sample-sizes.

Metascience

This project is an example of metascience, the use of the scientific method to study science itself.

"It was a great pleasure to be part of this project. I got to use my modeling skills not only to make specific scientific discoveries, but also to shed light on how the scientific procedure itself should be designed to increase research quality and credibility. This benefits the whole scientific community and ultimately, the whole society, " said Yan, a graduate student in the School of Human Evolution and Social Change.