Resultaten voor kersenplukken of verbergen, het uitsluiten van gegevens om statistische drempels te halen en het presenteren van onverwachte bevindingen alsof ze altijd al voorspeld waren - dit zijn slechts enkele van de 'dubieuze onderzoekspraktijken' die betrokken zijn bij de replicatiecrisis waarmee psychologie en geneeskunde de afgelopen vijftig jaar te maken hebben gehad.

We hebben onlangs meer dan 800 ecologen en evolutiebiologen ondervraagd en vonden hoge percentages van veel van deze praktijken. We denken dat dit de eerste documentatie is van dit gedrag in deze wetenschapsgebieden.

Onze pre-print resultaten hebben een bepaalde schokwaarde, en hun vrijlating trok veel aandacht op sociale media.

• 64% van de ondervraagde onderzoekers meldde dat ze ten minste een keer geen resultaten gerapporteerd omdat ze niet statistisch significant waren (cherry picking)
• 42% had meer data verzameld na controle of de resultaten statistisch significant waren (een vorm van "p hacking")
• 51% rapporteerde een onverwachte bevinding alsof deze vanaf het begin was verondersteld (bekend als "HARKing, " of Hypothese nadat de resultaten bekend zijn).

Hoewel deze resultaten erg lijken op de resultaten die in de psychologie zijn gevonden, reacties suggereren dat ze verrassend zijn - althans voor sommige ecologie- en evolutieonderzoekers.

de auteurs melden dat over het algemeen het gebruik van twijfelachtige onderzoekspraktijken in ecologie en evolutie ongeveer net zo wijdverbreid is als in psychologie.
We hebben allemaal naar Psych gekeken, onze handen uitwringend over de arme lieverds, maar JULLIE HEBBEN OOK IN PROBLEMEN

— Andrew MacDonald (@polesasunder) 21 maart 2018

Er zijn veel mogelijke interpretaties van onze resultaten. We verwachten dat er ook veel misvattingen over zullen bestaan ​​en onterechte extrapolaties. We bespreken enkele van deze hieronder.

Het is fraude!

Het is geen fraude. Wetenschappelijke fraude houdt in dat er gegevens worden gefabriceerd en dat er zware strafrechtelijke sancties op staan. De twijfelachtige onderzoekspraktijken waar we ons op richten, zijn per definitie twijfelachtig:ze bevinden zich in een grijs gebied tussen acceptabele praktijken en wetenschappelijk wangedrag.

We hebben één vraag gesteld over het fabriceren van gegevens en het antwoord daarop leverde verder bewijs dat het zeer zeldzaam is, consistent met bevindingen uit andere vakgebieden.

Wetenschappers missen integriteit en we moeten ze niet vertrouwen

Er zijn een paar redenen waarom dit niet de boodschap van onze krant zou moeten zijn.

Eerst, reacties op onze resultaten tot dusver suggereren een betrokken, volwassen wetenschappelijke gemeenschap, klaar om deze problemen te erkennen en aan te pakken.

Ik ben hier helaas niet door verrast - toen ik werd "getraind" waren veel van deze twijfelachtige praktijken de norm. We moeten eerder beginnen met het opleiden van studenten, maar we moeten er ook voor zorgen dat de poortwachters van beurzen en publicaties ook over deze kwesties worden geïnformeerd. Geniet van uw koffie!

— Matthew Grainger (@Ed_pheasant) 21 maart 2018

Als iets, dit soort engagement zou ons vertrouwen in deze wetenschappers en hun inzet voor wetenschappelijke integriteit moeten vergroten.

Tweede, de resultaten vertellen ons veel meer over gestructureerde prikkels en instellingen dan over individuen en hun persoonlijke integriteit.

Bijvoorbeeld, deze resultaten vertellen ons over de instelling van wetenschappelijk publiceren, waar negatieve (niet-statistisch significante resultaten) vrijwel worden verbannen uit de meeste tijdschriften op de meeste wetenschapsgebieden, en waar replicatiestudies vrijwel nooit worden gepubliceerd vanwege de niet-aflatende focus op nieuwe, "Baanbrekende" resultaten.

De onderzoeksresultaten vertellen ons over wetenschappelijke financiering, opnieuw waar "roman" (betekent positief, significant) bevindingen worden meer gewaardeerd dan zorgvuldig, voorzichtige procedures en replicatie. Ze vertellen ons ook over universiteiten, over de wervings- en promotiepraktijken binnen de academische wetenschap die zich richten op publicatiestatistieken en kwantiteit overwaarderen ten koste van kwaliteit.

Dus wat bedoelen ze, deze twijfelachtige onderzoekspraktijken erkend door de wetenschappers in ons onderzoek? We denken dat ze het best begrepen kunnen worden als het onvermijdelijke resultaat van publicatiebias, financieringsprotocollen en een steeds toenemende druk om te publiceren.

We kunnen belangrijke beslissingen niet baseren op actueel wetenschappelijk bewijs

Het risico bestaat dat onze resultaten leiden tot het idee dat onze wetenschap nog niet klaar is voor beleid. Op veel gebieden, zoals gezondheid en milieu, dit kan zeer schadelijk zijn, zelfs rampzalig.

Een van de redenen waarom het onterecht is, is dat klimaatwetenschap een op modellen gebaseerde wetenschap is. en er zijn veel onafhankelijke replicaties van deze modellen geweest. Zo ook met immunisatieproeven.

We weten dat elke kritiek op de wetenschappelijke praktijk een risico inhoudt in de context van antiwetenschappelijke sentimenten, maar dergelijke kritiek is fundamenteel voor het succes van de wetenschap.

Open blijven voor kritiek is het krachtigste zelfcorrectiemechanisme van de wetenschap, en uiteindelijk wat de wetenschappelijke bewijsbasis betrouwbaar maakt.

Wetenschappers zijn mensen en we hebben beveiligingen nodig

Dit is een interpretatie die we van harte onderschrijven. Wetenschappers zijn mensen en onderhevig aan dezelfde reeks cognitieve vooroordelen - zoals bevestigingsbias - als de rest van ons.

Naarmate we meer leren over cognitieve vooroordelen en hoe we deze het beste kunnen verminderen in verschillende omstandigheden, we moeten dit terugkoppelen naar de normen van de wetenschappelijke praktijk.

Hetzelfde geldt voor onze kennis over hoe mensen functioneren onder verschillende stimuleringsstructuren en voorwaarden. Dit is de basis van veel van de initiatieven om de wetenschap opener en transparanter te maken.

De open science-beweging gaat over het ontwikkelen van initiatieven om te beschermen tegen de invloed van cognitieve vooroordelen, en verander de stimuleringsstructuren zodat onderzoek dat gebruik maakt van deze twijfelachtige onderzoekspraktijken niet meer wordt beloond.

Sommige van deze initiatieven zijn enthousiast overgenomen door veel wetenschappers en tijdschriftredacteuren. Bijvoorbeeld, veel tijdschriften publiceren nu analysecode en gegevens samen met hun artikelen, en velen hebben zich aangemeld voor de richtlijnen voor transparantie en openheidsbevordering (TOP).

Ook andere initiatieven zijn veelbelovend. Bijvoorbeeld, geregistreerde rapportformaten worden nu aangeboden door sommige tijdschriften, meestal in psychologie en medische gebieden. In een geregistreerd rapport, artikelen worden beoordeeld op de kracht van hun onderliggende uitgangspunt en aanpak, voordat gegevens worden verzameld. Dit neemt de verleiding weg om alleen positieve resultaten te selecteren of om verschillende striktheidsnormen toe te passen op negatieve resultaten. Kortom, het doorbreekt publicatiebias.

We hopen dat door de aandacht te vestigen op de prevalentie van twijfelachtige onderzoekspraktijken, ons onderzoek zal de ondersteuning van deze initiatieven aanmoedigen, en belangrijker nog, instellingen aanmoedigen om onderzoekers te ondersteunen bij hun eigen inspanningen om hun praktijk af te stemmen op hun wetenschappelijke waarden.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees het originele artikel.