Het verhaal heeft veel aan te bevelen:psycholoog Dan Ariely, de auteur van een bestseller over de gedragswetenschap van oneerlijkheid, trekt zijn onderzoek in omdat de gegevens vervalst waren. Geen wonder dat het is opgepikt door de media van de wereld. Buzzfeed noemde dit 'de laatste klap voor het bruisende veld van gedragseconomie'. psycholoog Stuart Ritchie, zelf een wetenschapper, schreef over de zaak onder de kop:"Vertrouw nooit een wetenschapper".

Ik maak me zorgen over deze interpretaties. En niet omdat ik lesgeef op een master gedragswetenschappen. Ik maak me zorgen omdat krantenkoppen als deze het risico lopen anti-wetenschappelijk sentiment aan te wakkeren in een tijd waarin het vertrouwen in experts laag is. wanneer bedachtzame mensen napraten dat we in een 'post-truth-wereld' leven en waar wantrouwen jegens de wetenschap de dood veroorzaakt.

Maar vooral, Ik maak me zorgen over deze interpretaties omdat ik uit dit verhaal de tegenovergestelde conclusie trek. In dit geval, de les is dat het wetenschappelijke proces eigenlijk goed werkte.

Twijfel zaaien over de wetenschap

Een belangrijk en over het hoofd gezien detail is dat het wetenschappelijke proces jaren geleden aan het licht bracht dat de resultaten van het artikel niet stand hielden. Met behulp van gegevens verstrekt door een verzekeringsmaatschappij, Ariely's onderzoek beweerde dat mensen eerlijker zijn in hun rapporten als ze een verklaring van waarheid ondertekenen aan het begin van een document in plaats van aan het einde ervan. De methode is overgenomen door de IRS, het Amerikaanse belastinginningsbureau, en ten minste één grote verzekeringsmaatschappij.

Hoewel niemand zich zorgen maakte over opzettelijke fraude, veel onderzoeksteams hadden hun mislukte pogingen gemeld om de eerste onderzoeken te repliceren. Replicatie is belangrijk. Omdat wetenschap geworteld is in waarschijnlijkheid, het observeren van hetzelfde resultaat bij twee onafhankelijke gelegenheden maakt het veel minder waarschijnlijk dat het resultaat een toevalstreffer is.

in 2020, Ariely en zijn co-auteurs publiceerden een paper waarin ze zelf probeerden de eerste resultaten te repliceren en faalden. Op dat moment was nog niet gebleken dat de oorspronkelijke gegevens waren vervalst. De auteurs concludeerden dat de eerste resultaten een toevalstreffer waren en noemden het vervolgdocument:"Ondertekenen aan het begin versus aan het einde vermindert oneerlijkheid niet."

Een ander opvallend kenmerk is dat de mislukte replicaties werden gepubliceerd in een van de belangrijkste wetenschappelijke tijdschriften. Het is een recente ontwikkeling dat wetenschappers hun tijd zouden besteden aan replicatieonderzoeken - en dat toptijdschriften kostbare kolommen zouden besteden aan het publiceren ervan - en een reeks statistische onderzoeken volgen die twijfel zaaien over de nauwkeurigheid van gepubliceerde wetenschap.

De eerste was de provocerende datasimulatiestudie die suggereerde dat meer dan de helft van de gepubliceerde resultaten van wetenschappelijk onderzoek onjuist zijn. Deze bevinding komt voort uit de volgende drie kenmerken:

Dan was er het Many Labs-replicatieproject. Het ontdekte dat meer dan de helft van de resultaten die in toppsychologische tijdschriften werden gepubliceerd, niet konden worden gerepliceerd.

Valse resultaten blootleggen

Sommige inzichtelijke bijdragen komen uit de gedragswetenschap, die verschillende disciplines omvat die kijken naar menselijk gedrag en interactie, en werkt op het snijvlak van statistieken, economie en psychologie. Een van die inzichten was dat wetenschappers valse resultaten kunnen publiceren, zelfs zonder het te weten.

Om hier een idee van te krijgen, je moet eerst weten dat de wetenschappelijke gemeenschap van mening is dat een resultaat bewijs levert als het resultaat een drempel overschrijdt. Die drempel wordt gemeten als een p-waarde, waarbij p staat voor waarschijnlijkheid. Lagere p-waarden duiden op betrouwbaardere resultaten. Een resultaat overschrijdt de drempel in betrouwbaar bewijs of, in de taal van de wetenschap, statistisch significant is, als de p-waarde onder een bepaalde drempel ligt, bijvoorbeeld, P <0,05.

Al dan niet opzettelijk onderzoekers vergroten de kans op het behalen van statistisch significante resultaten door zich bezig te houden met twijfelachtige onderzoekspraktijken. In een in 2012 gepubliceerd onderzoek een meerderheid van de psychologen meldde dat ze hun theorie testen door meer dan één uitkomst te meten en de resultaten vervolgens alleen te rapporteren over de uitkomst die statistische significantie bereikt. Vermoedelijk hebben ze dit gedrag toegegeven omdat ze niet inzagen dat het de kans op het trekken van een verkeerde conclusie vergroot.

Uri Simonsohn, Leif Nelson en Joe Simmons, een drietal gedragswetenschappers die routinematig worden omschreven als ‘datadetectives, heeft een test bedacht om vast te stellen of een conclusie waarschijnlijk is afgeleid van twijfelachtige onderzoekspraktijken. De test onderzoekt of het bewijs dat een bewering ondersteunt, verdacht is geclusterd net onder de drempel van statistische significantie.

Het was deze test die het idee van "power poseren" ontkrachtte - de veel gepubliceerde bewering dat je beter kunt presteren in stressvolle situaties als je een assertieve fysieke houding aanneemt, zoals handen op de heupen.

Nu hebben de drie datadetectives het weer gedaan. Het was op hun blog dat de grimmige en sensationele feiten van Ariely's oneerlijkheidsonderzoek werden onthuld. In tegenstelling tot de bewering van Buzzfeed dat deze zaak een slag betekent voor de gedragseconomie, het laat in feite zien hoe gedragswetenschap ons ertoe heeft gebracht valse resultaten uit te roeien. Die rotte appel blootleggen, en de fascinerende technieken die daarvoor worden gebruikt, is eigenlijk een overwinning voor gedragswetenschappers.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.