Een nieuwe door de Universiteit van Tel Aviv geleide studie gepubliceerd op 20 mei in Natuur biedt nieuw bewijs dat de complexiteit van hedendaagse analytische methoden in de wetenschap bijdraagt ​​aan de variabiliteit van onderzoeksresultaten.

Eerdere studies op het gebied van psychologie, kankerbiologie en gedragseconomie onthulden veel mislukkingen in de poging om methodologieën te reproduceren en resultaten te spiegelen. De TAU-onderzoekers gebruikten een benadering die bekend staat als "Many Analysts, " waarin veel onderzoekers dezelfde dataset analyseerden om de variabiliteit in de analyseresultaten te testen, legt studie mede-hoofdauteur Dr. Tom Schonberg van de afdeling Neurobiologie uit aan de George S. Wise Faculteit der Levenswetenschappen van de TAU en de Sagol School of Neurowetenschappen van de TAU.

"De variabiliteit in resultaten die in deze studie worden aangetoond, is een inherent onderdeel van het complexe proces van het verkrijgen van wetenschappelijke resultaten, en we moeten het begrijpen om te weten hoe we het moeten aanpakken, " voegt hij eraan toe. "Wetenschap wordt uitgevoerd door mensen, en er is geen manier om aan variabiliteit te ontsnappen. Maar we moeten dit erkennen om onszelf te corrigeren en de meest betrouwbare antwoorden te krijgen."

De Neuroimaging-analyse, Replicatie- en voorspellingsstudie (NARPS) werd ook geleid door Dr. Schonberg's voormalige Ph.D. student dr. Rotem Botvinik-Nezer, vandaag een postdoctoraal onderzoeker aan het Dartmouth College, samen met co-onderzoekers prof. Russel Poldrack van Stanford University en prof. Thomas Nichols van Oxford University.

Algemeen, 180 onderzoekers van 70 teams van wetenschappers over de hele wereld analyseerden dezelfde dataset voor hersenafbeeldingen van 108 proefpersonen. Deze proefpersonen namen deel aan een taak die hun besluitvorming met betrekking tot het gokken van potentiële winsten en verliezen testte. Elke groep koos een eigen analysemethode, en de verschillende methoden leidden tot verschillende conclusies.

"De wetenschap wordt vaak bekritiseerd, " zegt Dr. Schonberg. "Maar het is geen geloof zoals een religie, zoals sommigen hebben beweerd. Het heeft regels en een methode - de wetenschappelijke methode. We proberen deze methode voortdurend te verbeteren in een proces van zelfonderzoek. We geloven dat onze studie dit proces verder brengt."

De onderzoeksteams kregen dezelfde gegevens - fMRI-scans van proefpersonen die een op waarden gebaseerde besluitvormingstaak uitvoerden - en kregen de opdracht om dezelfde negen verschillende hypothesen te testen.

De grote neuroimaging-dataset was in de loop van een jaar verzameld in het Alfredo Federico Strauss Center for Computational Neuroimaging aan de TAU door Roni Iwanir, een voormalige Sagol School MSc-student uit het laboratorium van Schonberg. Terwijl de deelnemers aan het onderzoek zich bezighielden met de monetaire besluitvormingstaak, fMRI-scans werden gebruikt om te testen of de activiteit van specifieke hersenregio's die betrokken zijn bij waardeverwerking veranderde in verhouding tot het gewonnen of verloren geld bij een gok. Ongeveer 70 internationale teams hebben deze datasets onafhankelijk geanalyseerd in de loop van drie maanden.

"De verwerking die je met fMRI moet doorlopen van ruwe data naar een resultaat is echt ingewikkeld, ", vult prof. Poldrack aan. "Je moet op elke plek in de analyseworkflow veel keuzes maken."

Elk team van onderzoekers kwam tot hun eigen eindconclusies met betrekking tot de gegevens, met resultaten die aanzienlijk variëren tussen de teams in vijf van de negen hypothesen.

"Onze nieuwe studie toonde een hoge analytische flexibiliteit aan zoals die voorkomt in het wild, '", zegt Dr. Schonberg. "De deelnemende onderzoekers hebben de hypothesen anders gemodelleerd en verschillende software gebruikt voor de analyse. Ze gebruikten ook verschillende technieken en definities in verschillende aspecten van de analyse."

Bij een ander deel van het onderzoek waren experts uit het veld betrokken, evenals onderzoekers van de analyseteams die handelden met andere onderzoekers in zogenaamde "voorspellingsmarkten" over wat zij dachten dat de resultaten van het onderzoek zouden zijn. Dit deel van het onderzoek werd uitgevoerd door economen en experts op het gebied van gedragsfinanciering, die het eerste idee voor het onderzoek heeft gegeven, en toonde duidelijk overoptimisme over het vermogen om eerdere bevindingen te repliceren, zelfs door onderzoekers die de data zelf hebben geanalyseerd.

"Hoewel de uiteindelijke gerapporteerde resultaten aanzienlijk verschilden, eerdere analyseresultaten toonden eigenlijk een consensus onder de meeste onderzoeksteams, " zegt Dr. Schonberg. "Dit is zeer bemoedigend, en was in feite een enigszins verrassend resultaat. Ondanks de grote variabiliteit in de uiteindelijke gerapporteerde resultaten, de onderliggende analyse was vergelijkbaar, wat betekent dat we methoden moeten vinden om deze convergentie uit te drukken.

"Bijvoorbeeld, de studie suggereert dat onderzoekers meerdere analyses kunnen uitvoeren en rapporteren met dezelfde gegevens, om de resultaten te vinden waarnaar verschillende betrouwbare methoden convergeren."

Dr. Schonberg is van mening dat de bevindingen wetenschappers kunnen helpen hun methodologie vooruit te helpen en de kwaliteit van hun analyses in de toekomst te verbeteren.

"Ik zou willen dat onze bevindingen worden gebruikt om de wetenschap vooruit te helpen - naar een nog verdere uitwisseling van alle studiegerelateerde informatie, van transparantie van methoden, analysecodes en gegevens, ", zegt Dr. Schonberg. Dat is de enige manier waarop iedereen de resultaten kan testen en "spelen" om te zien wat waar is. We hebben het belang en de grote noodzaak gezien van het delen van gegevens in de recente COVID-19-pandemie om de optimale koers te begrijpen van de actie.

"Van nature, de nieuwheid van ontdekkingen is van groot belang voor wetenschappers. Maar net zo belangrijk is de nauwkeurigheid van onze methodologie, " concludeert Dr. Schonberg. "Onze studie weerspiegelt de ambitie van een enorme gemeenschap van wetenschappers om duizenden uren te besteden aan het verbeteren van onze methodologieën om de juiste conclusies te trekken en betrouwbare resultaten te bereiken."