Eerder dit najaar Onderzoekers van Dartmouth College hebben een studie uitgebracht waarin wordt beweerd dat gewelddadige videogames worden gekoppeld aan agressie bij kinderen. De logica van een meta-analytische studie als deze is dat door het combineren van vele individuele studies, wetenschappers kunnen zoeken naar gemeenschappelijke trends of effecten die in eerder werk zijn geïdentificeerd. Enkel en alleen, als een psychologieonderzoeker die zich lang op dit gebied heeft gefocust, Ik beweer dat deze meta-analyse niets van dien aard heeft gedaan. In feite, de omvang van het effect dat ze vonden is ongeveer hetzelfde als dat van het eten van aardappelen op zelfmoord onder tieners. Als iets, het suggereert dat videogames jeugdagressie niet voorspellen.

Deze studie, en anderen vinden het leuk zijn symptomatisch voor een groot probleem binnen de sociale wetenschappen:het overhypen van onbetrouwbare, onbetrouwbare onderzoeksresultaten die weinig in de praktijk kunnen worden toegepast. Vaak vormen dergelijke bevindingen de publieke perceptie van de menselijke conditie en vormen ze een leidraad voor het overheidsbeleid - ondanks dat het grotendeels onzin is. Hier is hoe het gebeurt.

De afgelopen jaren hebben psychologie, vooral, verwikkeld in wat sommigen een reproduceerbaarheidscrisis noemen. Veel lang gekoesterde bevindingen in de sociale wetenschappen in bredere zin zijn moeilijk te repliceren onder rigoureuze omstandigheden. Wanneer een onderzoek opnieuw wordt uitgevoerd, het levert niet dezelfde resultaten op als oorspronkelijk gepubliceerd. De druk om positieve bevindingen te publiceren en de neiging van onderzoekers om hun eigen vooroordelen in analyses te injecteren, intensiveren het probleem. Veel van dit niet-repliceren kan worden aangepakt met transparantere en rigoureuzere methoden in de sociale wetenschappen.

Maar het overhypen van zwakke resultaten is anders. Het kan niet methodologisch worden opgelost; een oplossing zou moeten komen van een cultuurverandering in het veld. Maar er zijn weinig prikkels om openhartig te zijn over tekortkomingen, vooral voor een vakgebied als psychologie, die zich zorgen maakt over de publieke perceptie.

Een voorbeeld is de Impliciete Associatie Test (IAT). Deze techniek is het meest bekend vanwege het zoeken naar onbewuste raciale vooroordelen. Gezien de aandacht die het en de daarop gebaseerde theorieën hebben gekregen, er is iets van een huisnijverheid ontstaan ​​om werknemers te trainen in hun impliciete vooroordelen en hoe deze te overwinnen. Helaas, een aantal onderzoeken suggereren dat de IAT onbetrouwbaar is en het gedrag in de echte wereld niet voorspelt. Het bestrijden van raciale vooroordelen is lovend, maar de aanzienlijke overheidsinvesteringen in de IAT en het concept van impliciete vooroordelen zijn waarschijnlijk minder productief dan geadverteerd.

Een deel van het probleem is iets wat ik 'dood door persbericht' noem. Dit fenomeen doet zich voor wanneer onderzoekers of hun universiteit, of een tijdschriftuitgevende organisatie zoals de American Psychological Association, brengt een persbericht uit waarin de bevindingen van een onderzoek worden gehyped zonder de beperkingen ervan in detail te beschrijven. Sensationele beweringen krijgen doorgaans meer nieuwsaandacht.

Bijvoorbeeld, een nu berucht voedsellaboratorium in Cornell kreeg te maken met meerdere intrekkingen nadat bekend werd dat ze hun gegevens hadden gemarteld om krantenkopvriendelijke conclusies te trekken. Hun onderzoek suggereerde dat mensen meer aten als ze grotere porties kregen, actietelevisie toont verhoogde voedselconsumptie, en de groenteconsumptie van kinderen zou stijgen als de producten een nieuwe naam kregen met kindvriendelijke thema's zoals 'X-ray vision-wortelen'. Hoofdzakelijk, lableider Brian Wansink blijkt expert te zijn geworden in het vermarkten van sociale wetenschappen, hoewel de meeste conclusies zwak waren.

Een ander punt van zorg is een proces dat ik 'wetenschappelijk witwassen' noem:het opruimen van vuile, rommelig, niet-overtuigende wetenschap voor publieke consumptie. In mijn eigen vakgebied, de Dartmouth-meta-analyse van videogames is een goed voorbeeld. Soortgelijk bewijs als wat in de meta-analyse was ingevoerd, was al jaren beschikbaar en vormde feitelijk de basis waarom de meeste geleerden gewelddadige games niet langer koppelen aan aanvallen van jongeren.

Het tijdschrift Science besprak onlangs hoe meta-analyses kunnen worden misbruikt om te proberen wetenschappelijke debatten voortijdig te beëindigen. Meta-analyses kunnen nuttig zijn wanneer ze wetenschappelijke praktijken belichten die valse effecten kunnen veroorzaken, om toekomstig onderzoek richting te geven. Maar ze kunnen belangrijke meningsverschillen tussen onderzoeken kunstmatig gladstrijken.

Laten we zeggen dat we veronderstellen dat het eten van bosbessen depressie geneest. We voeren 100 onderzoeken uit om deze hypothese te testen. Stel je voor dat ongeveer 25 procent van onze experimenten kleine verbanden vindt tussen bosbessen en verminderde depressie, terwijl de overige 75 procent niets laat zien. De meeste mensen zijn het erover eens dat dit een vrij slechte vertoning is voor de bosbessenhypothese. Het grootste deel van ons bewijs vond geen verbetering in depressie na het eten van de bessen. Maar, door een gril van meta-analyse, het combineren van al onze 100 onderzoeken zou laten zien wat wetenschappers een "statistisch significant" effect noemen - wat betekent dat het onwaarschijnlijk was dat het toevallig zou gebeuren - ook al waren de meeste individuele onderzoeken op zichzelf niet statistisch significant.

Het samenvoegen van zelfs een paar onderzoeken die een effect laten zien met een grotere groep onderzoeken die dat niet doen, kan resulteren in een meta-analyseresultaat dat er statistisch significant uitziet - zelfs als de individuele onderzoeken nogal verschillen. Dit soort resultaten vormen wat sommige psychologen de "crud factor" van psychologisch onderzoek hebben genoemd - statistisch significante bevindingen die ruis, geen echte effecten die iets in de echte wereld weerspiegelen. Of, bot gezegd, meta-analyses zijn een geweldig hulpmiddel voor wetenschappers om zichzelf voor de gek te houden.

Beroepsverenigingen voor vakgebieden zoals psychologie en kindergeneeskunde zouden een groot deel van de schuld op zich moeten nemen voor de verspreiding van overhyping van onderzoek. Dergelijke organisaties geven talrijke, vaak zeer gebrekkig, beleidsverklaringen die onderzoeksresultaten in een veld uitbazuinen. Het publiek realiseert zich vaak niet dat dergelijke organisaties functioneren om een ​​beroep op de markt te brengen en te promoten; ze zijn niet neutraal, objectieve waarnemers van wetenschappelijk onderzoek – dat vaak wordt gepubliceerd, voor inkomen, in hun eigen tijdschriften.

Helaas, dergelijk witwassen van wetenschap kan een veld achtervolgen wanneer overhyped claims misleidend blijken te zijn. Oneerlijke overpromotie van sociale wetenschappen kan ertoe leiden dat het publiek en de rechtbanken er sceptischer over worden. Waarom zouden belastingbetalers onderzoek financieren dat oververkochte onzin is? Waarom zouden mediaconsumenten vertrouwen op wat onderzoek vandaag zegt als ze werden verbrand door wat het gisteren zei?

Individuele geleerden en de professionele gilden die hen vertegenwoordigen, kunnen veel doen om deze problemen op te lossen door lakse bewijsnormen te heroverwegen, de overselling van zwakke effecten, en het huidige gebrek aan openhartigheid over methodologische beperkingen. Ondertussen, het publiek zal er goed aan doen om een ​​gezonde dosis kritisch denken te blijven toepassen op verheven beweringen uit persberichten in de sociale wetenschappen. Vraag of de omvang van het effect significant groter is dan bij aardappelen op zelfmoord. Als het antwoord nee is, het is tijd om verder te gaan.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.