Een paar jaar geleden, twee onderzoekers namen de 50 meest gebruikte ingrediënten in een kookboek en bestudeerden hoeveel er in verband waren gebracht met een risico of voordeel op kanker, gebaseerd op een verscheidenheid aan studies gepubliceerd in wetenschappelijke tijdschriften.

Het resultaat? Veertig van de 50, inclusief zout, meel, peterselie en suiker. "Is alles wat we eten geassocieerd met kanker?" vroegen de onderzoekers zich af in een artikel uit 2013 op basis van hun bevindingen.

Hun onderzoek raakte een bekend maar hardnekkig probleem in de onderzoekswereld:te weinig studies hebben voldoende grote steekproeven om algemene conclusies te ondersteunen.

Maar druk op onderzoekers, concurrentie tussen tijdschriften en de onverzadigbare honger van de media naar nieuwe studies die revolutionaire doorbraken aankondigen, heeft ertoe geleid dat dergelijke artikelen nog steeds worden gepubliceerd.

"De meeste artikelen die worden gepubliceerd, zelfs in serieuze tijdschriften, zijn nogal slordig, " zei John Ioannidis, hoogleraar geneeskunde aan de Stanford University, die gespecialiseerd is in de studie van wetenschappelijke studies.

Deze gezworen vijand van slecht onderzoek publiceerde in 2005 een veel geciteerd artikel met de titel:"Waarom de meeste gepubliceerde onderzoeksresultaten onjuist zijn."

Vanaf dat moment, hij zegt, er is slechts beperkte vooruitgang geboekt.

Sommige tijdschriften dringen er nu op aan dat auteurs hun onderzoeksprotocol vooraf registreren en hun onbewerkte gegevens verstrekken, wat het voor onderzoekers moeilijker maakt om bevindingen te manipuleren om tot een bepaalde conclusie te komen. Het stelt anderen ook in staat om hun studies te verifiëren of te repliceren.

Want wanneer studies worden herhaald, ze komen zelden met dezelfde resultaten. Slechts een derde van de 100 studies gepubliceerd in drie toppsychologische tijdschriften kon met succes worden gerepliceerd in een grote test uit 2015.

Medicijn, epidemiologie, populatiewetenschap en voedingsstudies doen het niet beter, Ioannidis zei, wanneer pogingen worden ondernomen om ze te repliceren.

"In de biomedische wetenschap en daarbuiten, wetenschappers worden onvoldoende getraind in statistiek en methodologie, ' zei Ioannidis.

Te veel onderzoeken zijn uitsluitend gebaseerd op enkele individuen, waardoor het moeilijk is om bredere conclusies te trekken omdat de steekproeven zo weinig hoop hebben dat ze representatief zijn.

Koffie en rode wijn

"Dieet is een van de meest verschrikkelijke gebieden van biomedisch onderzoek, " voegde professor Ioannidis toe - en niet alleen vanwege belangenconflicten met verschillende voedingsindustrieën.

"Het meten van voeding is extreem moeilijk, " benadrukte hij. Hoe kunnen we precies kwantificeren wat mensen eten?

In dit veld, onderzoekers gaan vaak op zoek naar correlaties in enorme databases, zonder ook maar een starthypothese.

Zelfs als de methodiek goed is, waarbij de gouden standaard een onderzoek is waarbij deelnemers willekeurig worden gekozen, de uitvoering kan tekortschieten.

Een beroemde studie uit 2013 over de voordelen van het mediterrane dieet tegen hartziekten moest in juni worden ingetrokken door de meest prestigieuze medische tijdschriften, de New England Journal of Medicine , omdat niet alle deelnemers willekeurig werden gerekruteerd; de resultaten zijn naar beneden bijgesteld.

Dus wat moeten we meenemen van de stortvloed aan onderzoeken die elke dag worden gepubliceerd?

Ioannidis raadt aan om de volgende vragen te stellen:is dit iets dat maar één keer is gezien, of in meerdere studies? Is het een kleine of een grote studie? Is dit een gerandomiseerd experiment? Wie heeft het gefinancierd? Zijn de onderzoekers transparant?

Deze voorzorgsmaatregelen zijn fundamenteel in de geneeskunde, waar slechte studies hebben bijgedragen aan de goedkeuring van behandelingen die op zijn best ineffectief zijn, en in het slechtste geval schadelijk.

In hun boek "Ending Medical Reversal, " Vinayak Prasad en Adam Cifu bieden angstaanjagende voorbeelden van praktijken die zijn aangenomen op basis van onderzoeken die later ongeldig werden verklaard, zoals het openen van een hersenslagader met stents om het risico op een nieuwe beroerte te verminderen.

Het was pas na 10 jaar dat een robuuste, gerandomiseerde studie toonde aan dat de praktijk het risico op een beroerte juist verhoogde.

De oplossing ligt in het collectief aanscherpen van normen door alle spelers in de onderzoekswereld, niet alleen tijdschriften, maar ook universiteiten, overheidsfinancieringsinstanties. Maar deze instellingen opereren allemaal in competitieve omgevingen.

"De prikkels voor iedereen in het systeem zijn in de verkeerde richting gericht, "Ivan Oranski, mede-oprichter van Retraction Watch, die de intrekking van wetenschappelijke artikelen dekt, vertelt AFP. "We proberen een cultuur aan te moedigen, een sfeer waarin je wordt beloond omdat je transparant bent."

Het probleem komt ook van de media, die volgens Oransky de onzekerheden die inherent zijn aan wetenschappelijk onderzoek beter moeten verklaren, en weerstand bieden aan sensatiezucht.

"We hebben het vooral over de eindeloze verschrikkelijke studies over koffie, chocolade en rode wijn, " hij zei.

"Waarom schrijven we daar nog over? Daar moeten we mee ophouden."

© 2018 AFP