Een studie van de Universiteit van Toronto over onzekerheid in wetenschappelijk onderzoek zou licht kunnen werpen op anomalieën die ontstonden bij vroege pogingen om het Higgs-deeltje te ontdekken en zelfs hoe peilingen de uitkomst van Donald Trump die de Amerikaanse presidentsverkiezingen zou winnen, niet konden voorspellen.

Onlangs gepubliceerd in het tijdschrift Royal Society Open Science , de studie suggereert dat onderzoek in enkele van de meer complexe wetenschappelijke disciplines, zoals geneeskunde of deeltjesfysica, neemt onzekerheden vaak niet weg in de mate die we zouden verwachten.

"Dit komt door de neiging om de kans op significante afwijkingen in resultaten te onderschatten." zei studie auteur David Bailey, een professor in U of T's Department of Physics.

Kijkend naar 41, 000 metingen van 3, 200 hoeveelheden - van de massa van een elektron tot de koolstofdatering van een monster - Bailey ontdekte dat abnormale waarnemingen plaatsvonden tot 100, 000 keer vaker dan verwacht.

"De kans op grote verschillen neemt niet exponentieel af zoals je zou verwachten in een normale belcurve, ' zei Bailey.

Een lange staart van onzekerheid

"De studie toont aan dat onderzoekers op veel gebieden goed in staat zijn de grootte van typische fouten in hun metingen in te schatten, maar onderschat meestal de kans op grote fouten, " zei Bailey, opmerkend dat de groter dan verwachte frequentie van grote verschillen een bijna onvermijdelijk gevolg kan zijn van de complexe aard van wetenschappelijk onderzoek.

"Naarmate metingen steeds nauwkeuriger worden, de kleinste dingen worden steeds belangrijker, ' zei Bailey.

"Als twee metingen overeenkomen, je bent gelukkig. Als niet, je ziet dat er iets is dat je moet onderzoeken, "zei hij. "Je spoort de oorzaak van de variatie op en meldt de oorzaak of je zegt dat je de oorzaak niet kent en dit vermindert het vertrouwen in je resultaat."

Maar met beperkte tijd en financiële middelen, onderzoekers moeten vaak een keuze maken tussen het hebben van een grote steekproef aan data, zoals tienduizenden mensen in een enquête, en met een groot aantal variabelen die u wilt begrijpen.

"Je begint met een heel grote steekproef die iedereen op één hoop gooit. Je moet je dan misschien afvragen of je resultaat hetzelfde is voor zowel mannen als vrouwen. Is het hetzelfde voor verschillende achtergronden, Canadezen versus Amerikanen, bijvoorbeeld, " zegt Bailey. "Op dat moment, u moet vragen of uw resultaten gelden voor de kleinere dataset. Je steekproef wordt kleiner en er kan meer mis gaan."

Onmogelijk om niet een beetje ongelijk te hebben?

Natuurkundestudies deden het niet significant beter dan het waargenomen medische en andere onderzoek. Echter, de zeer kwantificeerbare manier waarop waarden en onzekerheden worden gerapporteerd, kan natuurkunde nuttiger maken in termen van de mate van reproduceerbaarheid van resultaten die onderzoekers redelijkerwijs mogen verwachten.

"Wetenschappers zullen nog steeds streven naar de meest nauwkeurige resultaten, maar hun verwachtingen over hoe goed die doelen worden bereikt, kunnen worden getemperd in het licht van dit onderzoek, ' zei Bailey.

Hij gelooft dat zijn onderzoek onderzoekers kan helpen hun gegevens beter te analyseren, motiveer meer zorg met nieuwe resultaten, en aanmoedigen tot meer realistische verwachtingen van zowel wetenschappers als het publiek over de nauwkeurigheid van wetenschappelijk onderzoek.

"Deze inzichten kunnen nuttig zijn gezien de inherent complexe aard van wetenschappelijk onderzoek, "zegt Bailey. "Maar de kans om op de een of andere manier op een bepaald niveau te voorkomen dat je ongelijk hebt, is bijna onmogelijk."