Een paleontoloog keert terug naar haar laboratorium van een zomeropgraving en zet een onderzoek op waarin de tandlengte van twee dinosaurussoorten wordt vergeleken. Zij en haar team werken nauwgezet om vertekening van hun resultaten te voorkomen. Ze blijven blind voor de soort tijdens het meten, de steekproefomvang is groot, en de gegevensverzameling en de analyse zijn rigoureus.

De wetenschapper is verrast om geen significant verschil in de lengte van de hoektanden tussen de twee soorten te vinden. Ze realiseert zich dat deze onverwachte resultaten belangrijk zijn en stuurt een paper naar de juiste tijdschriften. Maar tijdschrift na tijdschrift verwerpt de krant, omdat de resultaten niet significant verschillen. Eventueel, de wetenschapper geeft het op, en het papier met zijn zogenaamde negatieve resultaten wordt in een la gelegd en begraven onder jarenlang ander werk.

Dit scenario en vele andere soortgelijke scenario's hebben zich in alle wetenschappelijke disciplines afgespeeld, wat leidt tot wat wel "het dossierladeprobleem" wordt genoemd. Onderzoekstijdschriften en financieringsinstanties zijn vaak bevooroordeeld in de richting van onderzoek dat "positieve" of significant verschillende resultaten laat zien. Deze ongelukkige vooringenomenheid draagt ​​bij aan vele andere problemen in het wetenschappelijke proces, zoals bevestigingsbias, waarin gegevens onjuist worden geïnterpreteerd om een ​​gewenst resultaat te ondersteunen.

Een nieuwe methode:Equivalentie

Helaas, Problemen met publicatiebias komen al heel lang voor in de wetenschap. Door de structuur van de wetenschappelijke methode, wetenschappers richten zich vaak alleen op verschillen tussen groepen - zoals de dinosaurustanden van twee verschillende soorten, of een volksgezondheidsvergelijking van twee verschillende buurten. Dit laat studies die zich richten op overeenkomsten volledig verborgen.

Echter, farmaceutische proeven hebben een oplossing voor dit probleem gevonden. In deze proeven, onderzoekers gebruiken soms een test die bekend staat als TOST, twee eenzijdige test, zoeken naar gelijkwaardigheid tussen behandelingen.

Bijvoorbeeld, stel dat een bedrijf een generiek geneesmiddel ontwikkelt dat goedkoper te produceren is dan het merkgeneesmiddel. Onderzoekers moeten aantonen dat het nieuwe medicijn op een statistisch gelijkwaardige manier werkt als het merknaam voordat het op de markt wordt verkocht. Dat is waar equivalentietests om de hoek komen kijken. Als de test equivalentie aantoont tussen de effecten van de twee medicijnen, dan kan de FDA de introductie van het nieuwe medicijn op de markt goedkeuren.

Hoewel traditionele gelijkwaardigheidstesten zeer nuttig zijn voor vooraf geplande en gecontroleerde farmaceutische tests, het is niet veelzijdig genoeg voor andere soorten studies. De originele TOST kan niet worden gebruikt om gelijkwaardigheid te testen in experimenten waarbij dezelfde individuen in meerdere behandelingsgroepen zitten, het werkt ook niet als de twee testgroepen verschillende steekproefomvang hebben.

Aanvullend, de TOST die bij farmaceutische tests wordt gebruikt, behandelt doorgaans niet meerdere variabelen tegelijk. Bijvoorbeeld, een traditionele TOST zou overeenkomsten in biodiversiteit op verschillende rivierlocaties voor en na een temperatuurverandering kunnen analyseren. Echter, onze nieuwe TOST zou het mogelijk maken om te testen op overeenkomsten in meerdere variabelen - zoals biodiversiteit, water-pH, waterdiepte en waterhelderheid – op alle rivierlocaties tegelijk.

De beperkingen van de traditionele TOST en de alomtegenwoordigheid van het "bestandsladeprobleem" hebben ons team ertoe gebracht een multivariate equivalentietest te ontwikkelen, in staat om overeenkomsten in systemen aan te pakken met herhaalde metingen en ongelijke steekproefomvang.

Onze nieuwe gelijkwaardigheidstest, gepubliceerd in oktober, zet het traditionele nulhypotheseraamwerk op zijn kop. Nutsvoorzieningen, in plaats van uit te gaan van gelijkenis, een onderzoeker gaat ervan uit dat de twee groepen verschillend zijn. De bewijslast ligt nu bij het beoordelen van de mate van overeenkomst, in plaats van de mate van verschil.

Onze test stelt onderzoekers ook in staat om hun eigen acceptabele marge te bepalen voor het verklaren van gelijkenis. Bijvoorbeeld, als de marge was ingesteld op 0,2, dan zouden de resultaten u vertellen of de gemiddelden van de twee groepen vergelijkbaar waren binnen plus of min 2 procent.

Een stap in de goede richting

Onze aanpassing betekent dat equivalentietesten nu kunnen worden toegepast in een breed scala aan disciplines. Bijvoorbeeld, we gebruikten deze test om een ​​gelijkwaardige akoestische structuur aan te tonen in de liederen van mannelijke en vrouwelijke oosterse bluebirds. Equivalentietesten zijn ook al gebruikt in sommige gebieden van techniek en psychologie.

De methode zou nog breder kunnen worden toegepast. Stel je een groep onderzoekers voor die twee verschillende onderwijsmethoden willen onderzoeken. In één klas is geen technologie, en in een andere worden alle opdrachten van de studenten online gedaan. Equivalentietesten kunnen een schooldistrict helpen beslissen of ze meer in technologie moeten investeren of dat de twee onderwijsmethoden gelijkwaardig zijn.

De ontwikkeling van een breed toepasbare equivalentietest vertegenwoordigt wat volgens ons een enorme stap voorwaarts zal zijn in de lange strijd van wetenschappers om echte en onbevooroordeelde resultaten te presenteren. Deze test biedt een andere mogelijkheid voor verkenning en stelt onderzoekers in staat om de resultaten van onderzoeken naar overeenkomsten die in het verleden niet zijn gepubliceerd of gefinancierd, te onderzoeken en te publiceren.

De prevalentie van publicatiebias, inclusief het dossierladeprobleem, bevestigingsbias en onbedoelde valse positieven, is een belangrijk struikelblok voor wetenschappelijke vooruitgang. In sommige onderzoeksgebieden is tot de helft van de resultaten ontbreekt in de gepubliceerde literatuur.

Equivalentietesten bieden wetenschappers een ander hulpmiddel in de gereedschapskist om "positieve" resultaten te presenteren. Als de wetenschappelijke gemeenschap deze test in handen neemt en deze ten volle benut, we denken dat het kan helpen een van de belangrijkste beperkingen in de manier waarop wetenschap momenteel wordt beoefend, te verminderen.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.