De meeste medische en wetenschappelijke tijdschriften van hoge kwaliteit vereisen openbaarmaking van mogelijke belangenconflicten (COI). Echter, een nieuwe studie suggereert dat dergelijke onthullingen geen impact hebben op tijdschriftrecensenten, zelfs als de auteurs van de ingediende papers dat deden, in feite, conflicten melden. Uit de studie bleek ook dat de evaluaties van recensenten van zeven aanvullende metingen van verschillende facetten van onderzoekskwaliteit (bijv. methoden, conclusies, objectiviteit) werden evenmin beïnvloed door COI-onthullingen.

De studie werd uitgevoerd door onderzoekers van de Carnegie Mellon University, Harvard en de Universiteit van Californië, San Francisco (UCSF). Het onderzocht de evaluaties van meer dan 3, 300 recensenten van bijna 1, 500 papers ingediend tussen 2014 en 2018 bij de Annalen van spoedeisende geneeskunde ( AEM ). De auteurs zijn van mening dat dit het eerste willekeurig gecontroleerde experiment is dat de impact van COI-onthullingen op feitelijke recensentenevaluaties van onderzoekspapers heeft onderzocht.

In de studie, reviewers ontvingen een manuscript en werden ofwel binnen 24 uur geïnformeerd als de auteurs wel of niet een COI hadden onthuld tijdens het indieningsproces of op de een of andere manier niet op de hoogte waren van de COI's van de auteurs. Bijna een derde van de kranten had onthullingen, voornamelijk met betrekking tot financieringsbronnen. Na het terugsturen van hun evaluatie van het onderzoek, alle recensenten werden ondervraagd.

Hoewel 78 procent van de recensenten in de eerste groep aangaf dat ze de COI-onthullingen hadden gelezen en begrepen, en de meesten waren het er ook over eens dat COI's een belangrijke kwestie zijn, de onthullingen hadden geen effect op de aanbevelingen van reviewers met betrekking tot de geschiktheid van papers voor publicatie.

De studie werd geleid door Leslie John van Harvard, die haar Ph.D. in Behavioral Decision Research bij Carnegie Mellon in 2011. Ze zei dat de bevindingen waarschijnlijk verband houden met de dubbelzinnigheid van het beoordelingsproces met betrekking tot COI-onthullingen.

"Beoordelaars krijgen geen expliciete richtlijnen voor het corrigeren van mogelijke COI, " zei Johan, de Marvin Bower Associate Professor aan de Harvard Business School. "Als een onthulling een significante COI aan het licht brengt, moet de beoordelaar afwijzing aanbevelen of speciale controle toepassen op methoden? Er is momenteel geen consensus over hoe reviewers moeten reageren op COI-onthullingen, noch enige aanwijzing over hoe dit te doen."

John voegde eraan toe dat de meeste recensenten meldden dat ze er sterk van overtuigd waren dat ze konden corrigeren voor de vertekenende invloed van belangenconflicten als en wanneer ze openbaar werden gemaakt.

"Zelfs ervaren peer reviewers kunnen meestal geen specifieke en effectieve aanpak formuleren die moet worden gevolgd zodra COI wordt vermoed of verklaard, " zei Michael Callaham, hoofdredacteur van AEM, emeritus voorzitter van de spoedeisende geneeskunde bij UCSF en een senior auteur van het papier. "Als resultaat, de meeste reviewers veranderen hun beoordelingen niet vanwege deze informatie. Het is duidelijk dat de richtlijnen voor het rapporteren van COI hun doel niet bereiken en verder moeten worden bestudeerd en verbeterd."

George Loewenstein, Carnegie Mellon's Herbert A. Simon universiteitshoogleraar economie en psychologie en een co-auteur van de studie, merkte op dat de paper het laatste is in een lange reeks van onderzoek waaruit blijkt dat openbaarmaking een ontoereikende reactie is op COI's die hoogtij vieren in de geneeskunde.

"De medische en academische instellingen denken dat ze de problemen van COI's hebben aangepakt door openbaarmakingen, " merkte Loewenstein op. "Dit experiment levert verder bewijs dat ze dat niet hebben gedaan."

De vierde auteur van het onderzoek, Andrew Marder, werkte aan het experiment als senior statisticus aan de Harvard Business School. De krant, "De impact van het onthullen van belangenconflicten van auteurs in peer review:een gerandomiseerde gecontroleerde studie, " verschijnt nu online in de Brits medisch tijdschrift .