Hoogwaardige peer review is nog nooit zo belangrijk geweest om de wetenschap die we publiceren te valideren. Met onderzoeksintegriteit die regelmatig de krantenkoppen haalt, vooral sinds de COVID-pandemie, spelen uitgevers en recensenten een cruciale rol om ervoor te zorgen dat robuust, betrouwbaar onderzoek wordt gepubliceerd, en gebrekkige werken niet.

De ruggengraat voor het handhaven van integriteit is peer review, waarbij experts op hetzelfde gebied de kwaliteit van onderzoek beoordelen. Het proces is ontworpen om hoge normen te waarborgen, veelbelovend werk te helpen verbeteren en problematische papieren te verwijderen, maar er zijn enkele tekortkomingen in het proces.

Peer review-fouten

Een goed gedocumenteerd probleem is bias bij peer review. Of het nu bewust of anderszins is, het brengt een eerlijk oordeel in gevaar op basis van zaken als geslacht, naam, nationaliteit, affiliatie of carrièrestatus. Om dit tegen te gaan, worden nieuwe peer review-benaderingen geïntroduceerd en getest op hun werkzaamheid.

Een dergelijke benadering is dubbel-anonieme peer review, waarbij de identiteit van zowel auteurs als reviewers wordt verborgen. Het Institute of Physics was de eerste STM-uitgever die dubbel-anonieme peer review aanbood in al onze eigentijdschriften. De stap maakt deel uit van onze toewijding om ongelijkheid in het wetenschappelijke publicatieproces aan te pakken. We hebben ervoor gekozen om op vrijwillige basis dubbel-anoniem te implementeren om onze auteurs de keuze te geven en om ons te helpen de werkzaamheid van deze aanpak als middel tegen vooringenomenheid te onderzoeken. We hopen dat auteurs de voordelen erkennen van onderzoek dat wordt beoordeeld op verdienste in plaats van factoren zoals het prestige van de instelling waarvoor ze werken.

De eerste resultaten zijn bemoedigend, en onlangs heeft Nobelprijswinnaar Novoselov zijn manuscript geanonimiseerd toen hij zijn werk inleverde bij een van onze tijdschriften, waarmee hij blijk gaf van geloof in het publicatiesysteem en vertrouwen in de kwaliteit van het onderzoek in plaats van te vertrouwen op hun gevestigde reputatie. Maar de vraag is, als we dubbel-anoniem niet afdwingen en het gewoon aanmoedigen, zien we dan een vermindering van de vooroordelen over peer review? Is er zelfs een vooroordeel tegen dubbel-anonieme artikelen, waarbij recensenten ervan uitgaan dat de auteur hun identiteit om een ​​bepaalde reden verbergt? Om deze vraag bij het publiceren op de proef te stellen, werkten we samen met onderzoekers van de Universiteit van Michigan en verstrekten we gegevens over onze reis naar dubbel-anonieme peer review.

Het speelveld egaliseren

De onderzoekers keken naar de inzendingen van een groot aantal onderzoekers - 390.000 auteurs en 168.000 recensenten van over de hele wereld. De uitkomst van het onderzoek is bemoedigend en laat zien dat het aanbieden van dubbel-anonieme peer review de kans op positieve revieweraanbevelingen voor laagprestige auteurs met 2,4% verhoogt en deze voor midden- en hoge citatieauteurs met respectievelijk 1,8% en 1% verlaagt .

Maar de meest opwindende bevinding was het feit dat het beleid de grootste effecten heeft op het verminderen van prestige-bias bij definitieve papieren beslissingen, waardoor de acceptatie van auteurs met een lage prestige met 5,6% wordt verhoogd, terwijl deze wordt verlaagd met 4,6% en 2,2% voor midden- en hoge citaties auteurs resp. Kortom, dubbel-anonieme peer review egaliseert het speelveld. We moeten de impact op andere soorten vooroordelen nog formeel bestuderen, b.v. geslacht en geografie, hoewel de eerste resultaten er intrigerend uitzien, waarbij onderzoekers uit sommige delen van de wereld twee keer zoveel kans hebben om hun werk te laten accepteren volgens de dubbel-anonieme methode.

Onderzoekers een keuze bieden in plaats van ze te dwingen, levert een aantal voordelen op van moeilijk te implementeren beleid tegen enorm lagere kosten. En hoewel de resultaten bemoedigend zijn, zijn wij van mening dat dubbel-anonieme peer review slechts één methode is ter ondersteuning van een grotere integriteit van onderzoek. Als sector moeten we samenwerken om best practices te ontwikkelen en onderzoekers te ondersteunen en op te leiden in hun redenering en de gevolgen van hun publicatiekeuzes. + Verder verkennen

Journalstudie suggereert dat het forceren van open peer review kan leiden tot meer vooringenomenheid

Dit verhaal is opnieuw gepubliceerd met dank aan IOP Publishing. Lees hier het originele verhaal.