Het peer review-proces is een hoeksteen van de moderne wetenschap. Voordat nieuw werk in een academisch tijdschrift wordt gepubliceerd, onderzoeken experts de bewijzen, onderzoeken en argumenten om er zeker van te zijn dat ze kloppen.

Veel auteurs, reviewers en redacteuren hebben echter problemen met de manier waarop het moderne peer review-systeem werkt. Het kan traag, ondoorzichtig en klonterig zijn, en het draait op vrijwilligerswerk van reeds overwerkte academici.

Vorige maand uitte een van ons (Kelly-Ann Allen) haar frustratie over de moeilijkheden om peer reviewers te vinden op Twitter. Honderden reacties later hadden we een enorme crowd-sourced verzameling van kritiek op peer review en suggesties om het te verbeteren.

De suggesties voor tijdschriften, uitgevers en universiteiten laten zien dat er nog genoeg te doen is om peer review verantwoordelijker, eerlijker en inclusiever te maken. We hebben onze volledige bevindingen hieronder samengevat.

Als tijdschriftredacteur is het moeilijk om te lezen dat mensen publiceren en niet deelnemen aan recensie. Het wordt steeds moeilijker om recensenten te vinden en dit zorgt voor aanzienlijke vertragingen bij het publiceren van tijdlijnen. #AcademicChatter @AcademicChatter https://t.co/FMFeqFnsrm

— Kelly-Ann Allen, Ph.D. #belonging #schoolbelonging (@drkellyallen) 6 juni 2022

Drie uitdagingen van peer review

We zien drie belangrijke uitdagingen voor het peer review-systeem.

Ten eerste kan peer review uitbuitend zijn.

Veel van de bedrijven die wetenschappelijke tijdschriften uitgeven, maken winst met abonnementen en verkopen. De auteurs, redacteuren en peer reviewers besteden echter over het algemeen hun tijd en moeite op vrijwillige basis, waardoor ze effectief gratis werk verrichten.

En hoewel peer review vaak wordt gezien als een collectieve onderneming van de academische gemeenschap, doet in de praktijk een klein deel van de onderzoekers het meeste werk. Een studie van biomedische tijdschriften wees uit dat in 2015 slechts 20% van de onderzoekers tot 94% van de peer review uitvoerde.

Peer review kan een 'black box' zijn

De tweede uitdaging is een gebrek aan transparantie in het peer review-proces.

Peer review wordt over het algemeen anoniem uitgevoerd:onderzoekers weten niet wie hun werk beoordeelt en reviewers weten niet wiens werk ze beoordelen. Dit biedt ruimte voor eerlijkheid, maar kan het proces ook minder open en verantwoordelijk maken.

De ondoorzichtigheid kan ook discussies onderdrukken, vooroordelen beschermen en de kwaliteit van de beoordelingen verminderen.

Peer review kan traag zijn

De laatste uitdaging is de snelheid van peer review.

Wanneer een onderzoeker een paper indient bij een tijdschrift en de aanvankelijke afwijzing voorbij is, kan het zijn dat hij lang moet wachten op beoordeling en uiteindelijke publicatie. Het is niet ongebruikelijk dat onderzoek een jaar of langer na indiening wordt gepubliceerd.

Deze vertraging is slecht voor iedereen. Voor beleidsmakers, leiders en het publiek betekent dit dat ze beslissingen kunnen nemen op basis van achterhaald wetenschappelijk bewijs. Voor wetenschappers kunnen vertragingen hun carrière vertragen terwijl ze wachten op de publicaties die ze nodig hebben om promoties of een vaste aanstelling te krijgen.

Geleerden suggereren dat de vertragingen meestal worden veroorzaakt door een tekort aan recensenten. Veel academici melden dat een uitdagende werkdruk hen kan ontmoedigen om deel te nemen aan peer review, en dit is erger geworden sinds het begin van de COVID-19-pandemie.

Het is ook gebleken dat veel tijdschriften sterk afhankelijk zijn van Amerikaanse en Europese recensenten, waardoor de omvang en diversiteit van de pool van recensenten wordt beperkt.

Kunnen we peer review oplossen?

Dus, wat kan er gedaan worden? De meeste constructieve suggesties uit het grote Twitter-gesprek dat eerder werd genoemd, vielen in drie categorieën.

Ten eerste suggereerden velen dat er betere prikkels zouden moeten zijn voor het houden van peer reviews.

Dit kan inhouden dat uitgevers recensenten betalen (de tijdschriften van de American Economic Association doen dit al) of wat winst geven aan onderzoeksafdelingen. Tijdschriften kunnen recensenten ook gratis abonnementen, vouchers voor publicatiekosten of versnelde recensies aanbieden.

We moeten echter erkennen dat tijdschriften die incentives aanbieden nieuwe problemen kunnen veroorzaken.

Een andere suggestie is dat universiteiten het beter zouden kunnen doen om peer review te erkennen als onderdeel van de academische werklast, en misschien uitstekende bijdragers aan peer review te belonen.

Sommige Twitter-commentatoren voerden aan dat vaste wetenschappers elk jaar een bepaald aantal artikelen zouden moeten beoordelen. Anderen vonden dat er meer moest worden gedaan om non-profittijdschriften te ondersteunen, aangezien uit een recent onderzoek bleek dat alleen al in Australië zo'n 140 tijdschriften tussen 2011 en 2021 niet meer publiceren.

De meeste respondenten waren het erover eens dat belangenverstrengeling moet worden vermeden. Sommige gesuggereerde databases van experts zouden het gemakkelijker maken om relevante reviewers te vinden.

Gebruik meer inclusieve wervingsstrategieën voor peer review

Veel respondenten suggereerden ook dat tijdschriften de manier waarop ze recensenten werven en welk werk ze distribueren, kunnen verbeteren. Deskundige reviewers zouden kunnen worden geselecteerd op basis van methode- of inhoudelijke expertise, en gevraagd om zich op dat element te concentreren in plaats van op beide.

Respondenten voerden ook aan dat tijdschriften meer zouden moeten doen om hun uitnodigingen af ​​te stemmen op de meest relevante experts, met een eenvoudiger proces om het aanbod te accepteren of af te wijzen.

Anderen waren van mening dat meer niet-aangestelde wetenschappers, Ph.D. onderzoekers, mensen die werkzaam zijn in aanverwante bedrijfstakken en gepensioneerde deskundigen moeten worden aangeworven. Meer peer review training voor afgestudeerde studenten en een grotere vertegenwoordiging van vrouwen en ondervertegenwoordigde minderheden zou een goed begin zijn.

Heroverweeg dubbelblinde peer review

Sommige respondenten wezen op een groeiende beweging naar meer open peer review-processen, wat kan leiden tot een meer menselijke en transparante benadering van reviewen. Bijvoorbeeld Royal Society Open Science publiceert alle beslissingen, beoordelingsbrieven en vrijwillige identificatie van peer reviewers.

Een andere suggestie om het publicatieproces te versnellen was om meer prioriteit te geven aan tijdgevoelig onderzoek.

Wat kan er gedaan worden?

De algemene boodschap van de enorme respons op een enkele tweet is dat er behoefte is aan systemische veranderingen binnen het peer review-proces.

Er is geen gebrek aan ideeën om het proces te verbeteren ten behoeve van wetenschappers en het bredere publiek. Het is echter aan tijdschriften, uitgevers en universiteiten om ze in de praktijk te brengen en een meer verantwoord, eerlijk en inclusief systeem te creëren. + Verder verkennen

Rapport onthult aanhoudende wereldwijde onevenwichtigheid in de distributie van peer review

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.