Ben Merriman heeft als auteur alle kanten van academisch publiceren ervaren, tijdschriftredacteur en recensent. die ervaring, gekoppeld aan zijn onderzoek naar de rol van bestuurlijke structuren bij het oplossen van beleidsconflicten, leidde de University of Kansas assistent-professor public affairs &administratie om de geschiedenis van peer review in sociale wetenschappen te onderzoeken in een studie voor De Amerikaanse socioloog. Merriman's studie onderzoekt de historische opkomst van belangrijke elementen van redactionele peer review, zijn inherente problemen en frustraties, en hoe een meer veelzijdig publicatiemodel veel van die problemen zou kunnen aanpakken.

In zijn studeerkamer Merriman analyseerde geschreven jaarverslagen van de redacteuren van tijdschriften van de American Sociological Association, die in 1952 begon. Die rapporten beschrijven de inspanningen die zijn geleverd om het publicatieproces te beheren en hoe deze ertoe hebben geleid dat een groot deel van het huidige peer-reviewmodel begin jaren '80 werd geïmplementeerd. Het proces van blinde beoordeling, externe beoordeling, exclusieve inzending voor één tijdschrift, herzien en opnieuw in te dienen, werden allemaal goedgekeurd over een periode van 30 jaar van geleidelijke, meestal ongeplande verandering gedocumenteerd in de jaarlijkse redactionele rapporten. redacteuren van tijdschriften, die oorspronkelijk de inhoud en werking van hun publicaties leidden, hulp gezocht bij het beoordelen van grote hoeveelheden werk en kwam uiteindelijk uit op een heel andere baan.

"De rol van redacteur lijkt te zijn geëvolueerd naar het leiden van recensenten, in tegenstelling tot het toezicht houden op de inhoud, "Zei Merriman. "Er zijn verschillende gangbare manieren om het probleem van de te publiceren inhoud te beheren. De meest gebruikelijke manier is door de hoeveelheid te beoordelen dingen te beperken."

In de studie, Merriman vergelijkt het academische publicatiemodel met dat van literaire en wetenschappelijke boeken, literaire tijdschriften, verlenen peer review en andere modellen van wetenschappelijke tijdschriftbewerking.

"Vergeleken met deze alternatieven, het succes van redactionele peer review bij het identificeren van uitstekend werk staat open voor discussie, en het is zonder twijfel een bijzonder arbeidsinefficiënte evaluatiemethode, " Hij schreef.

Het beoordelingsproces duurt vaak meer dan een jaar van indiening tot publicatie en vaak langer. Dat kan een probleem zijn voor jonge auteurs die een doctoraat voltooien en hopen op een baan, die kan afhangen van het hebben van een goede publicatie op naam van de kandidaat. Het kan ook een belemmering vormen voor jonge onderzoekers in hun loopbaan waarin publicaties een essentiële prestatie zijn. Pogingen om het proces te versnellen hebben ook geleid tot een toenemend aantal afwijzingen van inzendingen zonder beoordeling, bekend als bureauafwijzingen. Redacteuren kunnen een stuk om welke reden dan ook afwijzen, en het beoordelingsproces kan leiden tot de afwijzing van ideeën die niet aansluiten bij de heersende gedachten in de sociale wetenschappen, soms verstikken onenigheid en debat en maken anderszins goed werk onpubliceerbaar, zei Merriman.

"Ik denk dat er een niet-ideologisch conservatisme is in het beoordelingsproces dat onenigheid ontmoedigt. Ook, het heet peer review, maar de mensen die de recensie doen, zijn vaak langer in het veld dan de auteur en zijn meer ingeburgerd. Er is onderzoek op Nobelniveau geweest dat ook is afgewezen. Ik denk dat onenigheid heel gezond kan zijn voor een veld, " hij zei.

Terwijl Merriman zei dat het proces verschillende andere problemen heeft, inclusief arbeidsinefficiëntie, lange vertragingen bij het publiceren van bevindingen, moeite met het opsporen van fraude en het voorspellen van de impact van werk, Merriman wijst erop dat het ook verschillende voordelen heeft, zoals het waarborgen van de fundamentele degelijkheid van het onderzoek. En in tegenstelling tot andere modellen, moderne peer review maakt het voor bijna iedereen mogelijk om hun werk in overweging te nemen zonder rekening te houden met status of bekendheid.

"Er is sterk bewijs dat blinde beoordeling beschermt, ten minste deels, tegen enkele van de grootste problemen, zoals gendervooroordelen, bijvoorbeeld, "Zei Merriman. "Maar je kunt blindelings beoordelen zonder de uitgebreide, langdurig proces dat we nu hebben. Dit basismodel doet veel dingen heel goed. Het heeft mijn werk zeker verbeterd. Er is iets moreel waar ik het ook mee eens ben. Maar het zou gezond zijn als er meer verschillende beoordelingsmethoden zouden zijn."

Problemen die door het huidige publicatiemodel in de sociale wetenschappen worden gepresenteerd, zouden grotendeels kunnen worden aangepakt door robuustere en gevarieerdere manieren om bevindingen te publiceren, schreef Merriman. Mensen toestaan ​​om te goeder trouw argumenten te maken en bevindingen snel te presenteren zou voordelig zijn, en ontdekte fouten kunnen later worden gecorrigeerd. Aanvullend, toestaan ​​dat auteursversies van artikelen eerder online verschijnen, of gelijktijdig met herziene versies, zorgt ervoor dat meer ideeën op grote schaal kunnen worden gedeeld. Ook pleit hij voor uitbreiding van open access-tijdschriften om kennis te democratiseren, in tegenstelling tot privatisering van onderzoek.

Bovenal, het aannemen van meer redactionele benaderingen in academische publicaties in de sociale wetenschappen zou veel van de huidige problemen kunnen aanpakken, met behoud van wat het proces goed doet, zei Merriman. Hoewel dubbelblinde peer review gerechtvaardigd is als een methode om kennis te produceren, begrijpen dat het een recente ontwikkeling is en niet een eeuwenoude gouden standaard, kan helpen nieuwe ideeën voor het delen van wetenschap aan het licht te brengen.

"Ik denk dat het gemakkelijk is om te wennen aan het idee om vaak geëvalueerd te worden zonder na te denken of het echt de beste methode is, of waarom het zo is gekomen, "Zei Merriman. "Weten over de historische ongelukken zou duidelijk kunnen maken dat deze methode niet onvermijdelijk is. Er zijn delen die het waard zijn om te verdedigen, en ik denk dat het op zijn minst zou kunnen helpen om meer redactionele benaderingen te hebben. De academische wereld zit vol slimme mensen waarvan ik zeker weet dat ze uitstekende ideeën hebben om kennis met de wereld te delen."