Toen Einstein het peer-reviewproces ontdekte...

In 1935, een te snelle berekening bracht Einstein ertoe te geloven dat zwaartekrachtgolven niet konden bestaan ​​in het kader van de algemene relativiteitstheorie (deze golven, alleen in 2016 waargenomen, zijn eigenlijk een hoeksteen van zijn werk). Het verhaal van zijn eerste publicatie is rijker dan de subtiele fout erachter...

Voor de eerste keer, Einstein – die zijn manuscript naar de prestigieuze . had gestuurd Fysieke beoordeling – geconfronteerd met het anonieme peer-reviewsysteem. De scherpzinnige recensent, wiens identiteit pas in 2005 werd onthuld, wees op een fout. Einstein was het sterk oneens met het idee dat een redacteur zijn werk zonder zijn toestemming zou kunnen beoordelen. Vervolgens stuurde hij zijn manuscript naar een andere recensie, die besloot het te publiceren. Maar toen de tijd kwam om de bewijzen van het manuscript te controleren, Einstein heeft zijn artikel volledig herzien. Dit verhaal, zowel voorbeeldig als uitzonderlijk, illustreert de complexe relatie tussen de wetenschappers en de publicaties.

Het dagelijks leven van expertise in wetenschappelijke publicaties

De Duitse tijdschriften waarin Einstein publiceerde, hadden een laag afwijzingspercentage van ingediend materiaal, en stonden in plaats daarvan open voor controverses en wetenschappelijke debatten. Hoe dan ook, de enorme groei van de wetenschappelijke activiteit dwong alle wetenschappelijke tijdschriften om het voorbeeld te volgen van Fysieke beoordeling , met een of twee (soms zelfs drie) anonieme reviewers.

In plaats van de redacteur, wie verantwoordelijk is voor de selectie van de publicaties, de recensenten zijn degenen die beoordelen of het werk valide is en de (vrij subjectieve) erkenning verdient die aan publicatie in een bepaalde recensie wordt gehecht. Verdere kritiek blijft mogelijk:commentaren op papers kunnen na goedkeuring worden gepubliceerd door een beoordelingsproces, eventueel gevolgd door een auteursantwoord.

Zodra wetenschappers door de redacteur zijn benaderd als mogelijke recensenten, ze hebben maar een korte tijd om te accepteren. Ze hebben enkele weken – soms zelfs minder – om geïnformeerde adviezen te geven over de geschiktheid van het manuscript. Dit onbetaalde werk blijft anoniem (op enkele uitzonderingen na).

Uit eigen ervaring, de benodigde tijd kan variëren van een uur tot drie dagen. Het nobele en opwindende deel van recensie is dat het proces van kritisch lezen en antwoorden van de auteur soms een soort "coproductie" creëert voor de inhoud die uiteindelijk in het tijdschrift verschijnt:de recensent helpt vaak de leesbaarheid en presentatie van het artikel te verbeteren, en soms suggereert de recensent bredere openingen die niet door de auteurs worden genoemd. De beoordelaar kan ook kleine of zelfs ernstige fouten ontdekken, hoewel ze over het algemeen niet kritisch zijn voor de conclusie van het werk, die dus vrij is van fouten wanneer ze uiteindelijk worden gepubliceerd.

Goede recensenten vinden:het moeilijke van het werk van een redacteur

Het vinden van beschikbare recensenten is een moeilijke taak voor tijdschriftredacteuren. Specialisten met zowel de benodigde expertise als een voldoende grote kijk op het vakgebied zijn zeldzaam. Het zijn drukke mensen, en geven er vaak de voorkeur aan om manuscripten te herzien wanneer ze nieuwe ideeën introduceren in plaats van de juistheid van een louter incrementele paper te evalueren. Wetenschappers in het begin van hun loopbaan zijn vaak meer open, omdat ze kunnen genieten van deelname aan het peer-reviewingproces, die de kern vormt van het academische systeem waar ze lid van willen worden.

Een probleem is de groei van het aantal ingeleverde manuscripten, die op hun beurt steeds meer recensenten nodig hebben. Editor kan niet echt weten - noch wetenschappelijk noch voor de kwaliteit van hun ethiek - alle recensenten die hij in zijn pool heeft, en dit kan leiden tot een aantal vooroordelen.

Auteurs worden vaak aangemoedigd of zelfs gevraagd om mogelijke recensenten voor hun papers voor te stellen. Voor een goed tijdschrift dit kan een manier zijn om het subdomein van het manuscript nauwkeurig te identificeren en zal het gemakkelijker maken om erkende experts te vinden. Het is duidelijk goed als de oorspronkelijke recensent weigert een rapport in te dienen omdat hij of zij niet dicht genoeg bij het onderzoeksveld staat, maar kan nog steeds een of meer experts identificeren die de redacteur niet zou hebben kunnen identificeren. Met tijdschriften van mindere kwaliteit, de redacteur kan besluiten lui de suggesties van de auteurs op te volgen, met het risico gericht te zijn op vrienden of op mensen uit dezelfde kleine gemeenschap die het belang van hun eigen vakgebied proberen te overdrijven. Nog erger, de voorgestelde reviewers kunnen soms de auteurs zelf zijn, verborgen achter een elektronische alias met de naam van een vermeende specialist.

Het anonieme arbitrageproces kan ook andere nadelen hebben. Meer dan een paar onderzoekers kennen iemand wiens paper werd afgewezen, maar wiens idee op wonderbaarlijke wijze terugkeert onder de naam van een collega die werd voorgesteld als recensent. Het probleem is verminderd door de ontwikkeling van sites die preprints publiceren. De praktijk van "anonieme" recensenten die vragen om een ​​verwijzing naar hun eigen werken is relatief gebruikelijk, maar vaak transparant.

Erkende tijdschriften, roofzuchtige, en andere slechte praktijken

De druk om te publiceren - de beroemde "publish or perish" - en de rol van het toeval in elke expertise betekent dat elk redelijk manuscript dat vrij is van grove fouten uiteindelijk zal worden gepubliceerd, zelfs na afwijzing door een of meer tijdschriften. In plaats van abnormaal te zijn, dit verklaart hoe een hiërarchie van tijdschriften tot stand kan komen. Omdat online publicaties echt goedkoop zijn in vergelijking met gedrukte, Er verschijnen nu "roofzuchtige" tijdschriften die beweren "peer-reviewed" te zijn. Dergelijke publicaties, gemakkelijk te herkennen door echte wetenschappers, tegen betaling elk werk publiceren dat beweert voor een wetenschappelijk publiek te zijn, en een vaag "scheidsrechterrapport" verstrekken.

Deze bedrieglijke praktijken duiken op omdat er op wereldniveau een aanzienlijke groei van het hoger onderwijs is. In de meeste gevallen, de kosten voor het publiceren in dergelijke predatory reviews worden doorberekend aan de universiteit zelf, en voor docenten van perifere instellingen, publiceren kan winstgevend zijn in termen van erkenning en loopbaanontwikkeling. Soortgelijke praktijken in het scheidsrechtersproces komen ook incidenteel voor in de geesteswetenschappen en sociale wetenschappen, waar onzinteksten die lijken op academisch werk, soms computergegenereerd, kan het "scheidsrechtersproces" doorstaan.

Enkele paden voor verbetering

"Peer-reviewing" is essentieel voor de vooruitgang van de wetenschap. Echter, het niveau van publicaties met reviewers wordt beïnvloed door de ontwikkeling van online publicaties en het groeiend aantal papers. Sommige paden zijn het overwegen waard om het systeem te verbeteren:

• Beoordelaarsrapporten kunnen online beschikbaar worden gesteld, lezers helpen de context van het werk en de publicatie ervan te begrijpen, zoals elke criticus van een werk, zowel in de kunst als in de wetenschap. Een dergelijke praktijk wordt nu getest door enkele tijdschriften. Het is ook een manier om de kwaliteit van een tijdschrift vast te stellen door de mogelijkheid om geschikte en scherpe referenten te selecteren.
• Sommige beoordelingen op hoog niveau hebben een tijdelijke elektronische storting overwogen, openstaan ​​voor opmerkingen van onderzoekers in het betreffende vakgebied, alvorens te beslissen over de validatie als publicatie. Dit zou alleen beschikbaar zijn voor vrijwillige lezers, en wanneer de commentaren gunstig zijn. Waarschijnlijk, zo'n systeem zou alleen werken voor topkranten die waarschijnlijk bekende specialisten als lezers zullen aantrekken.
• Vereisen dat inzendingen en de commentaren die ze ontvangen van tijdschrift tot tijdschrift worden gevolgd, zou de publicatie van werk van lagere kwaliteit beperken. Momenteel, een manuscript dat door de ene recensie is afgewezen, wordt vrij van kritiek verzonden wanneer het wordt ingediend bij een andere, behalve wanneer de twee zich binnen dezelfde redactiegroep bevinden. Aantonen dat je een stuk onderzoek hebt verbeterd als reactie op kritiek, is geen erkenning van mislukking, maar natuurlijk en prijzenswaardig.

Als auteur, Ik zou meer vertrouwen hebben in het ontvangen van een eerlijke beoordeling van een tijdschrift voor een manuscript als ik kon laten zien hoe het werd verbeterd door de opmerkingen die tijdens een eerdere indiening werden ontvangen. momenteel, Ik heb het gevoel dat ik inbreuk zou maken op de intellectuele eigendom van het eerste tijdschrift en zijn referenten, en onthoud u daarom van het bijvoegen van dergelijk materiaal.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees het originele artikel.