De woorden "gepubliceerd in een peer-reviewed tijdschrift" worden soms beschouwd als de gouden standaard in de wetenschap. Maar elke professionele wetenschapper zal je vertellen dat het feit dat een artikel peer review heeft ondergaan, nog lang niet een ijzersterke kwaliteitsgarantie is.

Om te weten welke wetenschap je moet Echt vertrouwen dat je de subtiele indicatoren die wetenschappers in overweging nemen, moet afwegen.

Tijdschrift reputatie

De status van het tijdschrift waarin een paper wordt gepubliceerd, staat voorop.

Voor elk wetenschappelijk gebied brede tijdschriften (zoals Nature, Wetenschap en Proceedings van de National Academy of Science ) en nog veel meer gespecialiseerde tijdschriften (zoals de Tijdschrift voor biologische chemie ) zijn beschikbaar. Maar het is belangrijk om te erkennen dat er hiërarchieën bestaan.

Sommige tijdschriften worden als meer prestigieus beschouwd, of eerlijk gezegd, beter dan anderen. De "impactfactor" (die weergeeft hoeveel citaties artikelen in het tijdschrift aantrekken) is een simpele, indien controversiële maatregel, over het belang van een tijdschrift.

In de praktijk heeft iedere onderzoeker een mentale lijst van de meest relevante tijdschriften in haar of zijn hoofd. Bij het kiezen waar te publiceren, elke wetenschapper maakt zijn eigen oordeel over hoe interessant en hoe betrouwbaar hun nieuwe resultaten zijn.

Als auteurs te hoog mikken met hun doeltijdschrift, dan zal de redacteur het artikel waarschijnlijk meteen afwijzen op basis van "interesse" (nog voordat we de wetenschappelijke kwaliteit in overweging nemen).

Als een auteur te laag mikt, dan zouden ze zichzelf tekort kunnen doen - dit zou een gemiste kans kunnen zijn voor een trofee-paper in een toptijdschrift dat iedereen als belangrijk zou herkennen (al was het maar vanwege waar het werd gepubliceerd).

Onderzoekers vertellen hun paper soms in een begeleidende brief aan de redacteur, en streven naar een tijdschrift dat één rang hoger ligt dan waar ze verwachten dat het manuscript uiteindelijk terecht zal komen. Als hun papier wordt geaccepteerd, zijn ze tevreden. Als niet, ze opnieuw indienen bij een lager gerangschikte, of in het standaard eufemisme, een "meer gespecialiseerd tijdschrift". Dit kost tijd en moeite, maar is de realiteit van het leven in de wetenschap.

Noch redacteuren, noch auteurs houden ervan om dingen verkeerd te doen. Ze wegen de druk om een ​​verhaal met een grote kop te breken af ​​tegen de angst om een ​​fout te maken. Een fout in deze context betekent het publiceren van een resultaat dat snel verwikkeld raakt in controverse.

Om zich daartegen te beschermen, drie of vier peer reviewers (ervaren experts in het veld) worden door de redacteur aangesteld om te helpen.

Het peer review proces

Bij het indienen van een paper, de auteurs kunnen recensenten aanbevelen waarvan zij denken dat ze voldoende gekwalificeerd zijn. Maar de redacteur zal de uiteindelijke keuze maken, gebaseerd op hun kennis van het vakgebied en ook op hoe goed en hoe snel reviewers op de taak reageren.

De identiteit van peer reviewers wordt meestal geheim gehouden, zodat ze vrijuit kunnen reageren (maar soms betekent dit dat ze behoorlijk hard zijn). De peer reviewers herhalen het werk van de redacteur, en adviseren of het artikel van voldoende belang is voor het tijdschrift. belangrijk, ze zullen ook de robuustheid van de wetenschap evalueren en of de conclusies worden ondersteund door het bewijsmateriaal.

Dit is de cruciale "peer review"-stap. In praktijk, Hoewel, het niveau van controle blijft verbonden met de status van het tijdschrift. Als het werk in aanmerking komt voor een toptijdschrift, de controle zal intens zijn. De toptijdschriften accepteren zelden artikelen tenzij ze ze niet alleen interessant maar ook waterdicht en kogelvrij vinden - dat wil zeggen dat ze geloven dat het resultaat iets is dat de tand des tijds zal doorstaan.

Indien, anderzijds, het werk komt in een weinig gelezen tijdschrift met een lage impactfactor, dan zullen recensenten soms meer vergevingsgezind zijn. Ze zullen nog steeds wetenschappelijke nauwkeurigheid verwachten, maar zullen waarschijnlijk sommige gegevens als niet-overtuigend accepteren, op voorwaarde dat de onderzoekers wijzen op de beperkingen van hun werk.

Wetende dat dit is hoe het proces gaat, telkens wanneer een onderzoeker een paper leest, maken ze een mentale notitie van waar het werk is gepubliceerd.

Tijdschrift impactfactor

De meeste tijdschriften zijn betrouwbaar. Maar onderaan de lijst qua impact staan ​​twee soorten tijdschriften:

1. respectabele tijdschriften die door vakgenoten beoordeelde resultaten publiceren die solide maar van beperkt belang zijn - omdat ze doodlopende wegen of zeer gespecialiseerde lokale onderwerpen kunnen vertegenwoordigen
2. zogenaamde "roofzuchtige" tijdschriften, die meer sinister zijn - in deze tijdschriften is het peer review-proces oppervlakkig of niet-bestaand, en redacteuren brengen in wezen auteurs in rekening voor het voorrecht om te publiceren.

Professionele wetenschappers zullen onderscheid maken tussen de twee, mede op basis van de uitgeverij, en zelfs de naam van het tijdschrift.

De Openbare Bibliotheek van Wetenschap (PLOS) is een gerenommeerde uitgeverij, en biedt PLOS ONE voor gedegen wetenschap – al is het maar voor een beperkt publiek.

Springer Nature heeft een soortgelijk tijdschrift gelanceerd genaamd Wetenschappelijke rapporten . Andere tijdschriften van goede kwaliteit met lagere impactfactoren zijn tijdschriften van gespecialiseerde academische verenigingen in landen met een kleinere populatie - ze zullen nooit een groot publiek bereiken, maar het werk kan ijzersterk zijn.

Rooftijdschriften daarentegen zijn vaak breed van opzet, gepubliceerd door online uitgevers die veel titels beheren, en soms het woord "internationaal" in de titel. Ze proberen grote aantallen papieren te oogsten om de winst te maximaliseren. Dus namen als de Internationaal tijdschrift voor wetenschap voorzichtig moet worden behandeld, terwijl de Tijdschrift van de Australian Bee Society kan heel goed betrouwbaar zijn (let op, Ik heb deze namen bedacht om het punt te illustreren).

De waarde van een tijdschrift versus een enkel papier

Impactfactoren zijn controversieel geworden omdat ze te veel zijn gebruikt als een maatstaf voor de kwaliteit van losse papieren. Echter, strikt toegepast weerspiegelen ze alleen de interesse die een tijdschrift wekt, en kan afhankelijk zijn van een paar "jackpot"-papieren die "viraal gaan" in termen van het verzamelen van citaten.

Aanvullend, terwijl artikelen in tijdschriften met een hogere impact mogelijk meer onderzoek hebben ondergaan, er komt meer druk op de redacteuren en op de auteurs van deze toptijdschriften. Dit betekent dat snelkoppelingen vaker kunnen worden genomen, de laatste, cruciale controle-experiment mag nooit worden gedaan, en de tijdschriften zijn uiteindelijk minder betrouwbaar dan hun reputatie doet vermoeden. Deze ontkoppeling genereert soms sniping over hoe bepaalde tijdschriften niet zo goed zijn als ze beweren te zijn - wat eigenlijk iedereen scherp houdt.

Hoewel alle controverses rond impactfactoren reëel zijn, elke onderzoeker kent ze en denkt erover na of andere rankingsystemen voor tijdschriften (SNP – Source Normalized Impact per Paper, SJR - wetenschappelijke tijdschriftenranglijst, en anderen) wanneer ze kiezen in welk tijdschrift ze willen publiceren, welke kranten te lezen, en welke papieren te vertrouwen.

Niets is perfect

Zelfs als alles goed is gedaan, peer review is niet onfeilbaar. Als auteurs hun gegevens heel slim vervalsen, bijvoorbeeld, dan kan het moeilijk te detecteren zijn.

Het opzettelijk vervalsen van gegevens is, echter, relatief zeldzaam. Niet omdat wetenschappers heiligen zijn, maar omdat het dwaas is om gegevens te vervalsen. Als de resultaten belangrijk zijn, anderen zullen snel proberen ze te reproduceren en erop voort te bouwen. Als een nepresultaat in een toptijdschrift wordt gepubliceerd, is het vrijwel zeker dat het ontdekt wordt. Dit komt wel eens voor, en het is altijd een schandaal.

Fouten en slordigheid komen veel vaker voor. Dit kan te maken hebben met de toenemende urgentie, druk om te publiceren en de prevalentie van grote teams waar niemand alle wetenschap kan begrijpen. Opnieuw, echter, alleen onbeduidende fouten zullen overleven - de belangrijkste fouten zullen snel worden opgepikt.

Kun je het gebouw vertrouwen dat moderne wetenschap is?

Gebruikelijk, men kan een idee krijgen van hoe waarschijnlijk het is dat een stuk peer-reviewed wetenschap solide is. Dit komt door te vertrouwen op de combinatie van de trots en de reputatie van de auteurs, en van de tijdschriftredactie, en van de peerreviewers.

Dus ik vertrouw de combinatie van peer review-systeem en het inherente feit dat wetenschap is gebouwd op eerdere fundamenten. Als die wankel zijn, de scheuren zullen snel verschijnen en dingen zullen recht worden gezet.

Ik word ook gesterkt door nieuwe kansen voor nog betere en snellere systemen die ontstaan ​​als gevolg van de vooruitgang in de informatietechnologie. Deze omvatten modellen voor peer review na publicatie (in plaats van pre-publicatie). Misschien creëert dit een manier om discussies te formaliseren die anders op Twitter zouden plaatsvinden, en dat kan twijfels doen rijzen over de geldigheid van gepubliceerde resultaten.

Het tijdschrift eLife zet peer review op zijn kop. Het biedt aan om alles te publiceren wat het van voldoende belang acht, en vervolgens auteurs te laten kiezen om al dan niet antwoord te geven op punten die in peer review naar voren worden gebracht na acceptatie van het manuscript. Auteurs kunnen er zelfs voor kiezen om niet verder te gaan als ze denken dat de punten van de peer-reviewers het werk als gebrekkig aan het licht brengen.

ELife heeft ook een systeem waar reviewers samenkomen en een enkele gemodereerde review geven, waaraan hun naam wordt toegevoegd en die wordt gepubliceerd. Dit voorkomt dat het probleem van anonimiteit een te harde behandeling mogelijk maakt.

Globaal genomen, we moeten er zeker van zijn dat belangrijke wetenschap solide is (en perifere wetenschap niet gevalideerd) vanwege peer review, transparantie, controle en reproductie van resultaten in wetenschappelijke publicaties. Niettemin is het waarschijnlijk dat op sommige gebieden waar reproductie zeldzaam of onmogelijk is - langetermijnstudies die afhankelijk zijn van complexe statistische gegevens - het wetenschappelijk debat zal voortduren.

Maar ook op deze gebieden de eindeloze controle door andere onderzoekers, samen met de trots bewaakte reputatie van auteurs en tijdschriften, betekent dat zelfs als het nooit perfect zal zijn, de wetenschappelijke methode blijft betrouwbaarder dan alle andere.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees het originele artikel.