Onderzoekers zijn gewend om beoordeeld te worden op basis van indices zoals de impactfactoren van de wetenschappelijke tijdschriften waarin ze papers publiceren en hun aantal citaties. Een team van 14 natuurwetenschappers uit negen landen komt nu in opstand tegen deze praktijk, met het argument dat obsessief gebruik van indices de kwaliteit van de wetenschap schaadt.

"Onze boodschap is heel duidelijk:academici moeten zich niet te veel zorgen maken over indices. we zouden meer moeten werken aan de beurs en de kwaliteit van het onderzoek, ", zegt professor Colin Chapman van de afdeling Antropologie van de George Washington University in Washington.

"Het overdreven vertrouwen op indices leidt de aandacht af van de kwaliteit van de wetenschap. Het systeem werkt prima voor ervaren onderzoekers zoals Colin Chapman en ikzelf, maar jongere onderzoekers en hun carrières lijden onder de manier waarop indices tegenwoordig worden gebruikt, ", voegt professor Nils Chr. Stenseth van de Universiteit van Oslo toe.

Indices meten geen kwaliteit

Chapman en Stenseth zijn twee van de auteurs achter een opvallend artikel in het wetenschappelijke tijdschrift Proceedings van de Royal Society B , over de "games die academici spelen" en de gevolgen voor de toekomst van de academische wereld. Een van de problemen met indices is dat mensen er spelletjes mee kunnen spelen om hun scores te verbeteren, volgens de nieuwe krant.

De basis voor de rebellie is dat onderzoek een zeer competitief beroep is waar evaluatie een centrale rol speelt. Wanneer een team van onderzoekers - onderzoekers werken tegenwoordig meestal niet alleen - een nieuwe ontdekking heeft gedaan, zij schrijven een uitgebreid wetenschappelijk artikel over de methode en de resultaten. De volgende stap is om het artikel naar een wetenschappelijk tijdschrift te sturen, die het papier kan accepteren of weigeren.

De redactie van het tijdschrift stuurt het artikel meestal naar een kleine groep onafhankelijke wetenschappelijke experts. Op basis van hun beoordelingen, de redactie beslist of het artikel wordt geaccepteerd of afgewezen. De recensenten en de redacteuren kunnen ook herzieningen voorstellen voordat de paper wordt geaccepteerd.

Wanneer het wetenschappelijke artikel eindelijk wordt gepubliceerd, andere onderzoekers in verwante gebieden kunnen het artikel in hun eigen werk gaan citeren. Een hoog aantal citaties wordt vaak gezien als een maatstaf voor wetenschappelijke kwaliteit.

Het proces is niet alleen goed

Van buiten gezien, dit proces lijkt prima. Maar gedurende de laatste 10 of 15 jaar, het proces is begonnen te ontrafelen. De kwaliteit van de wetenschap is minder belangrijk geworden, volgens Chapman, stenseth, en hun co-auteurs. In plaats daarvan, de algemene aandacht is te veel gericht op een kleine set eenvoudig te meten indices:impactfactoren en individuele h-indexen, naast het aantal citaten.

Er zijn veel wetenschappelijke tijdschriften, en een handvol van hen is zo prestigieus dat hun namen bekend zijn bij het grote publiek. de tijdschriften Natuur , Wetenschap , en De Lancet behoren tot de meest bekende. Als een jonge wetenschapper in de natuur- of medische wetenschappen een paper kan publiceren in een van deze tijdschriften, zijn of haar carrière kan een enorme boost krijgen.

De meest prestigieuze tijdschriften hebben ook hoge impactfactoren, die worden gedefinieerd als het gemiddelde aantal citaties per paper dat in de afgelopen twee jaar is gepubliceerd. De h-index van een individuele onderzoeker houdt rekening met de best geciteerde artikelen van de onderzoeker en het aantal citaten dat ze hebben ontvangen.

“Scores voor deze indices hebben grote gevolgen. in sommige landen en disciplines, publicatie in tijdschriften met impactfactoren lager dan 5,0 wordt officieel als waardeloos beschouwd, " volgens de Proceedings van de Royal Society papier. De auteurs wijzen er ook op dat het niet ongebruikelijk is om te horen dat alleen de artikelen tellen in tijdschriften met een impactfactor die boven een willekeurige waarde ligt. Of erger, dat publiceren in lagere tijdschriften cv's verzwakt.

Zelfs een fout kan citaten opleveren

Een algemeen probleem is dat de indices zodanig kunnen worden gemanipuleerd dat ze bijna waardeloos zijn als maatstaf voor wetenschappelijke prestaties of kwaliteit. Professor Stenseth zat zo'n 10 jaar geleden in een evaluatiecommissie voor de European Research Council, en hij is nog steeds verbaasd over de ervaring.

"We bespraken het gebruik van indices en splitsten ons al snel op in twee groepen. je moest veel handmatig werk doen om het aantal citaties te berekenen. Degenen onder ons die het aantal citaten niet erg belangrijk vonden en in plaats daarvan de eigenlijke artikelen lazen, ’, vertelt professor Stenseth.

Dat werd een keerpunt voor Stenseth, omdat de citatie-sceptische onderzoekers al snel ontdekten dat enkele van de meest geciteerde artikelen commentaren waren. Een commentaar bevat in de regel geen nieuwe ontdekkingen, natuurlijk.

"Maar het ergste was dat we ontdekten dat sommige kranten veel werden geciteerd omdat er een fout in zat! Veel kranten identificeerden de fout in de krant, maar het was nog steeds vermeld als een citaat! Dat is een van de redenen waarom ik volhoud dat een groot aantal citaten geen bewijs is van uitstekende wetenschappelijke kwaliteit, ", voegt Stenseth eraan toe.

Professor Chapman in Washington, praten met professor Stenseth in Oslo via Skype, bevestigt dat hij soortgelijke ervaringen heeft gehad.

"Dit is de manier waarop het systeem werkt. Zulke observaties lijken misschien bijna grappig, maar ze zijn ook verschrikkelijk. En droevig, ' merkt Chapman op.

Indexen als surrogaatmaten

De auteurs van de nieuwe Proceedings van de Royal Society papier staan ​​niet alleen in hun kritiek. De San Francisco Declaration on Research Assessment (DORA) is ontstaan ​​op een bijeenkomst van de American Society for Cell Biology in 2012, en beveelt aan dat de impactfactoren van tijdschriften niet worden gebruikt als een surrogaatmaatstaf voor een individueel onderzoeksartikel, om de bijdrage van een individuele wetenschapper te beoordelen, noch bij het inhuren, promotie- of financieringsbeslissingen. zo'n 15, 000 individuen en 1, 550 organisaties wereldwijd hebben deze petitie ondertekend, maar de verandering moet nog komen.

"Hoewel er een uitgebreide hoeveelheid literatuur is die deze indices en hun gebruik bekritiseert, ze worden nog steeds veel gebruikt op belangrijke en carrièrebepalende manieren. Dit moet stoppen, ' zegt Colin Chapman.

Wetenschap staat voorop

Colin Chapman en Nils Chr. Stenseth benadrukt dat wetenschap en wetenschap voorop staan ​​in een moderne samenleving.

"Daarom zijn we in dit vak gestapt; om nieuwe dingen te ontdekken. Maar wat er in plaats daarvan gebeurt, is dat we steeds verpletterd worden door het systeem. Het systeem zegt dat we ons niets moeten aantrekken van het verbeteren van onze wetenschap, in plaats daarvan zouden we ons moeten bekommeren om het verhogen van onze indexen. Dat is geen stimulans voor het creëren van excellente wetenschap, ’ dringt Chapman aan.

De paper bevat een lijst van de mogelijke games die academici kunnen spelen - en mogelijk moeten spelen - om hun indices te verbeteren.

"Een van de meest voorkomende spellen is om een ​​paper te schrijven met een lange lijst van auteurs, als een soort gunst. Het idee is dat je op mijn papier kunt staan, zelfs als je niet echt een bijdrage hebt geleverd, dus misschien kan ik de volgende keer op je papier staan. Je krabt mijn rug, en ik zal de jouwe krabben, ' legt Chapman uit.

Een ander spel is dat onderzoekers kunnen overeenkomen om elkaar te citeren:"I can cite your paper if you cite mine." Uitgevers hebben zelfs 'citatiekartels' georganiseerd, waarbij auteurs wordt aangeraden om artikelen uit andere tijdschriften in het kartel te citeren.

"Ik heb een paar jaar geleden een paper naar een tijdschrift voor toegepaste ecologie gestuurd. Het papier werd geaccepteerd, en de redacteur vertelde ons dat we nog vier of vijf kranten moesten citeren, allemaal uit dat tijdschrift. Dat verhoogt natuurlijk de impactfactor van de tijdschriften, omdat het de citaties van artikelen in dat tijdschrift verhoogt. Dit is het geval geweest voor veel tijdschriften en wordt nu als een slechte praktijk beschouwd, ’ legt Stenseth uit.

Colin Chapman en Nils Chr. Stenseth heeft nogal wat ondersteunende reacties gekregen op hun paper.

"Een van mijn collega's schreef een blog, ons bekritiseren omdat we iets hebben geschreven dat jonge wetenschappers zou kunnen ontmoedigen. Maar wat we echt probeerden te doen, was om jonge onderzoekers bewust te maken van het feit dat dit een gebrekkig systeem is dat moet worden hersteld, ’ stelt Chapman tegen.

"Mijn mening is dat indices, en de manier waarop ze worden gebruikt, de aandacht afleiden van de wetenschap. Op sommige kleine velden die noodzakelijkerwijs een zeer lage index zal hebben, het is bijna onmogelijk om zeer hoge citaties te krijgen, zelfs als het onderzoek uitstekend en belangrijk is, ' zegt Stenseth.

"In plaats daarvan, de aandacht gaat over waar je paper is gepubliceerd, hoeveel citaten het heeft gegenereerd, en de impactfactor van het tijdschrift, " hij voegt toe.

De auteurs hebben ook suggesties over hoe we het systeem kunnen verbeteren.

"Het korte antwoord is dat academici moeten stoppen met het kijken naar indices en terug moeten gaan naar het lezen van de kranten, zegt Chapman. Maar academici kunnen dat niet alleen, als onderzoeksraden en andere financiers de indices blijven gebruiken als basis voor beslissingen over financiering. Een eenvoudige manier om het systeem te verbeteren is dat onderzoeksraden onderzoekers niet moeten vragen naar het aantal citaties wanneer ze een onderzoeksvoorstel indienen.

"We zouden graag veranderingen zien in de stimuleringssystemen, kwaliteitsonderzoek belonen en transparantie garanderen. Senior faculteit moet de ethische normen vaststellen, mentorpraktijken en institutionele evaluatiecriteria om de nodige veranderingen te creëren, " Chapman en Stenseth staan ​​er allebei op.

"We hopen een discussie op gang te brengen die de toekomst van de academische wereld vorm zal geven en in een positievere richting zal brengen. Wetenschappers vertegenwoordigen enkele van de meest creatieve geesten die kunnen voorzien in maatschappelijke behoeften. Het is nu tijd om de toekomst te smeden die we willen, " concluderen de 14 onderzoekers die het artikel in de Proceedings van de Royal Society .