Eerder dit jaar, De Franse arts en microbioloog Didier Raoult zorgde voor opschudding in de media over zijn controversiële promotie van hydroxychloroquine voor de behandeling van COVID-19. De onderzoeker heeft lang gewezen op zijn groeiende lijst van publicaties en het hoge aantal citaten als een indicatie van zijn bijdrage aan de wetenschap, allemaal samengevat in zijn "h-index."

De controverse over zijn recente onderzoek biedt een kans om de zwakke punten van de h-index te onderzoeken, een metriek die tot doel heeft de productiviteit en impact van een onderzoeker te kwantificeren, gebruikt door veel organisaties om onderzoekers te evalueren voor promoties of financiering van onderzoeksprojecten.

Uitgevonden in 2005 door de Amerikaanse natuurkundige John Hirsch, de Hirsch-index of h-index, is een essentiële referentie voor veel onderzoekers en managers in de academische wereld. Het wordt vooral gepromoot en gebruikt in de biomedische wetenschappen, een gebied waar het enorme aantal publicaties een serieuze kwalitatieve beoordeling van het werk van onderzoekers bijna onmogelijk maakt. Deze vermeende kwaliteitsindicator is een spiegel geworden waarvoor onderzoekers zichzelf bewonderen of spotten met de erbarmelijke h-index van hun collega's en rivalen.

Hoewel experts in bibliometrie - een tak van bibliotheek- en informatiewetenschappen die statistische methoden gebruikt om publicaties te analyseren - al snel hebben gewezen op de twijfelachtige aard van deze samengestelde indicator, de meeste onderzoekers lijken niet altijd te begrijpen dat de eigenschappen ervan het een verre van valide index maken om de kwaliteit of wetenschappelijke impact van publicaties serieus en ethisch te beoordelen.

Promotors van de h-index begaan een elementaire logische fout. Ze beweren dat omdat Nobelprijswinnaars over het algemeen een hoge h-index hebben, de maat is een valide graadmeter voor de individuele kwaliteit van onderzoekers. Echter, als een hoge h-index inderdaad geassocieerd kan worden met een Nobelprijswinnaar, dit bewijst geenszins dat een lage h-index noodzakelijkerwijs geassocieerd is met een onderzoeker met een slechte reputatie.

Inderdaad, een schijnbaar lage h-index kan een hoge wetenschappelijke impact verbergen, tenminste als men accepteert dat de gebruikelijke maateenheid voor wetenschappelijke zichtbaarheid wordt weerspiegeld in het aantal ontvangen citaties.

Grenzen van de h-index

Gedefinieerd als het aantal artikelen N door een auteur die elk minstens N citaten, de h-index wordt beperkt door het totaal aantal gepubliceerde artikelen. Bijvoorbeeld, als een persoon 20 artikelen heeft die elk 100 keer worden geciteerd, haar h-index is 20 - net als iemand die ook 20 artikelen heeft, maar elk citeerde slechts 20 keer. Maar geen serieuze onderzoeker zou zeggen dat de twee gelijk zijn omdat hun h-index hetzelfde is.

Het meest ironische in de geschiedenis van de h-index is dat de uitvinder de bewering wilde weerleggen dat het aantal gepubliceerde artikelen de impact van een onderzoeker vertegenwoordigde. Dus, hij nam het aantal citaten op dat de artikelen ontvingen.

Maar het blijkt dat de h-index van een auteur sterk gecorreleerd is (tot ongeveer 0,9) met zijn totaal aantal publicaties. Met andere woorden, het is het aantal publicaties dat de index meer drijft dan het aantal citaties, een indicator die de beste maatstaf blijft voor de zichtbaarheid van wetenschappelijke publicaties.

Dit is allemaal bekend bij experts in bibliometrie, maar misschien minder voor onderzoekers, managers en journalisten die zich laten imponeren door wetenschappers die met hun h-index paraderen.

Raoult versus Einstein

In een recent onderzoek naar de onderzoeksactiviteiten van Raoult door de Franse krant Mediapart , een onderzoeker die lid was geweest van de evaluatiecommissie van het laboratorium van Raoult zei:"Wat haar opviel was de obsessie van Didier Raoult met zijn publicaties. Een paar minuten voordat de evaluatie van zijn eenheid begon, het eerste wat hij haar op zijn computer liet zien, was zijn h-index." had Raoult ook gezegd Le Point tijdschrift in 2015 dat "het nodig was om het aantal en de impact van de publicaties van onderzoekers te tellen om de kwaliteit van hun werk te beoordelen."

Dus laten we eens kijken naar Raoult's h-index en kijken hoe het zich verhoudt tot, zeggen, die van een onderzoeker die wordt beschouwd als de grootste wetenschapper van de vorige eeuw:Albert Einstein.

In de Web of Science-database, Raoult heeft er 2, 053 artikelen gepubliceerd tussen 1979 en 2018, in totaal 72 ontvangen, 847 citaten. Zijn h-index berekend op basis van deze twee getallen is 120. We weten, echter, dat de waarde van deze index kunstmatig kan worden opgeblazen door zelfcitaties van auteurs - wanneer een auteur zijn eigen eerdere artikelen citeert. Uit de database blijkt dat van de totale citaties die zijn toegeschreven aan de artikelen die mede door Raoult zijn geschreven, 18, 145 komen uit artikelen waarvan hij co-auteur is. Deze zelfcitaties bedragen in totaal 25 procent. Deze aftrekken, De h-index van Raoult zakt 13 procent naar een waarde van 104.

Nutsvoorzieningen, laten we het geval van Einstein eens onderzoeken, die tussen 1901 en 1955 147 artikelen in de Web of Science-database heeft staan, het jaar van zijn overlijden. Voor zijn 147 artikelen Einstein heeft er 1 gekregen 564 citaten tijdens zijn leven. Van dit totaal aantal citaten, slechts 27, of een schamele 1,7 procent, zijn zelfcitaten. Nutsvoorzieningen, als we de citaten toevoegen aan zijn artikelen na zijn dood, Einstein heeft in totaal 28, 404 citaten tussen 1901 en 2019, wat hem een ​​h-index van 56 oplevert.

Als we moeten vertrouwen op de zogenaamde "objectieve" meting van de h-index, dan zijn we genoodzaakt te concluderen dat het werk van Raoult twee keer zoveel wetenschappelijke impact heeft als dat van Einstein, de vader van het foton, beperkte en algemene relativiteiten, de Bose-Einstein-condensatie en van het fenomeen van de gestimuleerde emissie aan de oorsprong van lasers.

Of is het misschien eenvoudiger (en beter) om te concluderen, zoals al gesuggereerd, dat deze indicator nep is?

Er moet worden gewezen op het significante verschil in het totale aantal citaties dat elk van deze onderzoekers tijdens hun loopbaan heeft ontvangen. Ze zijn duidelijk op heel verschillende tijden actief geweest, en de omvang van wetenschappelijke gemeenschappen, en daarmee het aantal potentiële citerende auteurs, zijn de afgelopen halve eeuw aanzienlijk gegroeid.

Ook moet rekening worden gehouden met disciplinaire verschillen en samenwerkingspatronen. Bijvoorbeeld, theoretische natuurkunde heeft veel minder bijdragen dan microbiologie, en het aantal co-auteurs per artikel is kleiner, die van invloed is op de mate van productiviteit en impact van onderzoekers.

Eindelijk, het is belangrijk op te merken dat de uitspraak:"De h-index van persoon P is X, " heeft geen betekenis, omdat de waarde van de index afhangt van de inhoud van de database die voor de berekening wordt gebruikt. Men zou eerder moeten zeggen:"De h-index van persoon P is X, in database Z." Vandaar, volgens de Web of Science-database, die alleen tijdschriften bevat die als serieus en redelijk zichtbaar op wetenschappelijk gebied worden beschouwd, de h-index van Raoult is 120. Aan de andere kant, in de gratis en dus goed toegankelijke database van Google Scholar, zijn h-index - de meest herhaalde in de media - gaat tot 179.

Nummer fetisjisme

Veel wetenschappelijke gemeenschappen aanbidden de h-index en dit fetisjisme kan schadelijke gevolgen hebben voor wetenschappelijk onderzoek. Frankrijk, bijvoorbeeld, maakt gebruik van een Système d'ondervraging, de gestion et d'analyse des publicaties scientifiques om onderzoeksgelden toe te kennen aan haar biomedische wetenschappelijke laboratoria. Het is gebaseerd op het aantal artikelen dat ze publiceren in zogenaamde high impact factor tijdschriften. Zoals gemeld door de krant Le Parisien , het hectische tempo van Raoults publicaties zorgt ervoor dat zijn thuisinstelling tussen de 3, 600 en 14, 400 euro per jaar voor elk artikel dat door zijn team wordt gepubliceerd.

Gezond verstand zou ons moeten leren op onze hoede te zijn voor simplistische en eendimensionale indicatoren. Het vertragen van het gekmakende tempo van wetenschappelijke publicaties zou er zeker toe leiden dat onderzoekers hun interesse in de h-index verliezen. Belangrijker, het opgeven ervan zou bijdragen aan het produceren van wetenschappelijke artikelen die minder in aantal zullen zijn, maar zeker robuuster.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.