H -inhoudsopgave, G -inhoudsopgave, l 10 index, m -quotiënt, Tijdschrift Impact Factor, Altmetrics ... het is al lang een hardnekkig probleem dat de onderzoeksgemeenschap teistert - hoe de relatieve verdiensten van onderzoek objectief over disciplines heen te beoordelen en eerlijke vergelijkingen te maken tussen vroege carrière en gevestigde onderzoekers, verschillende geslachten, en zelfs verschillende onderzoeksdisciplines.

Nutsvoorzieningen, Flinders University-ecoloog Professor Corey Bradshaw en collega's hebben een hulpmiddel ontwikkeld om onderzoeksprestaties eerlijker te beoordelen; een die het speelveld gelijk zal maken, niet alleen tussen disciplines, maar over geslachten en loopbaantrajecten heen, het gladstrijken van de rimpels voor verstoringen zoals zwangerschapsverlof.

Genaamd de Epsilon-index , genoemd naar de Griekse letter ε gebruikt om residuen in statistieken te symboliseren, het houdt rekening met de vele verschillen in de onderzoeksruimte om een ​​eerlijkere vergelijking te maken.

Een zelfverklaarde statistieken wonk, Professor Bradshaw heeft de werking van de -index in het open access tijdschrift PLoS One .

'Een van de blijvende uitdagingen voor onderzoekers is de zoektocht om de kwantiteit en kwaliteit van hun output eerlijk te meten, ' zegt professor Bradshaw.

"Er is geen eenvoudig proces om de relatieve sterke punten van onderzoekers in verschillende disciplines te vergelijken - sommige hebben gewoon minder citaten dan andere.

'Dan is er het geslacht. Onderzoekspublicaties voor vrouwen kunnen dalen tijdens bijvoorbeeld zwangerschapsverlof, de waargenomen prestaties beïnvloeden, ook al is hun bekwaamheid - en hun onderzoek - niet minder briljant. Vrouwen krijgen ook vandaag de dag vaak niet dezelfde kansen als mannen, dus ze zijn oneerlijk gerangschikt tegen mannen voor de meeste bestaande statistieken.

'Waar onderzoekers zich in hun carrière bevinden, of het nu opwindende nieuwkomers of vooraanstaande professoren zijn, kan ook een sterk effect hebben op de huidige statistieken.

'De Epsilon-index is een nieuwe manier om systemische vooroordelen te verminderen bij het beoordelen van de kwaliteit van onderzoekers via citaten door loopbaanfase, geslacht, en gelegenheidscorrecties voor prestatiestatistieken op basis van citaten, ' hij zegt.

De tool is gratis beschikbaar als een kant-en-klare app - voer eenvoudig een paar gegevens in voor een steekproef van onderzoekers uit open-sourcedatabases zoals Google Scholar, en het doet het zware werk om het resultaat te produceren, het mogelijk maken om onderzoekers in elk stadium van hun carrière en uit elke discipline op dezelfde schaal met elkaar te vergelijken.

Het is een zegen voor iedereen die een objectieve maatstaf wil gebruiken om onderzoekers te rangschikken, of het nu gaat om subsidieaanvragen, sollicitatiegesprek, promoties en prijzen, of zelfs als prestatie-indicator van het personeel.

De aanpak voor het ontwikkelen en testen van de -index was zelf een oefening in multidisciplinariteit en specifiek ontworpen om het evenwicht tussen mannen en vrouwen te waarborgen.

De tool is getest en verfijnd door middel van samenwerking aan voorbeeldgegevens met een archeoloog - assistent-professor Dr. Stefani Crabtree (Utah State University/Santa Fe Institute), een geoloog en paleontoloog van gewervelden - professor Kate Trinajstic (Curtin University), een chemicus - professor Justin Chalker, een microbioloog—hoogleraar Bart Eijkelkamp, een paleontoloog-professor John Long, een oogarts-professor Justine Smith, en een evolutionair bioloog - professor Vera Weisbecker (allen Flinders University).

De steekproef bestond uit 480 onderzoekers met Google Scholar-profielen, gelijkmatig verdeeld in acht disciplines (archeologie, scheikunde, ecologie, evolutie en ontwikkeling, geologie, microbiologie, oogheelkunde, paleontologie), drie loopbaanfasen (vroeg-, midden, late carrière), en twee geslachten.

Professor Justine Smit, die een 'superster van STEM' is geweest die actief de betrokkenheid van vrouwen bij de wetenschap promoot, technologie, techniek en wiskunde, hoopt de -index zal een verschil maken in hoe vrouwen in de wetenschap worden gezien, en op hun beurt meer vrouwen aanmoedigen om de wetenschap in te gaan.

'Het nauwkeuriger inschatten van de bijdrage van vrouwen aan de wetenschap en het vieren van hun successen is cruciaal om toekomstige generaties meisjes aan te moedigen om de wetenschap in te gaan; zoals het gezegde gaat, "je kunt niet zijn wat je niet kunt zien". De -index eerlijkere en grotere zichtbaarheid geeft aan de prestaties van vrouwen, en dat het dit doet in een reeks van disciplines, maakt het bijzonder gunstig, ' zegt professor Smit.

Hoe het werkt

De nieuwe index is een rangschikkingsalgoritme dat kan worden gestandaardiseerd over disciplines heen, kan worden gecorrigeerd voor loopbaanonderbrekingen, en biedt een steekproefspecifieke drempel die kan bepalen of de individuele prestatie groter of lager is dan verwacht in vergelijking met de andere onderzoekers in een steekproef.

Met de R-code of de online app er zijn slechts vier gegevens uit openbare databases zoals Google Scholar of Scopus nodig om de gegevens van een onderzoeker te berekenen ε -inhoudsopgave:

• het aantal citaties dat is verkregen voor het best geciteerde artikel van de onderzoeker
• de l 10-index (aantal artikelen met minimaal 10 citaties)
• de H -inhoudsopgave, en
• het jaar waarin het eerste peer-reviewed artikel van de onderzoeker werd gepubliceerd.

De tool biedt ook een eenvoudige methode om de index over disciplines heen te schalen met variabele citatietrends ( ε ′-index) om een ​​eerlijkere vergelijking van onderzoekers op verschillende gebieden mogelijk te maken.

De ε -index maakt het gemakkelijk benchmarking van subsets van onderzoekers naar alleen vrouwen of alleen mannen mogelijk om de drempel zodanig aan te passen dat de rangen tussen deze twee geslachten beter vergelijkbaar zijn. Alternatief, door de geslachten te verdelen en ze afzonderlijk te benchmarken, gevolgd door een gecombineerde herrangschikking, wordt de gendervooroordeel in de ε -inhoudsopgave, wat moeilijk of onmogelijk is om te doen met andere rangschikkingsstatistieken.

'Geen enkele rankingstatistiek is perfect, maar de -index is een grote sprong voorwaarts in het overwinnen van vooroordelen en het geven van een duidelijker, een eerlijker beeld van de onderzoeksprestaties over de hele linie, ' zegt professor Bradshaw.