(Phys.org)—Het beoordelen en rangschikken van onderzoeksinstituten is belangrijk voor het toekennen van subsidies, personeel werven, het promoten van instituten, en andere redenen. Maar het vinden van een eerlijke en nauwkeurige methode om de prestaties van onderzoeksinstituten te beoordelen, is een uitdaging vanwege de vele factoren die erbij betrokken zijn, zoals het aantal gepubliceerde artikelen en citaties, de onbetrouwbaarheid van sommige citaten, en het feit dat veel artikelen meerdere auteurs hebben van verschillende instituten met ongelijke bijdragen.

In een nieuwe studie gepubliceerd in EPL , een team van wetenschappers uit China waarvan de leden complexe systemen bestuderen, gegevenswetenschap, en natuurkunde heeft een nieuwe benadering ontwikkeld, de zogenaamde credit-allocatiemethode (CAM) voor het rangschikken van onderzoeksinstituten die rekening houdt met al deze factoren door gebruik te maken van vele duizenden gerichte netwerken.

"Anders dan andere statistieken op basis van citaties, ons werk houdt rekening met de structuur van het citatienetwerk en biedt een manier om het krediet voor onderzoeksinstituten voor verschillende onderzoeksgebieden te rangschikken vanuit het oogpunt van academische reputatie, " co-auteur Jian-Guo Liu, aan de Universiteit van Shanghai voor Wetenschap en Technologie, de Shanghai Universiteit van Financiën en Economie, en de Universiteit van Fribourg in Zwitserland, vertelde Phys.org .

Het basisidee is dat elk gestuurd netwerk bestaat uit één willekeurig gekozen papier dat is gekoppeld aan alle kranten die dat papier hebben geciteerd. Vervolgens wordt elk van deze citerende artikelen gekoppeld aan alle andere artikelen die het citeert, zolang die papers tenminste één auteur hebben van een van dezelfde onderzoeksinstituten als de originele paper. Door een formule te gebruiken die rekening houdt met de volgorde van elk onderzoeksinstituut (degenen die als eerste in de paper worden vermeld, krijgen meer krediet dan degenen die later worden vermeld), de onderzoekers berekenden het krediet dat aan elk onderzoeksinstituut werd toegekend vanwege het originele artikel.

Na dit proces te hebben herhaald voor bijna een half miljoen artikelen op het gebied van natuurkunde, met auteurs van ongeveer 19, 000 onderzoeksinstituten, de onderzoekers zagen nog een probleem dat de beoordeling van onderzoeksinstituten bemoeilijkt:de citatiegegevens zijn vaak onbetrouwbaar. De onderzoekers verwijzen naar een recente studie waaruit bleek dat meer dan 30% van de onderzoekspapers ten minste één onjuist citaat bevatte, en dat 10% van alle citaten onjuist was, wat betekent dat de geciteerde artikelen niet duidelijk de verklaringen ondersteunden die ze moesten ondersteunen. Om dit probleem aan te pakken, de onderzoekers hebben willekeurig enkele citatielinks in de netwerken opnieuw bedraad, het creëren van een kunstmatige verstoring bedoeld om de onnauwkeurigheden in de citatiegegevens te modelleren.

In de eindrangschikking veel van de topinstituten voor natuurkundig onderzoek die door de nieuwe methode werden geïdentificeerd, kwamen overeen met instituten met een hoge reputatie. De top vier was de University of California, Bell Labs, het Max Planck Instituut, en MIT. De top vier in China was de University of Science and Technology of China, Nanjing-universiteit, Peking Universiteit, en Tsinghua-universiteit.

Hoewel de onderzoekers lieten zien dat de nieuwe methode beter presteert dan andere methoden om onderzoeksinstituten te beoordelen, ze merken op dat het enkele tekortkomingen heeft. Vooral, het houdt geen rekening met het feit dat oudere artikelen doorgaans meer citaten bevatten dan nieuwere artikelen, dus onderzoeksinstituten met een langere geschiedenis hebben de neiging om hoger gerangschikt te worden. De onderzoekers zijn van plan dit detail in de toekomst aan te pakken door rekening te houden met de leeftijd van de instelling.

"Bij toekomstige werkzaamheden we zijn ook van plan om de citatienetwerken van enkele specifieke onderzoeksgebieden te onderzoeken, zoals bestuurskunde, complexiteit, statistische fysica, en informatica, om het krediet van het onderzoeksinstituut van deze velden te rangschikken, "Zei Liu. "We zijn ook van plan om een ​​website te ontwikkelen om de rangschikkingsresultaten voor onderzoekers over de hele wereld te publiceren."

© 2017 Fys.org