Volgens de laatste onderzoeksresultaten de aanwezigheid van eenvoudige koppeltekens in de titels van academische papers heeft een negatieve invloed op de citatiestatistieken, ongeacht de kwaliteit van de artikelen. Het fenomeen geldt voor alle belangrijke vakgebieden. Dus, aantal citaten en impactfactoren van tijdschriften, algemeen gebruikt voor professoriële evaluaties aan universiteiten over de hele wereld, zijn onbetrouwbaar.

Deze baanbrekende bevinding vormt een fundamentele uitdaging voor de spelregel bij het bepalen van de bijdragen van papers, tijdschriften, en professoren. Het wordt onthuld in een paper getiteld "Metamorphic Robustness Testing:Exposing Hidden Defects in Citation Statistics and Journal Impact Factors, " door Zhi Quan Zhou, E. Tse, en Matt Witheridge, onlangs gepubliceerd in IEEE-transacties op software-engineering , het beste tijdschrift in het veld.

E. Tse is honorary professor in informatica aan de University of Hong Kong (HKU). Zhi Quan Zhou behaalde een Ph.D. van de HKU en is momenteel universitair hoofddocent software-engineering aan de Universiteit van Wollongong, Australië. Matt Witheridge is een Ph.D. student aan de Universiteit van Wollongong.

Scopus en Web of Science zijn de twee toonaangevende citatie-indexeringssystemen. Scopus levert de citatiestatistieken ter ondersteuning van de Times Higher Education World University Rankings en de QS World University Rankings. Web of Science levert de tijdschrift-impactfactor die de ranking van grote tijdschriften ondersteunt. Vanwege het belang van deze twee indexeringssystemen, het is essentieel om hun kwaliteit te waarborgen. Vooral, robuustheidstesten hebben betrekking op de verificatie van het vermogen van het systeem om met foutieve invoer of onverwachte situaties om te gaan. Bijvoorbeeld, kan het indexeringssysteem een ​​bronvermelding goed afhandelen als er een kleine typfout is gemaakt bij het citeren van de papieren titel?

Professor Tse en teamleden stelden een innovatieve methode voor genaamd "metamorfe robuustheidstesten" om Scopus en Web of Science te verifiëren. De diepgaande studie bracht robuustheidsdefecten aan het licht in beide systemen die foutieve citatietellingen zouden kunnen opleveren voor artikelen met koppeltekens in de titels, zodat de later berekende journaalimpactfactoren problematisch zijn.

Terug in 2015, Letchford en collega's voerden een grootschalig onderzoek uit naar Scopus, en ontdekte dat artikelen met kortere titels vaker werden geciteerd dan die met langere titels.

Integendeel, Professor Tse en het huidige team vinden dat het aantal koppeltekens in de titel de meest dominante factor is voor het aantal citaten. Gebruikelijk, het aantal koppeltekens is gecorreleerd aan de titellengte van een paper, waardoor de verkeerde interpretatie wordt gegeven dat het aantal citaten afhankelijk is van de titellengte.

Citatiepraktijken variëren per onderwerp. Publicaties in bepaalde vakgebieden kunnen systematisch hogere citaties hebben dan in andere vakgebieden. Bijvoorbeeld, men zou kunnen stellen dat papieren in de chemie (waar papieren titels vaak koppeltekens dragen als onderdeel van de chemische nomenclatuur) slechts een relatief beperkt aantal citaten ontvangen, wat aanleiding geeft tot een valse negatieve correlatie tussen koppeltekens en citaten. Vandaar, het team deed gericht onderzoek naar tijdschriften in specifieke vakgebieden. De resultaten gaven aan dat koppeltekens een negatief effect hebben op het aantal citaties van papers, zelfs als de studie beperkt is tot een bepaalde discipline.

Om voort te bouwen op de bevindingen op artikel- en disciplineniveau, het team onderzocht de impact van koppeltekens in papieren titels op tijdschriftniveau. Journal Impact Factor (JIF) is een veelgebruikte maatstaf voor het bepalen van de citatiefrequentie van een wetenschappelijk tijdschrift. Het wordt vaak gebruikt om het relatieve belang van een tijdschrift binnen zijn vakgebied weer te geven. Uit een veldstudie op het gebied van software-engineering blijkt dat tijdschriften met een hogere JIF-ranglijst een lager percentage artikelen publiceren met titels met koppeltekens.

Het team voerde verder een analyse uit van de validiteit van het onderzoek om te voorkomen dat ze in de val trappen om correlatie gelijk te stellen aan oorzakelijk verband.

"Onze resultaten stellen vraagtekens bij de algemene overtuiging van de academische wereld, regeringen, en financiers dat citatie telt, is een betrouwbare maatstaf voor de bijdragen en het belang van papers. In feite, ze kunnen eenvoudig worden vervormd door de aanwezigheid van koppeltekens in artikeltitels, die geen invloed hebben op de kwaliteit van het onderzoek. evenzo, onze resultaten dagen ook de validiteit van de impactfactoren van tijdschriften uit, ’ zei professor Tse.

"Deze verrassende resultaten zijn niet alleen interessant voor professoren die een vaste aanstelling of promotie zoeken, maar ook voor hoger management zoals presidenten, dekens, en hoofden. Ze zijn van toepassing op alle faculteiten van elke universiteit, " hij voegde toe.