Eeuwenlang, wetenschappers en geleerden hebben de invloed van individuen en ontdekkingen gemeten door middel van citaten, een ruwe statistiek onderhevig aan vooroordelen, politiek en andere distorsies. Een nieuw artikel, geleid door het Knowledge Lab van de Universiteit van Chicago, beschrijft een andere manier om de score in de wetenschap bij te houden:een directere maatstaf voor hoe invloedrijke ideeën zich verspreiden over wetenschap en cultuur.

Het rekenmodel werpt de schijnwerpers op werk dat het pad van de wetenschap heeft veranderd, maar ondergewaardeerd is gebleven. Dezelfde aanpak kan ook worden aangepast om invloed op andere gebieden te traceren waar geen citatiecultuur bestaat, zoals literatuur of muziek, zeiden de auteurs van het artikel dat vorige week werd gepubliceerd in Proceedings van de National Academy of Sciences .

"We meten hoeveel de geschriften van wetenschappers en geleerden de discussie over ideeën in de toekomst beïnvloeden, " zei James Evans, directeur van Knowledge Lab en hoogleraar sociologie aan UChicago. "Invloed is een gepolitiseerd proces; degenen die de invloed krijgen, het krediet krijgen, en degenen die de eer krijgen, krijgen het kapitaal om het volgende grote ding te doen. Dit is de eerste keer dat we een verscherpt vermogen hebben om invloed te identificeren, en ook om sociale en strategische invloeden op citeergedrag te diagnosticeren."

Het nieuwe artikel vormt een aanvulling op eerder onderzoek van het Knowledge Lab met behulp van computationele en machine learning-benaderingen op enorme verzamelingen tekst, subsidies, beoordelingen, citaten en wetenschappelijke gegevens om te bestuderen hoe ontdekkingen ontstaan, evolueren en algemeen aanvaard worden. Hun werk was onlangs te zien in een recensie in het tijdschrift Wetenschap , co-auteur van Evans, die beschreef hoe datagestuurde methoden het begrip van het wetenschappelijke proces hebben verdiept en nieuwe inzichten hebben geboden over hoe toekomstige belangrijke ontdekkingen efficiënter kunnen worden gedaan.

Verder gaan dan citaten

In theorie, verwijzingen in een academische paper stellen auteurs in staat hun voorgangers te vermelden, de onderzoekers en het werk waarop ze hun nieuwe ontdekking hebben gebouwd. Maar in de praktijk, citaties worden om vele redenen gekozen:auteurs citeren eerder zichzelf, machtige collega's in hun vakgebied en onderzoekers bij prestigieuze instellingen, en zijn vaak geneigd om recentere of reeds veel geciteerde artikelen te citeren.

Ondanks deze onvolkomenheden, veel computationele studies van wetenschappelijke invloed hebben het citatierecord als een bruikbare proxy gebruikt. De nieuwe studie, onder leiding van voormalig Knowledge Lab postdoctoraal onderzoeker Aaron Gerow, toont een roman, diepere benadering, het gebruik van zowel de volledige tekst van artikelen als externe informatie zoals de identiteit van de auteur, affiliatie en tijdschriftreputatie.

Met behulp van een computationele methode die bekend staat als onderwerpmodellering - uitgevonden door co-auteur David Blei van Columbia University - volgt het model "discursieve invloed, " of terugkerende woorden en zinnen door historische teksten die meten hoe wetenschappers daadwerkelijk over een vakgebied praten, in plaats van alleen hun toeschrijvingen. Om de invloed van een bepaald papier te bepalen, de onderzoekers konden het statistisch uit de geschiedenis verwijderen en zien hoe het wetenschappelijke discours zich zou hebben ontvouwd zonder zijn bijdrage.

"We kunnen niet alleen ontdekken hoe onderwerpen in de loop van de tijd zijn veranderd, maar kunnen ook de toekomst simuleren zonder een bepaald document uit het verleden, en kijk hoe het discours voor de toekomst anders was met en zonder een bepaald document, " zei Gerow, nu een assistent-professor bij Goldsmiths, Universiteit van Londen. "Citaten zijn een soort impact, en discursieve invloed is een ander soort. Geen van beide is het volledige verhaal, maar ze werken samen om een ​​beter beeld te geven van wat de wetenschap beïnvloedt."

Het model trainen op enorme tekstverzamelingen uit de computerlinguïstiek, natuurkunde, en over wetenschap en wetenschap (JSTOR), de auteurs kwantificeren verschillende vooroordelen en onderscheiden verschillende beïnvloedingspatronen. Wetenschappers die aanhoudend op een enkel gebied publiceerden, hadden meer kans om "gecanoniseerd" te worden op een manier die anderen dwong om ze te citeren die onevenredig waren aan de discursieve bijdragen van hun papers. Anderzijds, ontdekkingen die disciplinaire grenzen overschreden, hadden meer kans op een te grote discursieve impact, maar minder citaties, waarschijnlijk omdat de 'eigenaar' van het idee en haar bondgenoten sociaal en institutioneel ver verwijderd blijven van de citerende auteur.

Doornroosjes en onbekende influencers

Een interessante subcategorie van papier die het model ontdekte, staat bekend als "slapende schoonheden, " of papers die jarenlang of zelfs decennia relatief onbekend bleven voordat ze een late uitbarsting van citaten meemaakten. Bijvoorbeeld, een artikel uit 1947 over grafeen bleef obscuur en vergeten tot de jaren negentig met een heropleving van de onderzoeksinteresse in het materiaal en een uiteindelijke Nobelprijs.

"Kranten hebben een nieuwscyclus, als veel mensen erover praten en ze citeren, en dan is het geen nieuw nieuws meer, Evans zei. "Ons model laat zien dat sommige artikelen veel meer invloed hebben dan citaten doorgaans aantonen, zoals deze 'slapende schoonheden, ' die vroeg niet veel invloed had, maar later gewaardeerd en belangrijk wordt."

Hetzelfde model kan ook worden gebruikt om invloed op andere gebieden te traceren, zoals literatuur en muziek, zeiden de auteurs. Tekst uit gedichten of songteksten, en zelfs extratekstuele kenmerken zoals strofestructuur of akkoordprogressies, zou in het model kunnen worden meegenomen om onvoldoende erkende influencers te vinden en de verspreiding van nieuwe concepten en innovaties in kaart te brengen.

"Er is een enorme hoeveelheid literaire cultuur die uiteindelijk van alles beïnvloedt, maar die eenvoudigweg geen referentietechnologie heeft die vergelijkbaar is met citaten, Evans zei. "Hoewel we dit model op wetenschappelijke tekst hebben ontwikkeld en gevalideerd, nu kunnen we het voor van alles en nog wat gebruiken, vooral gevallen waarin er geen sporen van invloed zijn, maar patronen in de inhoud zelf. Het is net als trending op Twitter, maar waar alles Twitter is. Dat vind ik het spannendst."