Het werk van een wetenschappelijk schrijver, waaronder deze, omvat het lezen van tijdschriftartikelen gevuld met gespecialiseerde technische terminologie, en uitzoeken hoe ze hun inhoud kunnen uitleggen in taal die lezers zonder wetenschappelijke achtergrond kunnen begrijpen.

Nutsvoorzieningen, een team van wetenschappers van MIT en elders heeft een neuraal netwerk ontwikkeld, een vorm van kunstmatige intelligentie (AI), die ongeveer hetzelfde kan doen, althans tot op zekere hoogte:het kan wetenschappelijke artikelen lezen en een samenvatting in een paar zinnen in gewoon Engels weergeven.

Zelfs in deze beperkte vorm, zo'n neuraal netwerk kan nuttig zijn om redacteuren te helpen, schrijvers, en wetenschappers scannen een groot aantal papieren om een ​​voorlopig idee te krijgen van waar ze over gaan. Maar de aanpak die het team ontwikkelde, zou naast taalverwerking ook toepassingen kunnen vinden op tal van andere gebieden, inclusief machinevertaling en spraakherkenning.

Het werk wordt beschreven in het journaal Transacties van de Vereniging voor Computerlinguïstiek , in een paper van Rumen Dangovski en Li Jing, beide MIT-afgestudeerde studenten; Marin Soljačić, een professor in de natuurkunde aan het MIT; Preslav Nakov, een senior wetenschapper aan het Qatar Computing Research Institute, HBKU; en Mićo Tatalović, een voormalig Knight Science Journalism fellow bij MIT en een voormalig redacteur bij nieuwe wetenschapper tijdschrift.

Van AI voor natuurkunde tot natuurlijke taal

Het werk is tot stand gekomen als resultaat van een niet-gerelateerd project, waarbij nieuwe benaderingen voor kunstmatige intelligentie werden ontwikkeld op basis van neurale netwerken, gericht op het aanpakken van bepaalde netelige problemen in de natuurkunde. Echter, de onderzoekers realiseerden zich al snel dat dezelfde aanpak kan worden gebruikt om andere moeilijke rekenproblemen aan te pakken, inclusief natuurlijke taalverwerking, op manieren die mogelijk beter presteren dan bestaande neurale netwerksystemen.

"We doen al een paar jaar verschillende soorten werk in AI, " zegt Soljačić. "We gebruiken AI om te helpen bij ons onderzoek, eigenlijk om natuurkunde beter te doen. En naarmate we meer vertrouwd raakten met AI, we zouden opmerken dat er af en toe een mogelijkheid is om iets toe te voegen aan het gebied van AI vanwege iets dat we uit de natuurkunde weten - een bepaalde wiskundige constructie of een bepaalde wet in de natuurkunde. We hebben gemerkt dat hé, als we dat gebruiken, het zou echt kunnen helpen met dit of dat specifieke AI-algoritme."

Deze aanpak kan nuttig zijn bij een verscheidenheid aan specifieke soorten taken, hij zegt, maar niet alles. "We kunnen niet zeggen dat dit nuttig is voor alle AI, maar er zijn gevallen waarin we een inzicht uit de natuurkunde kunnen gebruiken om een ​​bepaald AI-algoritme te verbeteren."

Neurale netwerken zijn in het algemeen een poging om de manier waarop mensen bepaalde nieuwe dingen leren na te bootsen:de computer onderzoekt veel verschillende voorbeelden en 'leert' wat de belangrijkste onderliggende patronen zijn. Dergelijke systemen worden veel gebruikt voor patroonherkenning, zoals het leren identificeren van objecten afgebeeld op foto's.

Maar neurale netwerken hebben over het algemeen moeite om informatie uit een lange reeks gegevens te correleren, zoals vereist bij het interpreteren van een onderzoekspaper. Er zijn verschillende trucs gebruikt om dit vermogen te verbeteren, inclusief technieken die bekend staan ​​als lange-kortetermijngeheugen (LSTM) en gated recurrent units (GRU), maar deze voldoen nog steeds niet aan wat nodig is voor echte natuurlijke taalverwerking, zeggen de onderzoekers.

Het team bedacht een alternatief systeem, die in plaats van te zijn gebaseerd op de vermenigvuldiging van matrices, zoals de meeste conventionele neurale netwerken zijn, is gebaseerd op vectoren die roteren in een multidimensionale ruimte. Het sleutelconcept is iets wat ze een roterende geheugeneenheid (RUM) noemen.

Eigenlijk, het systeem vertegenwoordigt elk woord in de tekst door een vector in een multidimensionale ruimte - een lijn van een bepaalde lengte die in een bepaalde richting wijst. Elk volgend woord zwaait deze vector in een bepaalde richting, weergegeven in een theoretische ruimte die uiteindelijk duizenden dimensies kan hebben. Aan het einde van het proces, de uiteindelijke vector of set vectoren wordt terug vertaald in de bijbehorende reeks woorden.

"RUM helpt neurale netwerken om twee dingen heel goed te doen, " zegt Nakov. "Het helpt hen om beter te onthouden, en het stelt hen in staat om informatie nauwkeuriger op te roepen."

Na de ontwikkeling van het RUM-systeem om te helpen bij bepaalde moeilijke natuurkundige problemen, zoals het gedrag van licht in complexe technische materialen, "We realiseerden ons dat een van de plaatsen waar we dachten dat deze aanpak nuttig zou kunnen zijn, natuurlijke taalverwerking zou zijn, " zegt Soljačić, herinnerend aan een gesprek met Tatalović, die opmerkte dat een dergelijk hulpmiddel nuttig zou zijn voor zijn werk als redacteur die probeert te beslissen over welke artikelen hij moet schrijven. Tatalović was destijds bezig met het verkennen van AI in de wetenschapsjournalistiek als zijn Knight fellowship-project.

"En dus probeerden we er een paar natuurlijke taalverwerkingstaken op, " zegt Soljačić. "Een van de dingen die we probeerden, was het samenvatten van artikelen, en dat lijkt goed te werken."

Het bewijs zit in de lezing

Als voorbeeld, ze voedden hetzelfde onderzoekspaper via een conventioneel LSTM-gebaseerd neuraal netwerk en via hun RUM-gebaseerde systeem. De resulterende samenvattingen waren dramatisch verschillend.

Het LSTM-systeem leverde deze zeer repetitieve en tamelijk technische samenvatting op:"Baylisascariasis, " doodt muizen, heeft de allegheny woodrat in gevaar gebracht en heeft ziekten zoals blindheid of ernstige gevolgen veroorzaakt. Deze infectie, genaamd "baylisascariasis, " doodt muizen, heeft de allegheny woodrat in gevaar gebracht en heeft ziekten zoals blindheid of ernstige gevolgen veroorzaakt. Deze infectie, genaamd "baylisascariasis, " doodt muizen, heeft de allegheny woodrat in gevaar gebracht.

Op basis van hetzelfde papier, het RUM-systeem leverde een veel beter leesbare samenvatting op, en een die geen onnodige herhaling van zinnen bevatte:wasberen in de stad kunnen mensen meer infecteren dan eerder werd aangenomen. 7 procent van de ondervraagde personen testte positief op antistoffen tegen wasbeerrondwormen. Meer dan 90 procent van de wasberen in Santa Barbara is gastheer voor deze parasiet.

Nu al, het op RUM gebaseerde systeem is uitgebreid zodat het hele onderzoekspapers kan "lezen", niet alleen de samenvattingen, om een ​​samenvatting van hun inhoud te maken. De onderzoekers hebben zelfs geprobeerd het systeem te gebruiken in hun eigen onderzoekspaper waarin deze bevindingen worden beschreven - de paper die dit nieuwsbericht probeert samen te vatten.

Hier is de samenvatting van het nieuwe neurale netwerk:onderzoekers hebben een nieuw representatieproces ontwikkeld op de rotatie-eenheid van RUM, een terugkerend geheugen dat kan worden gebruikt om een ​​breed spectrum van de neurale revolutie in natuurlijke taalverwerking op te lossen.

Het is misschien geen elegant proza, maar het raakt in ieder geval de belangrijkste informatiepunten.

Çağlar Gülçehre, een onderzoekswetenschapper bij het Britse AI-bedrijf Deepmind Technologies, die niet bij dit werk betrokken was, zegt dat dit onderzoek een belangrijk probleem in neurale netwerken aanpakt, die te maken hebben met het relateren van stukjes informatie die ver uit elkaar liggen in tijd of ruimte. "Dit probleem was een zeer fundamenteel probleem in AI vanwege de noodzaak om te redeneren over lange tijdsvertragingen in sequentievoorspellingstaken, "zegt hij. "Hoewel ik niet denk dat dit artikel dit probleem volledig oplost, het laat veelbelovende resultaten zien op de afhankelijkheidstaken op lange termijn, zoals het beantwoorden van vragen, tekst samenvatting, en associatieve herinnering."

Gülçehre voegt toe, "Aangezien de uitgevoerde experimenten en het in dit artikel voorgestelde model als open source op Github zijn vrijgegeven, als gevolg hiervan zullen veel onderzoekers geïnteresseerd zijn om het op hun eigen taken uit te proberen. … Om specifieker te zijn, mogelijk kan de in dit document voorgestelde benadering een zeer grote impact hebben op het gebied van natuurlijke taalverwerking en versterkend leren, waar de afhankelijkheden op lange termijn zeer cruciaal zijn."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.