Een team van onderzoekers van de Universiteit van Waterloo in Canada heeft onlangs een onderzoek uitgevoerd naar de afwegingen tussen nauwkeurigheid en efficiëntie van neurale taalmodellen (NLM's) die specifiek worden toegepast op mobiele apparaten. In hun krant die voorgepubliceerd was op arXiv, de onderzoekers stelden ook een eenvoudige techniek voor om enige verwarring te herstellen, een maatstaf voor de prestaties van een taalmodel, met een verwaarloosbare hoeveelheid geheugen.

NLM's zijn taalmodellen op basis van neurale netwerken waarmee algoritmen de typische verdeling van woordreeksen kunnen leren en voorspellingen kunnen doen over het volgende woord in een zin. Deze modellen hebben een aantal handige toepassingen, bijvoorbeeld, slimmere softwaretoetsenborden voor mobiele telefoons of andere apparaten mogelijk maken.

"Neurale taalmodellen (NLM's) bestaan ​​in een afwegingsruimte voor nauwkeurigheid en efficiëntie waar betere verwarring doorgaans ten koste gaat van grotere rekencomplexiteit, ' schreven de onderzoekers in hun paper. 'In een softwaretoetsenbordtoepassing op mobiele apparaten, dit vertaalt zich in een hoger stroomverbruik en een kortere batterijduur."

Wanneer toegepast op softwaretoetsenborden, NLM's kunnen leiden tot nauwkeurigere voorspelling van het volgende woord, waardoor gebruikers met een enkele tik het volgende woord in een bepaalde zin kunnen invoeren. Twee bestaande toepassingen die neurale netwerken gebruiken om deze functie te bieden, zijn SwiftKey1 en Swype2. Echter, deze toepassingen vereisen vaak veel vermogen om te functioneren, de batterijen van mobiele apparaten snel leegmaken.

"Op basis van standaardstatistieken zoals verbijstering, neurale technieken vertegenwoordigen een vooruitgang in de state-of-the-art taalmodellering, " legden de onderzoekers uit in hun paper. "Betere modellen, echter, gaan ten koste van de computationele complexiteit, wat zich vertaalt in een hoger stroomverbruik. In de context van mobiele apparaten, energie-efficiëntie is, natuurlijk, een belangrijke optimalisatiedoelstelling."

Volgens de onderzoekers is NLM's zijn tot nu toe voornamelijk geëvalueerd in de context van beeldherkenning en het spotten van trefwoorden, terwijl de wisselwerking tussen nauwkeurigheid en efficiëntie in toepassingen voor natuurlijke taalverwerking (NLP) nog niet grondig is onderzocht. Hun studie richt zich op dit onontgonnen onderzoeksgebied, het uitvoeren van een evaluatie van NLM's en hun compromissen tussen nauwkeurigheid en efficiëntie op een Raspberry Pi.

"Onze empirische evaluaties houden rekening met zowel verbijstering als energieverbruik op een Raspberry Pi, waar we laten zien welke methoden het beste werkpunt voor verwarring en energieverbruik bieden, " zeiden de onderzoekers. "Op één werkpunt, een van de technieken kan een energiebesparing van 40 procent opleveren ten opzichte van de state-of-the-art [methoden] met slechts een relatieve toename van 17 procent in verwarring."

In hun studie hebben de onderzoekers evalueerden ook een aantal inferentietijdsnoeitechnieken op quasi-recurrente neurale netwerken (QRNN's). Uitbreiding van de bruikbaarheid van bestaande snoeimethoden voor trainingstijd naar QRNN's tijdens runtime, ze bereikten verschillende werkpunten binnen de afwegingsruimte voor nauwkeurigheid en efficiëntie. Om de prestaties te verbeteren met een kleine hoeveelheid geheugen, ze stelden voor om gewichtsupdates met één rang te trainen en op te slaan op de gewenste werkpunten.

© 2018 Tech Xplore