Onderzoekers van het Karlsruhe Institute of Technology (KIT), in Duitsland, hebben onlangs multi-task machine learning toegepast op neurale spraakvertaling met lage latentie. hun studie, die voorgepubliceerd was op ArXiv , pakt enkele van de beperkingen van bestaande neurale machinevertaling (NMT) technieken aan.

Vooruitgang op het gebied van deep learning heeft geleid tot aanzienlijke verbeteringen in menselijke spraak en tekstvertaling. NMT, een veelgebruikte benadering van machinevertaling, traint een groot neuraal netwerk om een ​​zin te lezen en een nauwkeurige vertaling te geven, meestal door hele zinnen te modelleren tot een geïntegreerd model.

In vergelijking met traditionele benaderingen, zoals op regels gebaseerde of statistische machinevertaling, NMT zorgt doorgaans voor vloeiendere vertalingen, zowel voor spraak als voor geschreven tekst. Hoewel het effectief meer complexe afhankelijkheden tussen bron- en doeltalen kan vastleggen, constant goed presteren, deze aanpak vereist aanzienlijke hoeveelheden trainingsgegevens.

"Bij het toepassen van gedeeltelijke zinvertaling op neurale machinevertaalsystemen, stuiten we op het probleem dat het MT-systeem alleen is getraind op volledige zinnen, en dus is de decoder bevooroordeeld om volledige doelzinnen te genereren, " schreven de onderzoekers in hun paper. "Bij het ontvangen van input die gedeeltelijke zinnen zijn, het is niet gegarandeerd dat de vertaaluitvoer exact overeenkomt met de invoerinhoud. We zien dat de vertaling vaak door het model wordt 'gefantaseerd' tot een volledige zin, zoals zou zijn gebeurd in de trainingsgegevens."

In andere gevallen, de decoder kan in een staat van over-generatie vallen, het herhalen van het laatste woord dat eraan werd toegevoegd, meerdere keren in de vertaling. Om deze problemen aan te pakken, de KIT-onderzoekers richtten zich op spraakvertaling in gevallen waarin een NMT een eerste vertaling in realtime moet leveren, voordat een spreker zijn/haar zin heeft afgemaakt.

"In dit werk, we willen het probleem van gedeeltelijke zinsvertaling in NMT verhelpen, " schreven de onderzoekers. "Idealiter, we willen een model dat geschikte vertalingen kan genereren voor onvolledige zinnen, zonder enig compromis tijdens andere vertaaltoepassingen."

Omdat datasets met deelzinnen niet direct beschikbaar zijn, de onderzoekers creëerden kunstmatige gegevens die konden worden gebruikt in het trainingsproces. Ze trainden het netwerk met behulp van multi-task learning, een diepgaande leerstrategie die vaak is gebruikt in natuurlijke taalverwerking (NLP) om een ​​enkel model te trainen voor verschillende taken, kosten te verlagen en de prestaties te verbeteren.

Hun onderzoek leverde veelbelovende resultaten op, wat suggereert dat NMT-systemen kunnen worden aangepast om goed te presteren, zelfs in gevallen waarin taakspecifieke gegevens niet beschikbaar zijn, zonder prestatieverlies bij de oorspronkelijke taak waarvoor ze zijn opgeleid. "We hebben eerst aangetoond dat eenvoudige technieken om kunstmatige gegevens te genereren, effectief zijn om vloeiendere uitvoer te krijgen met minder correctie, " concludeerden de onderzoekers in hun paper. "We hebben ook geïllustreerd dat multi-task leren kan helpen het model aan te passen aan de nieuwe inferentieconditie, zonder de oorspronkelijke mogelijkheid om volledige zinnen te vertalen te verliezen."

Hun aanpassing van NMT zorgde voor vertalingen van hoge kwaliteit met een lage latentie, het aantal gecorrigeerde woorden met 45 procent te minimaliseren. In de toekomst, hun studie zou zinvolle praktische implicaties kunnen hebben, helpen bij het ontwikkelen van betere tools voor realtime spraakvertaling.

© 2018 Tech Xplore