Computerwetenschappers onderzochten onlangs de prestaties van dialoogsystemen, zoals persoonlijke assistenten en chatbots die zijn ontworpen om met mensen te communiceren. Het team ontdekte dat wanneer deze systemen worden geconfronteerd met dialogen die idioom of vergelijkingen bevatten, hun prestaties dalen tot tussen de 10 en 20 procent.

Het onderzoeksteam ontwikkelde ook een gedeeltelijke remedie. Ze schreven een eenvoudig script dat figuratieve uitdrukkingen identificeert en vervangt door hun letterlijke betekenis. Als gevolg hiervan zijn de prestaties van dialoogsystemen tot 15 procent verbeterd.

De onderzoekers presenteren hun bevindingen op de 2021 Conference on Empirical Methods in Natural Language Processing, die plaatsvindt van 7 tot 11 november 2021. 

Toepassingen voor dit werk omvatten niet alleen persoonlijke assistenten, maar ook systemen die zijn ontworpen om informatie samen te vatten, zoals het vak met zoekresultaten bovenaan een Google-pagina. Ook geautomatiseerde systemen die vragen moeten beantwoorden, bijvoorbeeld wanneer een rekening moet worden betaald of een afspraak moet worden gemaakt, zouden baat hebben bij dit werk.

"We willen natuurlijkere gesprekken tussen mensen en dialoogsystemen mogelijk maken", zegt Harsh Jhamtani, de eerste auteur van het artikel.

Jhamtani is een Ph.D. student aan de Carnegie Mellon University en werkt momenteel als gastonderzoeker bij senior auteur Taylor Berg-Kirkpatrick, een faculteitslid van de UC San Diego Department of Computer Science and Engineering.

De studie werd geïnspireerd door Jhamtani's eigen worsteling met beeldtaal. Hij is een native speaker Hindi en spreekt ook Engels, de andere officiële taal van India. Maar hij moest de vele Amerikaanse uitdrukkingen en metaforen leren die zijn collega's gebruiken.

Hij raakte bijvoorbeeld in paniek toen een collega zei dat ze honger hadden omdat dat in het Hindi op een medisch noodgeval zou kunnen duiden. Zijn collega legde toen uit dat het alleen maar betekende dat hij honger had. Tegen die tijd vroeg Jhamtani zich af of kunstmatige dialoogsystemen hetzelfde probleem zouden hebben als hij.

In het onderzoek testten onderzoekers vijf verschillende systemen die zijn ontworpen om met mensen te praten, waaronder GPT-2, dat is getraind om het volgende woord te voorspellen in 40 GB aan internettekst en is ontwikkeld door onderzoeksbureau OpenAI.

Onderzoekers hebben de dialoogsystemen eerst door een dataset van 13.1K gesprekken geleid over alledaagse onderwerpen zoals toerisme, gezondheid enzovoort. Vervolgens haalden ze de gesprekken met beeldtaal uit de dataset en lieten de systemen alleen die doornemen. Ze zagen een prestatiedaling van 10 tot 20 procent.

Vervolgens schreven ze een script waarmee de systemen snel woordenboeken konden controleren die figuurlijke spraak in letterlijke spraak vertalen. Dit is sneller en efficiënter dan omscholingssystemen om de volledige inhoud van deze woordenboeken te leren. Onderzoekers merkten op dat de prestaties met maar liefst 15 procent verbeterden.

De onderzoekers moesten nog gedeeltelijk vertrouwen op menselijke waarnemers om beeldtaal binnen de dataset te identificeren, voordat de tekst kon worden omgezet. Verdere studie is nodig op dit gebied.

Het zal een aantal iteraties duren voordat de algoritmen die de onderzoekers hebben ontwikkeld klaar zijn voor implementatie. Ze ontdekten bijvoorbeeld dat in enkele zeldzame gevallen het vervangen van de figuurlijke taal door letterlijke taal de grammatica van een zin zodanig vervormde dat de dialoogsystemen het niet langer konden begrijpen.