De heilige graal van kunstmatige intelligentie is een machine die de menselijke taal echt begrijpt en betekenis interpreteert uit complexe, genuanceerde passages. Toen IBM's Watson-computer het beroemde "Jeopardy!" kampioen Ken Jennings in 2011, het leek alsof die mijlpaal was bereikt. Echter, iedereen die heeft geprobeerd een gesprek te voeren met virtuele assistent Siri, weet dat computers nog een lange weg te gaan hebben om de menselijke taal echt te begrijpen. Om taal beter te begrijpen, computersystemen moeten trainen met vragen die hen uitdagen en de volledige complexiteit van de menselijke taal weerspiegelen.

Onderzoekers van de Universiteit van Maryland hebben ontdekt hoe ze dergelijke vragen op een betrouwbare manier kunnen creëren door middel van een samenwerking tussen mens en computer. het ontwikkelen van een dataset van meer dan 1, 200 vragen die, hoewel gemakkelijk voor mensen om te beantwoorden, stomp de beste computer antwoordsystemen vandaag. Het systeem dat deze vragen leert beheersen, zal de taal beter begrijpen dan welk systeem dan ook dat momenteel bestaat. Het werk wordt beschreven in een artikel gepubliceerd in het 2019-nummer van het tijdschrift Transacties van de Vereniging voor Computerlinguïstiek .

"De meeste computersystemen die vragen beantwoorden, leggen niet uit waarom ze antwoorden zoals ze doen, maar ons werk helpt ons te zien wat computers eigenlijk begrijpen, " zei Jordan Boyd-Graber, universitair hoofddocent computerwetenschappen aan de UMD en senior auteur van het artikel. "In aanvulling, we hebben een dataset geproduceerd om op computers te testen die zal onthullen of een computertaalsysteem daadwerkelijk dezelfde soorten verwerking leest en uitvoert als mensen kunnen doen."

Het meeste huidige werk om programma's voor het beantwoorden van vragen te verbeteren, maakt gebruik van menselijke auteurs of computers om vragen te genereren. De inherente uitdaging in deze benaderingen is dat wanneer mensen vragen schrijven, ze weten niet welke specifieke elementen van hun vraag verwarrend zijn voor de computer. Als computers de vragen schrijven, ze schrijven ofwel formeel, vul de lege vragen in of maak fouten, levert soms onzin op.

Om hun nieuwe benadering van mensen en computers te ontwikkelen die samenwerken om vragen te genereren, Boyd-Graber en zijn team creëerden een computerinterface die onthult wat een computer "denkt" terwijl een menselijke schrijver een vraag typt. De schrijver kan dan zijn of haar vraag bewerken om de zwakke punten van de computer uit te buiten.

In de nieuwe interface, een menselijke auteur typt een vraag terwijl de gissingen van de computer in gerangschikte volgorde op het scherm verschijnen, en de woorden die de computer ertoe brachten zijn gissingen te maken, worden gemarkeerd.

Bijvoorbeeld, als de auteur schrijft:"Welke variaties van de componist op een thema van Haydn werden geïnspireerd door Karl Ferdinand Pohl?" en het systeem antwoordt correct "Johannes Brahms, " de interface markeert de woorden "Ferdinand Pohl" om te laten zien dat deze zin hem naar het antwoord leidde. Met behulp van die informatie, de auteur kan de vraag bewerken om het moeilijker te maken voor de computer zonder de betekenis van de vraag te veranderen. In dit voorbeeld, de auteur verving de naam van de man die Brahms inspireerde, "Karl Ferdinand Pohl, " met een beschrijving van zijn werk, "de archivaris van de Weense Musikverein, " en de computer kon niet correct antwoorden. deskundige menselijke quizspelers konden de bewerkte vraag nog steeds gemakkelijk correct beantwoorden.

Door samen te werken, mensen en computers hebben zich betrouwbaar ontwikkeld 1, 213 computerverslindende vragen die de onderzoekers testten tijdens een wedstrijd waarbij ervaren menselijke spelers werden gebruikt - van trivia-teams op de middelbare school tot 'Jeopardy!' kampioenen - tegen computers. Zelfs het zwakste menselijke team versloeg het sterkste computersysteem.

"Drie of vier jaar lang mensen zijn zich ervan bewust dat computersystemen voor het beantwoorden van vragen erg broos zijn en heel gemakkelijk voor de gek kunnen worden gehouden, " zei Shi Feng, een UMD-student in de computerwetenschappen en een co-auteur van het papier. "Maar dit is het eerste artikel waarvan we weten dat het een machine gebruikt om mensen te helpen het model zelf te breken."

De onderzoekers zeggen dat deze vragen niet alleen zullen dienen als een nieuwe dataset voor computerwetenschappers om beter te begrijpen waar natuurlijke taalverwerking faalt, maar ook als trainingsdataset voor het ontwikkelen van verbeterde machine learning-algoritmen. De vragen onthulden zes verschillende taalfenomenen die computers consequent stompen.

Deze zes verschijnselen vallen in twee categorieën. In de eerste categorie vallen taalkundige verschijnselen:parafraseren (zoals zeggen "van een afgrond springen" in plaats van "van een klif springen"), afleidende taal of onverwachte contexten (zoals een verwijzing naar een politieke figuur die voorkomt in een aanwijzing over iets dat niets met politiek te maken heeft). De tweede categorie omvat redeneervaardigheden:aanwijzingen die logica en berekening vereisen, mentale triangulatie van elementen in een vraag, of het samenstellen van meerdere stappen om een ​​conclusie te vormen.

"Mensen kunnen meer generaliseren en diepere verbanden zien, Boyd-Graber zei. "Ze hebben niet het grenzeloze geheugen van computers, maar ze hebben nog steeds het voordeel door de bomen het bos te kunnen zien. Door de problemen die computers hebben te catalogiseren, krijgen we inzicht in de problemen die we moeten aanpakken, zodat we computers daadwerkelijk door de bomen het bos kunnen laten zien en vragen kunnen beantwoorden zoals mensen dat doen."

Er is nog een lange weg te gaan voordat dat gebeurt, voegt Boyd-Graber toe, die ook co-afspraken heeft aan het University of Maryland Institute for Advanced Computer Studies (UMIACS) en het College of Information Studies en Language Science Center van UMD. Maar dit werk biedt een opwindend nieuw hulpmiddel om computerwetenschappers te helpen dat doel te bereiken.

"Dit artikel beschrijft een onderzoeksagenda voor de komende jaren, zodat we computers daadwerkelijk vragen kunnen laten beantwoorden, " hij zei.