Jason Weston, met doctoraat in machine learning aan de Universiteit van Londen en Douwe Kiela, met een doctoraat van de Universiteit van Cambridge met een proefschrift over het aarden van semantiek in perceptuele modaliteiten, zijn onderzoekswetenschappers bij Facebook Research en hebben de wereld kennis laten maken met Talk the Walk van hun formidabele team.

Talk the Walk is een eye-opener voor wetenschappers die meer willen doen voor AI als gesprekspartner. Tegenwoordig, ze verheugen zich niet alleen over stemassistenten die mensen vertellen wanneer het concert begint of dat het gaat regenen. Wetenschappers onderzoeken doelgerichte dialogen.

Hoe makkelijk klinkt dat? Houd jezelf niet voor de gek. Het is moeilijk om daar te komen.

Snel bedrijf wendde zich tot Kiela om redenen waarom de inspanning van de toeristengids onderzoeksgewicht heeft. "Deze taak is erg belangrijk voor AI-onderzoek omdat het erg moeilijk is, " zegt Kiela, "en omdat het al deze interessante problemen combineert - driehonderdzestig visuele waarneming, op kaarten gebaseerde navigatie, visueel redeneren, en natuurlijke taalcommunicatie via dialoog."

Ze maakten het punt, eerst, die natuurlijke taal is voor de meeste mensen begrijpelijk "zonder dat er extra stappen of kennis nodig zijn om de betekenis ervan te ontcijferen." Tegen dat doel, Facebook's AI-onderzoeksgroep, KERMIS, zijn verslaafd aan een bepaalde strategie voor AI om taalbegrip op menselijk niveau te tonen.

Die strategie, Zij schreven, "is om die systemen op een meer natuurlijke manier te trainen, door taal te koppelen aan specifieke omgevingen. Net zoals baby's eerst leren benoemen wat ze kunnen zien en aanraken, deze benadering - ook wel belichaamde AI genoemd - bevordert leren in de context van de omgeving van een systeem, in plaats van te trainen door middel van grote datasets met tekst (zoals Wikipedia)."

Ga naar Talk the Walk. Ze leren AI-systemen om door de straten van New York te navigeren met behulp van taaluitwisselingen die natuurlijk klinken tussen gids en toerist. Twee bots hebben taken. De toeristenbot wil zich een weg banen door 360-gradenbeelden van wijken in New York City. De gidsbot is om te helpen met een kaart van de buurt. Het team gebruikte MASC (Masked Attention for Spatial Convolution) zodat de gidsbot zich op de juiste plaats op de kaart kon concentreren.

Ze zeiden dat hun doel is "die hoge mate van synthetische prestaties te bereiken door middel van natuurlijke taalinteractie, en om de gemeenschap uit te dagen hetzelfde te doen."

Informatie voor Talk the Walk staat op GitHub. "Door dit werk te delen, krijgen andere onderzoekers een kader om hun eigen belichaamde AI-systemen te testen, vooral met betrekking tot de dialoog."

Een 360-gradencamera legde 5 buurten vast, Hells keuken, Oost dorp, Financieël district, Boven-oostkant, en Williamsburg in Brooklyn. Daniel Terdiman in Snel bedrijf zei dat de gidsbot een standaard 2D-kaart met generieke waypoints gebruikte - "bank, " "coffeeshop, " "deli"—om de instructies te geven over hoe u moet navigeren.

Het betrokken AI-werk gaat over het waarnemen van een bepaalde omgeving, er doorheen navigeren, en daarover te communiceren. Lucas Matney in TechCrunch schreef dat "In "Talk the Walk, " de AI-bot van de gids had al deze 2D-kaartgegevens en de toeristenbot had al deze rijke 360 ​​visuele gegevens, maar het was alleen door met elkaar te communiceren dat ze hun richtlijnen konden uitvoeren."

Toerist:Woo, ik heb een Chipotle gevonden

Gids:"Cool."

De paper waarin hun werk wordt besproken, is te vinden op arXiv. Het is getiteld "Talk the Walk:Navigating New York City through Grounded Dialogue, " door Harm de Vries, Kurt Shuster, Dhruv Batra, Devi Parikh, Jason Weston en Douwe Kiela.

© 2018 Tech Xplore