Google's AI-wetenschappers hebben Meena onthuld. Tech-watchers noemen het een chatbot-doorbraak. Punten voor reacties die goed aansluiten bij de menselijke bedoelingen. Punten voor relevante woordkeuzes. Punten om (hijgend) verstandig te klinken.

Voicebot.AI genageld de doelen van de inspanning van dit Meena-team. Je kon niet dichterbij komen bij wat gefrustreerde gebruikers van chatbots wilden dat uit de lucht zou komen vallen. "De wetenschappers achter Meena hebben de chatbot gebouwd om te reageren op berichten van mensen, om bij het onderwerp te blijven, en zich zo veel mogelijk als een ander mens te gedragen."

Het artikel maakte ook duidelijk waarom Meena zich onderscheidt van bekende stemassistenten:"Meena kan in theorie over alles praten, niet alleen de onderwerpen die er al in zijn geprogrammeerd."

Een pluim van andere tech-watchers ging over een gesprek dat werd geleverd op een niveau dat meer aanvoelde als praten met een andere persoon dan met een bestaande chatbot.

De Quinta :Google komt met een eigen chatbot genaamd Meena, en "Vroege tekenen suggereren dat de zoekgigant iets op het spoor is dat de dynamiek van chatbots in de industrie zou kunnen veranderen."

Neowin :"De op AI gebaseerde chatbot van Google overtreft mogelijk alle andere chatbots die vandaag beschikbaar zijn."

ZDNet zei het programma "heeft weinig van de absurde, onzinnige uitspraken die tot nu toe kenmerkend waren voor chatbots. Het blijft vrijwel bij het onderwerp en reageert op details in een gesprek, zoals beoordeeld door menselijke recensenten."

Douglas Heaven in MIT Technology Review :"Een open gesprek over een breed scala aan onderwerpen is moeilijk, en de meeste chatbots kunnen het niet bijhouden. Op een gegeven moment zeggen de meesten dingen die nergens op slaan of onthullen een gebrek aan basiskennis over de wereld. Een chatbot die dergelijke fouten vermijdt, zal een grote bijdrage leveren aan het menselijker maken van AI's, en karakters in videogames levensechter te maken."

Een Google AI-blogbericht van Google Research, Hersenteam, onderzocht dit concept van open-domein:

"Om een ​​breed scala aan gespreksonderwerpen beter te kunnen behandelen, Onderzoek naar open-domain dialogen verkent een complementaire benadering om een ​​chatbot te ontwikkelen die niet gespecialiseerd is, maar die nog steeds kan chatten over vrijwel alles wat een gebruiker wil."

Dit, ze zeiden, kan leiden tot fascinerende toepassingen:"zoals het verder humaniseren van computerinteracties, het verbeteren van de vreemdetalenpraktijk, en het maken van herkenbare interactieve film- en videogamekarakters."

De mensen achter Meena hebben zichzelf opscheppen gegeven waarover ze niet hebben teruggehouden. Hun paper is getiteld "Towards a Human-like Open-Domain Chatbot, " en het staat op de arXiv-server.

"Onze bijdragen zijn ... het voorstellen van een eenvoudige menselijke evaluatiestatistiek voor multi-turn opendomain chatbots die basis, maar belangrijke kenmerken van menselijke conversatie... wat aantoont dat een end-to-end neuraal model met voldoende lage perplexiteit de gevoeligheid en specificiteit van bestaande chatbots die afhankelijk zijn van complexe, handgemaakte raamwerken die in de loop van vele jaren zijn ontwikkeld."

Google's Meena-chatbot scoort laag op 'verbijstering' en, op dit moment, laag is een positief; Meena heeft minder moeite om het juiste woord te vinden.

Het team verklaarde dat "We presenteren Meena, een multi-turn open-domein chatbot."

S Aadeetya in De Quinta legde uit wat Google bedoelde door Meena een open-domeinplatform te noemen. Gebruikers kunnen vanaf elk platform vragen typen en vragen stellen en een gesprek voeren zonder hun expertise te beperken.

Degenen die het artikel over arXiv doornamen, benadrukten vaak Meena's Sensibleness and Specificity Average (SSA).

Wat is de SSA? Meena werd getest met een 'menselijke evaluatie'-metriek, deze SSA. Het legt de belangrijkste elementen vast van een mensachtige "multi-turn conversatie, " zoals beschreven in de krant.

Ze zeiden dat "een SSA op menselijk niveau van 86% potentieel binnen bereik is als we perplexiteit beter kunnen optimaliseren. Bovendien, de volledige versie van Meena (met een filtermechanisme en afgestemde decodering) scoort 79% SSA, 23% hoger in absolute SSA dan de bestaande chatbots die we hebben geëvalueerd."

Ofer Ronen, Chatbase algemeen manager, Google-gebied 120, verscheen in een ZDNet interview om uit te leggen wat chatbots hebben bereikt en hoe ze niet altijd aan de behoeften van gebruikers hebben voldaan. Mensen praten graag, spraak gebruiken, en dat alleen al vormt een probleem in het mens-tot-machinetijdperk. Er zijn veel manieren om hetzelfde te vragen, zei Ronen.

Tiernan Ray in ZDNet maakte niettemin duidelijk dat Meena veel heeft bereikt, maar de gesprekservaring zal naar verwachting soepel maar niet sprankelend zijn.

"Mensen werden ingezet als massawerkers om elk gesprek te beoordelen op zijn 'gevoeligheid' en zijn 'specificiteit, ' en zulke voorbeelden doen, inderdaad, grote vooruitgang boeken met eerdere chatbots. ...Helaas, de mensen werden door Adiwardana en collega's niet gevraagd om gesprekken te beoordelen op 'interessant, ' omdat deze en andere uitwisselingen in de steekproef ongelooflijk saai zijn."

Maar daar moet je het niet bij laten, omdat het erop lijkt dat het team zijn stappen vooruit heeft gerealiseerd, terwijl ze hun werk evalueren en welke doelen nog moeten worden bereikt. Ze schreven in hun krant:

"Verder, het kan nodig zijn om de reeks fundamentele mensachtige gespreksattributen uit te breiden die verder worden gemeten dan gevoeligheid en specificiteit. Sommige richtingen kunnen humor bevatten, empathie, diepe redenering, vragen te beantwoorden en kennis discussie vaardigheden. "

Dit is in de beginfase van zijn ontwikkeling, en Meena zal verder worden geëvalueerd voordat je er echt mee kunt praten, aldus rapporten.

Hoe werd Meena opgeleid? MIT Technology Review verwees naar een echte "dataslurp" toen Meena werd getraind op 341 gigabyte aan openbare chatter op sociale media. Neowin ging in op hun "training op 341 GB aan sociale-mediagesprekken en met een end-to-end getraind neuraal conversatiemodel met 2,6 miljard parameters."

© 2020 Wetenschap X Netwerk