Een wijd opengesperde, zachte stemrobot genaamd Pepper motoren rond het Intelligent Systems Lab van het Rensselaer Polytechnic Institute. Een van de onderzoekers test Pepper, maakt verschillende gebaren terwijl de robot nauwkeurig beschrijft wat hij doet. Als hij zijn armen kruist, de robot identificeert aan de hand van zijn lichaamstaal dat er iets niet in orde is.

"Hallo, wees vriendelijk tegen mij, ' zegt Peper.

Pepper's vermogen om non-verbale signalen op te pikken is het resultaat van de verbeterde 'visie' die de onderzoekers van het lab ontwikkelen. Met behulp van geavanceerde computervisie en kunstmatige intelligentietechnologie, het team verbetert het vermogen van robots zoals deze om op natuurlijke wijze met mensen om te gaan.

"Wat we tot nu toe hebben gedaan, is het toevoegen van visuele begripsmogelijkheden aan de robot, zodat het menselijk handelen kan waarnemen en op natuurlijke wijze met mensen kan communiceren door middel van dit non-verbale gedrag, zoals lichaamsgebaren, gezichtsuitdrukkingen, en lichaamshouding, " zei Qiang Ji, hoogleraar elektriciteit, computer, en systeemtechniek, en de directeur van het Intelligent Systems Lab.

Met de steun van de overheid door de jaren heen, onderzoekers van Rensselaer hebben het menselijk gezicht en lichaam in kaart gebracht zodat computers, met behulp van camera's ingebouwd in de robots en machine learning-technologieën, kan non-verbale signalen waarnemen en menselijke actie en emotie identificeren.

Onder andere, Pepper kan tellen hoeveel mensen er in een kamer zijn, scan een gebied om een ​​bepaalde persoon te zoeken, de leeftijd van een persoon inschatten, gezichtsuitdrukkingen herkennen, en houd oogcontact tijdens een interactie.

Een andere robot, genaamd Zeno, lijkt meer op een persoon en heeft motoren in zijn gezicht waardoor het in staat is om de menselijke uitdrukking nauw te weerspiegelen. Het onderzoeksteam heeft Zeno's vermogen om menselijke gezichtscommunicatie in realtime na te bootsen, tot aan wenkbrauw- en zelfs oogbolbewegingen verbeterd.

Ji ziet computervisie als de volgende stap in het ontwikkelen van technologieën waarmee mensen dagelijks thuis communiceren. Momenteel, meest populaire AI-enabled virtuele assistenten zijn bijna volledig afhankelijk van vocale interacties.

"Er is geen visiecomponent. Kortom, het is alleen een audiocomponent, " zei Ji. "In de toekomst, we denken dat het multimodaal wordt, met zowel verbale als non-verbale interactie met de robot."

Het team werkt aan andere visiegerichte ontwikkelingen, zoals technologie die oogbewegingen zou kunnen volgen. Dergelijke tools kunnen worden toegepast op smartphones en tablets.

Ji zei dat het onderzoek dat in zijn laboratorium wordt gedaan momenteel wordt ondersteund door de National Science Foundation en Defense Advanced Research Projects Agency. In aanvulling, het Intelligent Systems Lab heeft in de loop der jaren financiering ontvangen van openbare en particuliere bronnen, waaronder het Amerikaanse ministerie van Defensie, het Amerikaanse ministerie van transport, en Honda.

Wat Ji's team aan het ontwikkelen is, kan ook worden gebruikt om wegen veiliger te maken, hij zei, door computervisiesystemen in auto's te installeren.

"We zullen deze technologie kunnen gebruiken om uiteindelijk te detecteren of de bestuurder vermoeid is, of de bestuurder is afgeleid, " zei hij. "Het onderzoek dat we doen is meer mensgerichte AI. We willen AI ontwikkelen, machine learning-technologie, om niet alleen de fysieke mogelijkheden van mensen uit te breiden, maar ook hun cognitieve capaciteiten."

Dat is waar Pepper en Zeno binnenkomen. Ji stelt zich een tijd voor waarin robots mensen gezelschap kunnen houden en hun leven kunnen verbeteren. Hij zei dat dat het uiteindelijke doel is.

"Deze robot kan in de toekomst een metgezel zijn voor mensen, "Ji zei, wijzend naar Peper. "Het zou naar mensen kunnen luisteren, menselijke emotie begrijpen, en reageren door zowel verbaal als non-verbaal gedrag om aan de behoeften van mensen te voldoen."