Een team van onderzoekers van de University of North Carolina in Chapel Hill en de University of Maryland in College Park heeft onlangs een nieuw deep learning-model ontwikkeld dat de emoties van mensen kan identificeren op basis van hun loopstijl. Hun aanpak, geschetst in een paper dat vooraf is gepubliceerd op arXiv, werkt door het lopen van een persoon te extraheren uit een RGB-video van hem/haar lopen, analyseer het en classificeer het als een van de vier emoties:blij, verdrietig, boos of neutraal.

"Emoties spelen een belangrijke rol in ons leven, onze ervaringen definiëren, en het vormgeven van hoe we de wereld zien en omgaan met andere mensen, "Tanmay Randhavane, een van de primaire onderzoekers en een afgestudeerde student aan UNC, vertelde TechXplore. "Het waarnemen van de emoties van andere mensen helpt ons hun gedrag te begrijpen en onze acties jegens hen te bepalen. Bijvoorbeeld, mensen communiceren heel anders met iemand die ze als boos en vijandig beschouwen dan met iemand die ze als kalm en tevreden beschouwen."

De meeste bestaande tools voor emotieherkenning en identificatie werken door gezichtsuitdrukkingen of stemopnames te analyseren. Echter, eerdere studies suggereren dat lichaamstaal (bijv. houding, bewegingen, etc.) kan ook veel zeggen over hoe iemand zich voelt. Geïnspireerd door deze observaties, de onderzoekers wilden een tool ontwikkelen die automatisch de waargenomen emotie van individuen kan identificeren op basis van hun loopstijl.

"Het belangrijkste voordeel van onze benadering van waargenomen emotieherkenning is dat het twee verschillende technieken combineert, " zei Randhavane. "Naast het gebruik van deep learning, onze aanpak maakt ook gebruik van de bevindingen van psychologische onderzoeken. Een combinatie van beide technieken geeft ons een voordeel ten opzichte van de andere methoden."

De aanpak haalt eerst het looppatroon van een persoon uit een RGB-video van het lopen, die het voorstelt als een reeks 3D-poses. Vervolgens, de onderzoekers gebruikten een recurrent neuraal netwerk op lange korte termijn (LSTM) en een classificatie van willekeurig bos (RF) om deze houdingen te analyseren en de meest prominente emotie te identificeren die door de persoon in de video werd gevoeld, kiezen tussen geluk, droefheid, boos of neutraal.

De LSTM wordt in eerste instantie getraind op een reeks diepgaande functies, maar deze worden later gecombineerd met affectieve kenmerken die worden berekend uit de gangen met behulp van houdings- en bewegingsaanwijzingen. Al deze functies worden uiteindelijk geclassificeerd met behulp van de RF-classificatie.

Randhavane en zijn collega's voerden een reeks voorlopige tests uit op een dataset met video's van wandelende mensen en ontdekten dat hun model de waargenomen emoties van individuen met 80 procent nauwkeurigheid kon identificeren. In aanvulling, hun aanpak leidde tot een verbetering van ongeveer 14 procent ten opzichte van andere waargenomen emotieherkenningsmethoden die zich richten op de loopstijl van mensen.

"Hoewel we geen beweringen doen over de werkelijke emoties die een persoon ervaart, onze aanpak kan een schatting geven van de waargenomen emotie van die loopstijl, "Aniket Bera, een onderzoekshoogleraar bij de afdeling Informatica, het begeleiden van het onderzoek, vertelde TechXplore. "Er zijn veel toepassingen voor dit onderzoek, variërend van een betere menselijke perceptie van robots en autonome voertuigen tot verbeterde bewaking tot het creëren van boeiendere ervaringen in augmented en virtual reality."

Samen met Tanmay Randhavane en Aniket Bera, het onderzoeksteam achter deze studie omvat Dinesh Manocha en Uttaran Bhattacharya aan de Universiteit van Maryland in College Park, evenals Kurt Gray en Kyra Kapsaskis van de psychologieafdeling van de Universiteit van North Carolina in Chapel Hill.

Om hun deep learning-model te trainen, de onderzoekers hebben ook een nieuwe dataset samengesteld genaamd Emotion Walk (EWalk), die video's bevat van individuen die zowel binnen als buiten wandelen, gelabeld met waargenomen emoties. In de toekomst, deze dataset kan door andere teams worden gebruikt om nieuwe emotieherkenningstools te ontwikkelen en te trainen die zijn ontworpen om beweging te analyseren, houding, en/of gang.

"Ons onderzoek bevindt zich in een zeer primitief stadium, " zei Bera. "We willen verschillende aspecten van de lichaamstaal onderzoeken en kijken naar meer signalen zoals gezichtsuitdrukkingen, toespraak, vocale patronen, enzovoort., en gebruik een multimodale benadering om al deze signalen te combineren met gangen. Momenteel, we gaan ervan uit dat de loopbeweging natuurlijk is en dat er geen accessoires (bijv. koffer, mobieltjes, enzovoort.). Als onderdeel van toekomstige werkzaamheden, we willen graag meer data verzamelen en ons deep-learningmodel beter trainen. We zullen ook proberen onze methodologie uit te breiden om meer activiteiten te overwegen, zoals hardlopen, gebaren, enzovoort."

Volgens Bera, Emotieherkenningstools kunnen binnenkort helpen bij het ontwikkelen van robots met geavanceerdere navigatie, planning, en interactievaardigheden. In aanvulling, modellen zoals die van hen kunnen worden gebruikt om afwijkend gedrag of looppatronen te detecteren uit video's of CCTV-beelden, bijvoorbeeld het identificeren van personen die het risico lopen zelfmoord te plegen en het waarschuwen van autoriteiten of zorgverleners. Hun model zou ook kunnen worden toegepast in de VFX- en animatie-industrie, waar het ontwerpers en animators zou kunnen helpen bij het creëren van virtuele personages die bepaalde emoties effectief uitdrukken.

© 2019 Wetenschap X Netwerk