Virtual Reality (VR) opent spannende nieuwe grenzen in de ontwikkeling van videogames, de weg vrijmaken voor steeds realistischer, interactieve en meeslepende game-ervaringen. VR-consoles, in feite, laat gamers voelen alsof ze bijna in het spel zijn, het overwinnen van beperkingen die verband houden met weergaveresolutie en latentieproblemen.

Een interessante verdere integratie voor VR zou emotieherkenning zijn, omdat dit de ontwikkeling van games mogelijk maakt die in realtime reageren op de emoties van een gebruiker. Met dit in gedachten, een team van onderzoekers van Yonsei University en Motion Device Inc. hebben onlangs een op diep leren gebaseerde techniek voorgesteld die emotieherkenning mogelijk zou kunnen maken tijdens VR-game-ervaringen. Hun paper werd gepresenteerd op de 2019 IEEE Conference on Virtual Reality and 3D User Interfaces.

Om VR te laten werken, gebruikers dragen head-mounted displays (HMD's), zodat de inhoud van een game direct voor hun ogen kan worden gepresenteerd. Het samenvoegen van emotieherkenningstools met VR-game-ervaringen is dus een uitdaging gebleken, aangezien de meeste machinale leermodellen voor het voorspellen van emoties werken door de gezichten van mensen te analyseren; in VR, het gezicht van een gebruiker wordt gedeeltelijk afgesloten door de HMD.

Het team van onderzoekers van Yonsei University en Motion Device heeft drie convolutionele neurale netwerken (CNN's) getraind, namelijk DenseNet, ResNet en Inception-ResNet-V2 - om de emoties van mensen te voorspellen op basis van gedeeltelijke afbeeldingen van gezichten. Ze namen beelden van de Radbound Faces Dataset (RaFD), waaronder 8, 040 gezichtsbeelden van 67 onderwerpen, bewerkte ze vervolgens door het deel van het gezicht te bedekken dat door de HMD zou worden afgedekt bij gebruik van VR.

De afbeeldingen die worden gebruikt om de algoritmen te trainen, tonen menselijke gezichten, maar het gedeelte met ogen, oren en wenkbrauwen is bedekt met een zwarte rechthoek. Toen de onderzoekers hun CNN's evalueerden, ze ontdekten dat ze emoties konden classificeren, zelfs zonder deze specifieke kenmerken van iemands gezicht te analyseren, die van cruciaal belang worden geacht voor de herkenning van emoties.

Algemeen, de CNN genaamd DenseNet presteerde beter dan de anderen, met een gemiddelde nauwkeurigheid van meer dan 90 procent. interessant, echter, het ResNet-algoritme presteerde beter dan de andere twee bij het classificeren van gezichtsuitdrukkingen die angst en walging uitstraalden.

"We hebben met succes drie CNN-architecturen getraind die de emoties schatten van de gedeeltelijk bedekte menselijke gezichtsafbeeldingen, " schreven de onderzoekers in hun paper. "Ons onderzoek toonde de mogelijkheid aan om emoties te schatten van afbeeldingen van mensen die HMD's dragen met behulp van machinevisie."

De studie suggereert dat in de toekomst, emotieherkenningstools kunnen worden geïntegreerd met VR-technologie, zelfs als HMD's delen van het gezicht van een gamer afsluiten. In aanvulling, de CNN's die de onderzoekers ontwikkelden, zouden andere onderzoeksteams wereldwijd kunnen inspireren om nieuwe emotieherkenningstechnieken te ontwikkelen die kunnen worden toegepast op VR-gaming.

De onderzoekers zijn nu van plan om de zwarte rechthoeken die ze in hun onderzoek gebruikten te vervangen door echte afbeeldingen van mensen die HDM's dragen. Dit zou hen uiteindelijk in staat moeten stellen de CNN's betrouwbaarder en effectiever te trainen, voorbereiden op toepassingen in de praktijk.

© 2019 Wetenschap X Netwerk