Kunstmatige systemen zoals thuiszorgrobots of rijhulptechnologie komen steeds vaker voor, en het is tijd om te onderzoeken of mensen of algoritmen beter zijn in het lezen van emoties, vooral gezien de extra uitdaging die gezichtsbedekkingen met zich meebrengen.

In onze recente studie hebben we vergeleken hoe gezichtsmaskers of zonnebrillen ons vermogen om verschillende emoties te bepalen beïnvloeden in vergelijking met de nauwkeurigheid van kunstmatige systemen.

We presenteerden afbeeldingen van emotionele gezichtsuitdrukkingen en voegden twee verschillende soorten maskers toe:het volledige masker dat wordt gebruikt door eerstelijnswerkers en een recent geïntroduceerd masker met een transparant venster om liplezen mogelijk te maken.

Onze bevindingen laten zien dat algoritmen en mensen beide moeite hebben wanneer gezichten gedeeltelijk worden verduisterd. Maar kunstmatige systemen hebben meer kans om emoties op ongebruikelijke manieren verkeerd te interpreteren.

Kunstmatige systemen presteerden significant beter dan mensen bij het herkennen van emoties wanneer het gezicht niet bedekt was:98,48% vergeleken met 82,72% voor zeven verschillende soorten emoties.

Maar afhankelijk van het type bekleding varieerde de nauwkeurigheid voor zowel mensen als kunstmatige systemen. Zonnebrillen verdoezelden bijvoorbeeld de angst voor mensen, terwijl gedeeltelijke maskers zowel mensen als kunstmatige systemen hielpen om geluk correct te identificeren.

Belangrijk is dat mensen onbekende uitdrukkingen voornamelijk als neutraal classificeerden, maar kunstmatige systemen waren minder systematisch. Ze selecteerden vaak ten onrechte woede voor afbeeldingen die verborgen waren met een volledig masker, en ofwel woede, geluk, neutraal of verrassing voor gedeeltelijk gemaskeerde uitdrukkingen.

Gelaatsuitdrukkingen decoderen

Ons vermogen om emoties te herkennen gebruikt het visuele systeem van de hersenen om te interpreteren wat we zien. We hebben zelfs een hersengebied dat gespecialiseerd is voor gezichtsherkenning, het spoelvormige gezichtsgebied, dat helpt bij het interpreteren van informatie die door de gezichten van mensen wordt onthuld.

Samen met de context van een bepaalde situatie (sociale interactie, spraak en lichaamsbeweging) en ons begrip van gedrag uit het verleden en sympathie voor onze eigen gevoelens, kunnen we ontcijferen hoe mensen zich voelen.

Er is een systeem van gezichtsactie-eenheden voorgesteld voor het decoderen van emoties op basis van gezichtssignalen. Het omvat eenheden zoals 'de wangverhoger' en 'de liphoektrekker', die beide worden beschouwd als onderdeel van een uitdrukking van geluk.

Daarentegen analyseren kunstmatige systemen pixels van afbeeldingen van een gezicht bij het categoriseren van emoties. Ze geven pixelintensiteitswaarden door een netwerk van filters die het menselijke visuele systeem nabootsen.

De bevinding dat kunstmatige systemen emoties van gedeeltelijk verduisterde gezichten verkeerd classificeren, is belangrijk. Het kan leiden tot onverwacht gedrag van robots die interactie hebben met mensen die gezichtsmaskers dragen.

Stel je voor dat ze een negatieve emotie, zoals woede of verdriet, verkeerd classificeren als een positieve emotionele uitdrukking. De kunstmatige systemen zouden proberen te communiceren met een persoon die actie onderneemt op basis van de misleide interpretatie waar hij blij mee is. Dit kan nadelige gevolgen hebben voor de veiligheid van deze kunstmatige systemen en de interactie tussen mensen.

Risico's van het gebruik van algoritmen om emoties te lezen

Ons onderzoek herhaalt dat algoritmen vatbaar zijn voor vooroordelen in hun oordeel. De prestaties van kunstmatige systemen worden bijvoorbeeld sterk beïnvloed als het gaat om het categoriseren van emoties uit natuurlijke beelden. Zelfs alleen de hoek of schaduw van de zon kan de resultaten beïnvloeden.

Algoritmen kunnen ook raciaal vooringenomen zijn. Zoals eerdere studies hebben aangetoond, kan zelfs een kleine verandering in de kleur van het beeld, die niets te maken heeft met emotionele expressies, leiden tot een verminderde prestatie van algoritmen die worden gebruikt in kunstmatige systemen.

Alsof dat nog niet genoeg van een probleem was, kunnen zelfs kleine visuele verstoringen, niet waarneembaar voor het menselijk oog, ervoor zorgen dat deze systemen een invoer verkeerd identificeren als iets anders.

Sommige van deze problemen met verkeerde classificatie kunnen worden aangepakt. Algoritmen kunnen bijvoorbeeld worden ontworpen om rekening te houden met emotiegerelateerde kenmerken zoals de vorm van de mond, in plaats van informatie te halen uit de kleur en intensiteit van pixels.

Een andere manier om dit aan te pakken is door de kenmerken van de trainingsgegevens te wijzigen:de trainingsgegevens oversamplen zodat algoritmen menselijk gedrag beter nabootsen en minder extreme fouten maken wanneer ze een uitdrukking verkeerd classificeren.

Maar over het algemeen nemen de prestaties van deze systemen af ​​bij het interpreteren van afbeeldingen in echte situaties wanneer gezichten gedeeltelijk bedekt zijn.

Hoewel robots een hogere dan menselijke nauwkeurigheid claimen in emotieherkenning voor statische afbeeldingen van volledig zichtbare gezichten, is hun prestatie in echte situaties die we elke dag ervaren, nog steeds niet menselijk.