Het gezegde luidt dat een foto meer zegt dan duizend woorden. Maar wat als je niet kunt zien wat de foto laat zien? Van onhandige familiefoto's tot klasfoto's, soms is het lastig om te vertellen wat de mensen op de foto's denken.

Door gebruik te maken van machine learning en deep learning met neurale netwerken, een team van de Universiteit van Delaware zoekt dat uit. Een team onder leiding van promovendus Xin (Cindy) Guo scoorde de eerste plaats in de subchallenge Emotion Recognition op groepsniveau, een van de drie subuitdagingen in de 6e Emotion Recognition in the Wild (EmotiW 2018) Challenge. De winnaars werden bekend gemaakt op de ACM International Conference on Multimodal Interaction 2018, die in oktober 2018 werd gehouden.

Teams kregen een reeks afbeeldingen van een groep mensen en kregen de opdracht een algoritme te ontwikkelen dat de mensen op de foto's kon classificeren als gelukkig, neutraal of negatief. Teams hadden anderhalve maand en zeven pogingen om het meest nauwkeurige algoritme te produceren. De winnende oplossing van het UD-team, getiteld "Emotieherkenning op groepsniveau met hybride diepe modellen op basis van gezichten, Scènes, Skeletten en visuele aandacht, " zal worden gepubliceerd door ACM. De groep heeft acht verschillende modellen samengevoegd om hun winnende oplossing te ontwikkelen, die werkt op foto's met verschillende resoluties, wazig om te wissen.

Het doel van dergelijk werk? Om afbeeldingen die naar websites zijn geüpload automatisch te classificeren.

"Als mensen zoeken, ze zouden de afbeeldingen zien waarnaar ze op zoek zijn omdat het algoritme zou draaien en labelen of mensen gelukkig zijn of niet, "zei Guo. "Het kan worden gebruikt om de emoties te analyseren van een groep mensen die tijdens een protest is afgebeeld, een feestje, een bruiloft, of een vergadering, bijvoorbeeld. Deze technologie zou ook kunnen worden ontwikkeld om te bepalen wat voor soort evenement een bepaald beeld laat zien."