Een team van computerwetenschappers van het Interdisciplinair Centrum in Israël heeft een innovatieve methode ontwikkeld om artistieke portretten automatisch te analyseren, het vastleggen van een hoog detailniveau en nauwkeurigheid van de portretten, evenals de individuele stijl van de kunstenaar. Gericht op het bedenken van een computationele methode om gelaatstrekken in kunstwerken te detecteren, of gezichtsoriëntatiepunten zoals ooghoeken of mondhoeken, de onderzoekers hebben met succes het werk dat is gedaan in foto's van natuurlijke gezichtsafbeeldingen uitgebreid naar het artistieke portretgebied.

"Omdat er geen trainingsgegevens zijn van portretschilderijen die gezichtsoriëntatiepunten bevatten, ons belangrijkste idee was om dergelijke gegevens te creëren met behulp van wat we 'artistieke augmentatie' noemen, '" zegt professor Ariel Shamir, hoofdauteur van de studie en decaan van de Efi Arazi School of Computer Science in het Interdisciplinair Centrum Herzliya. "We transformeren fotografische gezichtsgegevens zodat ze meer lijken op artistieke portretten en gebruiken deze om nieuwe modellen te trainen voor neurale netwerken die beter werken voor artistieke input. Door onze modellen te gebruiken, we kregen niet alleen een betere precisie bij portretten, maar we hebben ook niet veel nauwkeurigheid verloren op natuurlijke gezichten."

Shamir, samen met zijn studenten Jordan Yaniv en Yael Newman, zullen hun werk presenteren op SIGGRAPH 2019, gehouden van 28 juli - 1 augustus in Los Angeles. Deze jaarlijkse bijeenkomst toont 's werelds toonaangevende professionals, academici, en creatieve geesten in de voorhoede van computergraphics en interactieve technieken.

Oriëntatiepunten leiden de stijl

De belangrijkste verschillen tussen artistieke portretten en natuurlijke gezichtsafbeeldingen zijn tweeledig:verschillen in textuur en geometrische verschillen. Werk in het verleden op dit onderzoeksgebied was voornamelijk gericht op het vastleggen van de uiterlijke stijl van kunst, en niet de geometrische stijl. Met artistieke portretten, geometrische stijl is absoluut noodzakelijk, let op de auteurs van de studie, maar uitdagend om vast te leggen aangezien elke artiest zijn eigen creatieve, aparte stijl.

"Bijvoorbeeld, de Italiaanse schilder Clemente Modigliani staat bekend om het schilderen van langgerekte gezichten, en de Amerikaanse schilder Margaret Keane staat bekend om het schilderen van gezichten met zeer grote, overdreven ogen, " zegt Shamir. "Ons werk stelt computers en algoritmen in staat om deze informatie te onthullen en dit aspect van geometrische stijl in portretschilderijen te herkennen."

Om geometrische stijlen in portretten vast te leggen, er is behoefte aan het herkennen van de gelaatstrekken en de structuur van het gezicht in het schilderij. Hiertoe, de methode van de onderzoekers concentreert zich op het detecteren van gelaatstrekken in het kunstwerk, met behulp van oriëntatiepunten op het gezicht. Afhankelijk van de stijl van de kunstenaar, deze kenmerken kunnen divers van vorm en overdreven zijn, niet lijken op echte menselijke gezichten. Om deze uitdaging te overwinnen, ze passen een bekende methode toe genaamd "augmentatie" van natuurlijke gezichtsafbeeldingen, het transformeren van foto's van natuurlijke gezichtsbeelden zodat ze meer lijken op "artistieke" portretten, en train neurale netwerken om de oriëntatiepunten te detecteren.

De onderzoekers evalueerden hun historische detectiemethode door een dataset van artistieke gezichten te maken met 160 artistieke portretten van 16 verschillende artiesten van verschillende genres en stijlen, met grote variaties in zowel geometrie als textuur. In de krant waarin hun werk wordt geschetst, ze demonstreren ook verschillende toepassingen voor artistieke detectie van gezichtskenmerken en geometrische stijlanalyse. Deze omvatten het begrijpen van de stijl van specifieke artiesten, stijlen van verschillende artiesten vergelijken, en het volgen van mogelijke trends van artistieke stijlen. Een andere populaire toepassing is stijloverdracht:waarbij men een gegeven invoerbeeld van een gezicht kan transformeren naar een schilderij in de stijl van een bepaalde kunstenaar, zowel qua textuur als geometrie.

Bij toekomstig werk, het team hoopt de handtekening van de geometrische stijl te gebruiken om classificaties te bouwen die een specifieke artiest kunnen herkennen en de definitie van geometrische stijl buiten gezichten uit te breiden - een huidige uitdaging in computergraphics en kunst.