Karikatuurportretten tekenen is een aparte kunstvorm waarbij kunstenaars het gezicht van een persoon op een overdreven manier schetsen, meestal om humor uit te lokken. Het automatiseren van deze techniek brengt uitdagingen met zich mee vanwege de hoeveelheid ingewikkelde details en vormen die erbij komen kijken en het niveau van professionele vaardigheden dat nodig is om een ​​persoon artistiek te transformeren van zijn echte zelf naar een creatief overdreven zelf.

Een team van computerwetenschappers van de City University of Hong Kong en Microsoft, een innovatieve, op deep learning gebaseerde benadering hebben ontwikkeld om automatisch de karikatuur van een bepaald portret te genereren, en om gebruikers in staat te stellen dit efficiënt en realistisch te doen.

"Vergeleken met traditionele grafische methoden die handgemaakte regels definiëren, onze nieuwe aanpak maakt gebruik van big data en machine learning om karikaturen te synthetiseren uit duizenden voorbeelden van professionele kunstenaars, " zegt Kaidi Cao, hoofdauteur, die momenteel een afgestudeerde student in computerwetenschappen is aan de Stanford University, maar het werk heeft uitgevoerd tijdens zijn stage bij Microsoft. "Hoewel bestaande methoden voor stijloverdracht zich voornamelijk hebben gericht op uiterlijk, onze techniek bereikt zowel geometrische overdrijving als uiterlijkstilering die betrokken zijn bij het tekenen van karikaturen." De methode stelt gebruikers in staat karikaturen van portretten te automatiseren, en kan worden toegepast op taken zoals het maken van karikaturale avatars voor sociale media, en het ontwerpen van stripfiguren. De techniek heeft ook potentiële toepassingen in marketing, reclame en journalistiek.

Cao werkte aan het onderzoek samen met Jing Liao van City University of Hong Kong en Lu Yuan van Microsoft, en de drie plannen om hun werk te presenteren op SIGGRAPH Asia 2018 in Tokio van 4 december tot 7 december. De jaarlijkse conferentie bevat de meest gerespecteerde technische en creatieve leden op het gebied van computergraphics en interactieve technieken, en toont toonaangevend onderzoek in de wetenschap, kunst, gamen en animatie, onder andere sectoren.

In dit werk, de onderzoekers wendden zich tot een bekende techniek in machine learning, Generative Adversarial Network (GAN), voor ongepaarde vertaling van foto naar karikatuur om karikaturen te genereren die de identiteit van het portret behouden. "CariGAN's" genoemd, het computationele raamwerk modelleert precies geometrische overdrijving in foto's (vormen van gezichten, specifieke hoeken) en vormgeving van het uiterlijk (look, gevoel, potloodstreken, schaduwen) via twee algoritmen die de onderzoekers hebben gelabeld, CariGeoGAN en CariStyGAN.

CariGeoGAN modelleert alleen de geometrie-naar-geometrie mapping van gezichtsfoto's naar karikaturen en CariStyGAN brengt de stijluitstraling van karikaturen naar gezichtsfoto's over zonder enige vervorming naar de geometrie van de originele afbeelding. De twee netwerken worden voor elke taak afzonderlijk getraind, zodat de leerprocedure robuuster is, merkt de onderzoekers op. Het CariGANs-framework stelt gebruikers in staat om de mate van overdrijving in geometrische en uiterlijkstijl te beheersen door dia's te slepen of een voorbeeldkarikatuur te geven.

Cao en medewerkers voerden perceptuele studies uit om het vermogen van hun raamwerk te evalueren om karikaturen van portretten te genereren die gemakkelijk herkenbaar zijn en niet overdreven vervormd in vorm en uiterlijk. Bijvoorbeeld, één studie beoordeelde hoe goed de identiteit van een afbeelding wordt bewaard met behulp van de CariGANs-methode in vergelijking met bestaande methoden voor het vertalen van karikatuurkunst. Ze demonstreerden, aan de hand van verschillende voorbeelden, dat bestaande methoden resulteerden in onherkenbare karikatuurvertaling. Deelnemers aan de studie vonden het te moeilijk om de resulterende karikaturen te matchen met de originele onderwerpen omdat de eindresultaten veel te overdreven of onduidelijk waren. De methode van de onderzoekers genereerde met succes duidelijker, nauwkeurigere karikatuurafbeeldingen van portretfoto's, alsof ze met de hand zijn getekend door een professionele kunstenaar.

Momenteel, de focus van dit werk was gericht op karikaturen van mensen, voornamelijk headshots of portretten. Bij toekomstig werk, de onderzoekers zijn van plan om verder te gaan dan het genereren van gezichtskarikaturen naar volledige lichaams- of meer complexe scènes. Ze zijn ook geïnteresseerd in het ontwerpen van verbeterde mens-computerinteractiesystemen (HCI) die gebruikers meer vrijheid en gebruikerscontrole zouden geven over de door machine learning gegenereerde resultaten.