Op populaire sociale-mediaplatforms, gebruikers plaatsen elke dag talloze afbeeldingen. Alleen op Instagram, er zijn meer dan 40 miljard geüploade foto's - een cijfer dat dagelijks met 95 miljoen omhoog schiet. Dit geeft een duidelijke behoefte aan intuïtieve maar robuuste fotobewerkingstools waarmee de gemiddelde gebruiker geavanceerde bewerkingsfuncties kan uitvoeren.

En hoewel er een duidelijke behoefte is aan interactieve beeldbewerking met betrekking tot sociale media, verbeterde bewerkingstools en -systemen blijven ook een belangrijk aspect van computergraphics en computervisie. Echter, er is een gebrek aan tools met complexere bewerkingsfuncties voor onervaren gebruikers, zoals het veranderen van de gezichtsuitdrukking in een foto.

Een onderzoeksteam, geleid door computerwetenschappers van de Universiteit van Bern-Zwitserland en de Universiteit van Maryland-College Park, hebben een op schetsen gebaseerd bewerkingsraamwerk bedacht waarmee een gebruiker zijn foto's kan bewerken door er een paar streken op te "schetsen". hun systeem, genaamd FaceShop, biedt ook een kopieer-plakfunctie, waarmee gebruikers elk deel van een foto kunnen bewerken door het te bewerken gedeelte van een andere (betere) foto te kopiëren en plakken, het elimineren van de noodzaak om iets met de hand te tekenen of te schetsen.

De aanpak van het team is gebaseerd op machine learning-technieken, die, uiteindelijk, geef gebruikers meer controle over hun gewenste bewerkingen in realtime en produceer meer realistische resultaten.

"De meeste andere benaderingen zijn gebaseerd op meer traditionele, handgemaakte technieken, die een aantal beperkingen opleggen. Bijvoorbeeld, deze systemen zijn ofwel [door ontwerp] beperkt tot een beperkt aantal vooraf gedefinieerde bewerkingsbewerkingen, of ze zijn erg flexibel maar moeilijk te gebruiken en vereisen dat ervaren gebruikers een aanzienlijke hoeveelheid tijd besteden aan het uitvoeren van vrij eenvoudige bewerkingen, " zegt Tiziano Protenier, hoofdauteur van het werk en Ph.D. kandidaat aan de Universiteit van Bern. "In tegenstelling tot, ons systeem is zeer flexibel en stelt ongetrainde gebruikers in staat om binnen enkele minuten complexe bewerkingen uit te voeren met behulp van een intuïtieve interface."

Protenier ontwikkelde het nieuwe systeem met medewerkers Qiyang Hu, Attila Szabo, Siavash Arjomand Bigdeli en Paolo Favaro van de Universiteit van Bern, en Matthias Zwicker van de Universiteit van Maryland. Het team zal hun werk presenteren op SIGGRAPH 2018, gehouden van 12-16 augustus in Vancouver, Brits-Columbia. Deze jaarlijkse bijeenkomst toont 's werelds toonaangevende professionals, academici, en creatieve geesten in de voorhoede van computergraphics en interactieve technieken.

In hun krant "FaceShop:Diepe, op schetsen gebaseerde bewerking van gezichtsafbeeldingen, ’ demonstreren de onderzoekers hun nieuwe systeem aan de hand van verschillende voorbeelden. de neus van een vrouw wordt lichtjes gemanipuleerd, en een haarlok is zo bewerkt dat het van haar gezicht wordt weggeduwd, het verwijderen van een donkere schaduw die op de originele foto aan slechts één kant van haar gezicht was verschenen. Een andere foto laat zien hoe een gebruiker de oogmake-up van een vrouw kan verbeteren en de kleur van haar ogen naar voren kan brengen. De voorbeelden die in de paper worden benadrukt, laten zien hoe het nieuwe systeem werkt, intuïtief, en produceert hoogwaardige, realistische resultaten.

De methode van het team is gebaseerd op generatieve adversariële neurale netwerken (GAN's), een vorm van kunstmatige intelligentie (AI) die, in recente jaren, heeft veel onderzoeksinteresse getrokken vanwege het vermogen om realistisch ogende afbeeldingen te genereren. Deze GAN's bestaan ​​uit twee AI's die tegen elkaar vechten. De eerste component probeert de gegenereerde afbeeldingen te onderscheiden van echte afbeeldingen, terwijl de tweede component afbeeldingen probeert te produceren die de andere AI voor de gek houden. Tijdens de training, de twee componenten leren van elkaar, uiteindelijk resulterend in een systeem dat autonoom leerde om realistisch ogende beelden te produceren, zonder enig menselijk oordeel in de lus.

In tegenstelling tot andere AI-gestuurde beeldbewerkingsmethoden, zodra het systeem is getraind, gebruikers hebben meer controle over de bewerkingen van hun foto's. "Ons systeem kenmerkt zich door een optimale mate van controle, wat het erg interessant maakt vanuit het oogpunt van de toepassing, " merkt Portenier op. "Andere technieken die gebruikerscontrole proberen op te nemen, zijn ofwel beperkt in de reikwijdte van mogelijke bewerkingen of hebben aangetoond dat ze goed werken op de gegevens die werden gebruikt om de systemen te trainen, maar slagen er niet in om overtuigende resultaten te produceren met echte gebruikersinput. We presenteren een techniek die dit probleem verzacht, met als resultaat een systeem dat in de praktijk verrassend goed werkt."

Bij toekomstig werk, de onderzoekers zijn van plan om aanvullende tools voor gebruikersinteractie te verkennen om aan hun raamwerk toe te voegen, en overweeg hoe u AI kunt gebruiken voor op schetsen gebaseerde bewerking van video's.