De smartphones van tegenwoordig maken vaak gebruik van kunstmatige intelligentie (AI) om de foto's die we maken scherper en duidelijker te maken. Maar wat als deze AI-tools kunnen worden gebruikt om hele scènes helemaal opnieuw te maken?

Een team van MIT en IBM heeft nu precies dat gedaan met "GANpaint Studio, " een systeem dat automatisch realistische fotografische afbeeldingen kan genereren en objecten erin kan bewerken. Naast het helpen van kunstenaars en ontwerpers om snel visuele aanpassingen te maken, de onderzoekers zeggen dat het werk computerwetenschappers kan helpen bij het identificeren van 'nep'-afbeeldingen.

David Bau, een doctoraat student aan MIT's Computer Science and Artificial Intelligence Lab (CSAIL), beschrijft het project als een van de eerste keren dat computerwetenschappers daadwerkelijk "schilderen met de neuronen" van een neuraal netwerk, met name, een populair type netwerk dat een generatief adversarial netwerk (GAN) wordt genoemd.

Online beschikbaar als interactieve demo, Met GANpaint Studio kan een gebruiker een afbeelding naar keuze uploaden en meerdere aspecten van het uiterlijk wijzigen, van het veranderen van de grootte van objecten tot het toevoegen van compleet nieuwe items zoals bomen en gebouwen.

Een zegen voor ontwerpers

Onder leiding van MIT-professor Antonio Torralba als onderdeel van het MIT-IBM Watson AI Lab dat hij leidt, het project heeft enorme potentiële toepassingen. Ontwerpers en artiesten zouden het kunnen gebruiken om hun visuals sneller te tweaken. Door het systeem aan te passen aan videoclips, zouden computergraphics-editors snel specifieke arrangementen van objecten kunnen samenstellen die nodig zijn voor een bepaalde opname. (Stel je voor, bijvoorbeeld, als een regisseur een volledige scène met acteurs heeft gefilmd, maar vergat een object op de achtergrond op te nemen dat belangrijk is voor de plot.)

GANpaint Studio kan ook worden gebruikt om andere GAN's die worden ontwikkeld te verbeteren en te debuggen, door ze te analyseren op "artefact"-eenheden die moeten worden verwijderd. In een wereld waar ondoorzichtige AI-tools beeldmanipulatie eenvoudiger dan ooit hebben gemaakt, het zou onderzoekers kunnen helpen neurale netwerken en hun onderliggende structuren beter te begrijpen.

"Direct, machine learning-systemen zijn deze zwarte dozen waarvan we niet altijd weten hoe we ze kunnen verbeteren, een beetje zoals die oude tv's die je moet repareren door ze op de zijkant te slaan, " zegt Bau, hoofdauteur van een gerelateerd artikel over het systeem met een team onder toezicht van Torralba. "Dit onderzoek suggereert dat, terwijl het misschien eng is om de tv open te maken en alle draden te bekijken, er zal veel zinvolle informatie in zitten."

Een onverwachte ontdekking is dat het systeem eigenlijk enkele eenvoudige regels lijkt te hebben geleerd over de relaties tussen objecten. Het weet op de een of andere manier dat het iets niet ergens moet zetten waar het niet thuishoort, als een raam in de lucht, en het creëert ook verschillende beelden in verschillende contexten. Bijvoorbeeld, als er twee verschillende gebouwen in een afbeelding staan ​​en het systeem wordt gevraagd om aan beide deuren toe te voegen, het voegt niet alleen identieke deuren toe - ze kunnen er uiteindelijk heel anders uitzien.

"Alle teken-apps volgen de gebruikersinstructies, maar de onze kan besluiten om niets te tekenen als de gebruiker opdracht geeft een object op een onmogelijke locatie te plaatsen, " zegt Torralba. "Het is een tekengereedschap met een sterke persoonlijkheid, en het opent een venster dat ons in staat stelt te begrijpen hoe GAN's leren de visuele wereld te vertegenwoordigen."

GAN's zijn sets van neurale netwerken die zijn ontwikkeld om tegen elkaar te concurreren. In dit geval, één netwerk is een generator gericht op het creëren van realistische beelden, en de tweede is een discriminator wiens doel het is om niet voor de gek gehouden te worden door de generator. Elke keer dat de discriminator de generator 'vangt', het moet de interne motivering van de beslissing blootleggen, waardoor de generator continu beter kan worden.

"Het is werkelijk verbluffend om te zien hoe dit werk ons ​​in staat stelt om direct te zien dat GAN's daadwerkelijk iets leren dat een beetje op gezond verstand begint te lijken, " zegt Jaakko Lehtinen, een universitair hoofddocent aan de Finse Aalto University die niet bij het project betrokken was. "Ik zie dit vermogen als een cruciale opstap naar autonome systemen die daadwerkelijk kunnen functioneren in de menselijke wereld, die oneindig is, complex en steeds veranderend."

Ongewenste "nep"-afbeeldingen wegdrukken

Het doel van het team was om mensen meer controle te geven over GAN-netwerken. Maar ze erkennen dat met meer macht het potentieel voor misbruik komt, zoals het gebruik van dergelijke technologieën om foto's te maken. Co-auteur Jun-Yan Zhu zegt dat hij gelooft dat een beter begrip van GAN's - en het soort fouten dat ze maken - onderzoekers zal helpen om fakery beter uit te roeien.

"Je moet je tegenstander kennen voordat je je ertegen kunt verdedigen, " zegt Zhu, een postdoc bij CSAIL. "Dit begrip kan ons mogelijk helpen om valse beelden gemakkelijker te detecteren."

Om het systeem te ontwikkelen, het team identificeerde eerst eenheden binnen de GAN die correleren met bepaalde soorten objecten, zoals bomen. Vervolgens testte het deze eenheden afzonderlijk om te zien of het verwijderen ervan ertoe zou leiden dat bepaalde objecten zouden verdwijnen of verschijnen. belangrijk, ze identificeerden ook de eenheden die visuele fouten (artefacten) veroorzaken en probeerden deze te verwijderen om de algehele kwaliteit van het beeld te verbeteren.

"Telkens wanneer GAN's vreselijk onrealistische beelden genereren, de oorzaak van deze fouten was voorheen een mysterie, " zegt co-auteur Hendrik Strobelt, een onderzoekswetenschapper bij IBM. "We ontdekten dat deze fouten worden veroorzaakt door specifieke sets neuronen die we kunnen dempen om de kwaliteit van het beeld te verbeteren."

Bau, Strobelt, Torralba en Zhu schreven het artikel samen met voormalig CSAIL Ph.D. student Bolei Zhou, postdoctoraal medewerker Jonas Wulff, en student William Peebles. Ze zullen het volgende maand presenteren op de SIGGRAPH-conferentie in Los Angeles. "Dit systeem opent een deur naar een beter begrip van GAN-modellen, en dat gaat ons helpen om welk soort onderzoek dan ook te doen met GAN's, ', zegt Lehtinen.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.