Veel ontwerpers voor de virtuele wereld vinden het een uitdaging om op grote schaal efficiënt geloofwaardige complexe texturen of patronen te ontwerpen. Inderdaad, zogenaamde "textuursynthese, " het ontwerpen van nauwkeurige texturen zoals waterrimpelingen in een rivier, betonnen muren, of patronen van bladeren, blijft een moeilijke taak voor kunstenaars. Een overvloed aan niet-stationaire texturen in de "echte wereld" kan opnieuw worden gecreëerd in gaming of virtuele werelden, maar de bestaande technieken zijn vervelend en tijdrovend.

Om deze uitdaging aan te gaan, een wereldwijd team van computerwetenschappers heeft een unieke op kunstmatige intelligentie gebaseerde techniek ontwikkeld die een netwerk traint om te leren kleine texturen uit te breiden tot grotere. De gegevensgestuurde methode van de onderzoekers maakt gebruik van een AI-techniek genaamd generatieve adversariële netwerken (GAN's) om computers te trainen om texturen van een voorbeeldpatch uit te breiden naar grotere exemplaren die het beste lijken op het originele voorbeeld.

"Onze aanpak gaat met succes om met niet-stationaire texturen zonder enige hoge of semantische beschrijving van de grootschalige structuur, " zegt Yang Zhou, hoofdauteur van het werk en een assistent-professor aan de Shenzhen University en Huazhong University of Science &Technology. "Het kan omgaan met zeer uitdagende texturen, die, voor zover we weten, geen andere bestaande methode aankan. Het resultaat zijn realistische ontwerpen geproduceerd in hoge resolutie, efficiënt, en op veel grotere schaal."

Het basisdoel van op voorbeelden gebaseerde textuursynthese is het genereren van een textuur, meestal groter dan de invoer, dat de visuele kenmerken van de voorbeeldinvoer nauwkeurig weergeeft - maar er niet helemaal identiek aan is - en een realistisch uiterlijk behoudt. Voorbeelden van niet-stationaire texturen zijn texturen met grootschalige onregelmatige structuren, of degenen die ruimtelijke variantie vertonen in bepaalde attributen zoals kleur, lokale oriëntatie, en lokale schaal. In de krant, testten de onderzoekers hun methode op complexe voorbeelden als pauwenveren en boomstamrimpelingen, die schijnbaar eindeloos zijn in hun repetitieve patronen.

Zhou en zijn medewerkers, waaronder Zhen Zhu en Xiang Bai (Huazhong University), Dani Lischinski (De Hebreeuwse Universiteit van Jeruzalem), Daniel Cohen-Or (Universiteit van Shenzhen en Universiteit van Tel Aviv), en Hui Huang (Universiteit van Shenzhen), zullen hun werk presenteren op SIGGRAPH 2018, gehouden van 12-16 augustus in Vancouver, Brits-Columbia. Deze jaarlijkse bijeenkomst toont 's werelds toonaangevende professionals, academici, en creatieve geesten in de voorhoede van computergraphics en interactieve technieken.

Hun methode omvat het trainen van een generatief netwerk, generator genoemd, om te leren uitbreiden (d.w.z. het dubbele van de ruimtelijke omvang van) een willekeurig textuurblok dat is bijgesneden uit een voorbeeld, zodat het geëxpandeerde resultaat visueel vergelijkbaar is met een bevattend voorbeeldblok van de juiste grootte (twee keer groter). De visuele overeenkomst tussen het automatisch geëxpandeerde blok en het daadwerkelijke bevattende blok wordt beoordeeld met behulp van een discriminerend netwerk (discriminator). Zoals typisch voor GAN's, de discriminator wordt parallel aan de generator getraind om onderscheid te maken tussen werkelijke grote blokken van het voorbeeld en die geproduceerd door de generator.

Zegt Zhou, "Verbazingwekkend, we ontdekten dat door zo'n conceptueel eenvoudig, zelf-gecontroleerde vijandige trainingsstrategie, het getrainde netwerk werkt bijna perfect op een breed scala aan texturen, inclusief zowel stationaire als zeer niet-stationaire texturen."

De tool is bedoeld om textuurkunstenaars te helpen bij het ontwerpen van videogames, virtuele realiteit, en animatie. Zodra de zelf-gecontroleerde vijandige training plaatsvindt voor elk gegeven textuurmonster, het raamwerk kan worden gebruikt om automatisch uitgebreide texturen te genereren, tot het dubbele van de oorspronkelijke steekproefomvang. Aan het einde van de weg, de onderzoekers hopen dat hun systeem in staat zal zijn om informatie op hoog niveau van texturen op een niet-gecontroleerde manier te extraheren.

Aanvullend, bij toekomstig werk, het team is van plan een "universeel" model te trainen op een grootschalige textuurdataset, evenals het vergroten van de gebruikerscontrole. Voor textuurkunstenaars, gecontroleerde synthese met gebruikersinteractie zal waarschijnlijk nog nuttiger zijn, omdat kunstenaars de neiging hebben om de texturen voor hun eigen ontwerp te manipuleren.

Voor de volledige paper en video, bezoek de projectpagina van het team.