Een nieuwe rekenmethode, gebouwd op datagestuurde technieken, maakt het mogelijk om eenvoudige 2D-schetsen om te zetten in een realistische 3D-vorm, met weinig of geen gebruikersinvoer nodig.

Een wereldwijd team van computerwetenschappers van de Universiteit van Hong Kong, Microsoft en de Universiteit van Brits-Columbia, een nieuw raamwerk hebben ontwikkeld, CNN's combineren, of convolutionele neurale netwerktechnieken, met geometrische inferentiemethoden om schetsen en de bijbehorende 3D-vormen te berekenen, sneller en intuïtiever dan bestaande methoden.

"Onze tool kan door kunstenaars worden gebruikt om snel en eenvoudig vrije vormen te tekenen die als basisvormen kunnen dienen en verder kunnen worden verfijnd met geavanceerde modelleringssoftware, " zegt Hao Pan, onderzoeker bij Microsoft Research Asia die het werk leidde. "Nieuwe gebruikers kunnen het ook gebruiken als een toegankelijke tool om stijlvolle inhoud te maken voor hun 3D-creaties en virtuele werelden."

De nieuwe methode bouwt voort op het eerdere op schetsen gebaseerde 3D-modelleringswerk van het team - BendSketch:modellering van vrije-vormoppervlakken door middel van 2D-schetsen - een puur geometrische methode die geannoteerde schetsinvoer vereist. Voegt Pan toe, "We willen een methode ontwikkelen die zowel intelligent is - in de zin dat er zo min mogelijk gebruikersinvoer nodig is en dat alle benodigde conclusies automatisch worden uitgevoerd, en generiek, zodat we niet voor elke specifieke objectcategorie een nieuw machine learning-model hoeven te trainen."

Pan's medewerkers Changjian Li en Wenping Wang aan de Universiteit van Hong Kong; Yang Liu en Xin Tong bij Microsoft Research Asia; en Alla Sheffer aan de Universiteit van British Columbia, zal presenteren op SIGGRAPH Asia 2018 in Tokyo van 4 december tot 7 december. De jaarlijkse conferentie bevat de meest gerespecteerde technische en creatieve leden op het gebied van computergraphics en interactieve technieken, en toont toonaangevend onderzoek in de wetenschap, kunst, gamen en animatie, onder andere sectoren.

Het is een uitdaging om gemakkelijk, automatisch transformeren een dun, imperfecte 2D-schets tot een robuuste 3D-vorm. De belangrijkste uitdaging die de onderzoekers in dit werk aangingen, is de aanzienlijke informatieongelijkheid die wordt gepresenteerd tussen de fasen van het 'schets'- en '3-D'-model. Dit is waar de kunstenaar kenmerken zou invullen zoals hobbels, bochten, vouwen, valleien, ribbels op de oppervlaktetekeningen om een ​​3D-ontwerp te maken. Voor elke schets aangetoond in hun paper, de methode gebruikt een CNN om de 3D-oppervlaktepleister te voorspellen.

Het CNN van de onderzoekers is getraind op een grote dataset die is gegenereerd door schetsen van verschillende 3D-vormen weer te geven met behulp van niet-fotorealistische lijnweergave, of NPR, methode die automatisch menselijke schetsen van vrije vormen nabootst - vormen, waaronder die van een teddybeer, een vogel of een vis, bijvoorbeeld. De onderzoekers valideerden hun nieuwe aanpak, vergeleek het met bestaande methoden en evalueerde de prestaties ervan. De resultaten toonden aan dat hun methode een nieuwe manier biedt om 3D-modellering van 2D-schetsen op een gebruiksvriendelijke en robuustere manier te produceren.

Een voorbeeld, opgenomen in hun krant, betrokken beginnende gebruikers die werden getest op de nieuwe methode. De gebruikers hebben weinig kennis of training over schetsen of 3D-modellering. Ze kregen een trainingsdemo van 20 minuten over de nieuwe methode. Vervolgens werd hen gevraagd om drie doelvormen te maken:vogel, teddybeer en dolfijn - van verschillende complexiteit. De gebruikers slaagden erin om de taken te voltooien, variërend van slechts 5 minuten tot 20 minuten totaal. Zoals opgemerkt in de krant, de beginnende deelnemers vonden de schetsen gemakkelijk te maken met de tool van de onderzoekers, en sommigen wilden er ook meer mee verkennen.

Bij toekomstig werk, de onderzoekers willen verschillende mogelijkheden en uitbreidingen van hun algoritme verkennen. Bijvoorbeeld, momenteel modelleert hun methode elke keer een oppervlaktevlek door te schetsen in het zicht, maar het zou nuttig zijn om een ​​volledige vorm te kunnen modelleren door zowel de voor- als de achterkant in één oogopslag te schetsen. Ze hopen ook de tool te verbeteren, zodat hij meerdere schaalmodellering aankan, zodat grote vormen en fijne details gemakkelijk kunnen worden geschetst.