science >> Wetenschap >  >> Elektronica

Diep neuraal netwerk genereert realistische interacties tussen personages en scènes

Een selectie van resultaten met behulp van de methode van de onderzoekers om interactiegedrag tussen scènes te genereren. Krediet:SIGGRAPH Azië

Een belangrijk onderdeel van het tot leven brengen van 3D-geanimeerde personages is de mogelijkheid om hun fysieke bewegingen in elke scène of omgeving op natuurlijke wijze weer te geven.

Om karakters te animeren om op natuurlijke wijze met objecten en de omgeving te communiceren, moeten verschillende soorten bewegingen op een complexe manier worden gesynthetiseerd, en zulke bewegingen kunnen enorm verschillen, niet alleen in hun houding, maar ook in hun duur, contact patronen, en mogelijke overgangen. Daten, de meeste op machine learning gebaseerde methoden voor gebruiksvriendelijke bewegingsbesturing van personages zijn beperkt tot eenvoudigere acties of enkele bewegingen, zoals een geanimeerd personage opdracht geven om van het ene punt naar het andere te gaan.

Computerwetenschappers van de Universiteit van Edinburgh en Adobe Research, het team van onderzoekswetenschappers en ingenieurs van het bedrijf die ideeën in een vroeg stadium omzetten in innovatieve technologieën, een roman hebben ontwikkeld, datagestuurde techniek die gebruikmaakt van diepe neurale netwerken om geanimeerde karakters nauwkeurig te leiden door een verscheidenheid aan bewegingen af ​​te leiden - zittend in stoelen, voorwerpen oppakken, rennen, zijwaarts stappen, door obstakels en door deuropeningen klimmen - en dit op een gebruiksvriendelijke manier met eenvoudige bedieningscommando's.

De onderzoekers demonstreren hun werk, Neural State Machine voor karakter-scène-interacties, bij ACM SIGGRAPH Azië, gehouden van 17 tot 20 november in Brisbane, Australië. SIGGRAAF Azië, nu in zijn 12e jaar, trekt de meest gerespecteerde technische en creatieve mensen van over de hele wereld in computergraphics, animatie, interactiviteit, gamen, en opkomende technologieën.

Om interacties tussen personages en scènes met objecten en de omgeving te animeren, er zijn twee hoofdaspecten - planning en aanpassing - om te overwegen, zeggen de onderzoekers. Eerst, om een ​​bepaalde taak uit te voeren, zoals in stoelen zitten of voorwerpen oppakken, het personage moet plannen en overgaan door een reeks verschillende bewegingen. Bijvoorbeeld, dit kan beginnen met lopen, vertragen, zich omdraaien terwijl u nauwkeurig de voeten plaatst en met het object in wisselwerking staat, voordat u uiteindelijk doorgaat met een andere actie. Tweede, het personage moet de beweging op natuurlijke wijze aanpassen aan variaties in vorm en grootte van objecten, en vermijd obstakels op zijn pad.

"Dit bereiken in productieklare kwaliteit is niet eenvoudig en erg tijdrovend. Onze Neural State Machine leert in plaats daarvan de beweging en vereiste toestandsovergangen rechtstreeks van de scènegeometrie en een bepaalde doelactie, " zegt Sebastian Starke, senior auteur van het onderzoek en een Ph.D. student aan de Universiteit van Edinburgh in het laboratorium van Taku Komura. "Samen Daarmee, onze methode is in staat om vanuit één netwerk meerdere verschillende soorten bewegingen en acties in hoge kwaliteit te produceren."

Met behulp van motion capture-gegevens, het kader van de onderzoekers leert hoe het personage op de meest natuurlijke manier van de ene beweging naar de andere kan worden overgezet, bijvoorbeeld door over een obstakel te stappen dat een deuropening blokkeert, en dan door de deuropening stappen, of een doos oppakken en die doos vervolgens dragen om op een nabijgelegen tafel of bureau te zetten.

De techniek leidt de volgende pose van het personage in de scène af op basis van de vorige pose en scènegeometrie. Een ander belangrijk onderdeel van het raamwerk van de onderzoekers is dat het gebruikers in staat stelt om het personage interactief te besturen en te navigeren vanuit eenvoudige bedieningsopdrachten. Aanvullend, het is niet verplicht om alle originele vastgelegde gegevens te bewaren, die in plaats daarvan zwaar wordt gecomprimeerd door het netwerk terwijl de belangrijke inhoud van de animaties behouden blijft.

"De techniek bootst in wezen na hoe een mens intuïtief door een scène of omgeving beweegt en hoe deze omgaat met objecten, realistisch en precies, " zegt Komura, co-auteur en leerstoel computer graphics aan de Universiteit van Edinburgh.

Aan het einde van de weg, de onderzoekers zijn van plan te werken aan andere gerelateerde problemen in datagestuurde karakteranimatie, inclusief bewegingen waarbij meerdere acties tegelijkertijd kunnen plaatsvinden, of het animeren van interacties van dichtbij tussen twee mensen of zelfs menigten.