science >> Wetenschap >  >> Elektronica

AI zorgde ervoor dat ze het deden:Nvidia onderzoekt het wat-als van het trainen van een model om nieuwe werelden te tekenen

Krediet:Nvidia

Hier is een woordreeks waar u over kunt nadenken:AI interactieve afbeeldingen. Nvidia is de hoofdact. De GPU-brainiacs staan ​​volledig achter een volgend hoofdstuk, "Ai, " voor de grafische industrie. Er gebeuren geweldige dingen als je een neuraal netwerksysteem naar de tafel brengt voor virtuele werelden op basis van videobeelden.

Het creëren van een levensechte digitale scène vereist normaal gesproken veel (en veel) geduld. "Nu kunnen we het werk gewoon overdragen aan een AI-algoritme, " zei Will Ridder, in zijn blik op waar Nvidia aan werkt, in MIT Technology Review .

Nvidia kondigt aan dat het de eerste interactieve AI-gerenderde virtuele wereld was, en noemde het een 'AI-doorbraak'. Het team van onderzoekers werd geleid door Bryan Catanzaro, onderdirecteur, toegepast diep leren. "We leren het model eigenlijk tekenen op basis van echte video, " zei hij in MIT Technology Review .

De frames worden weergegeven door AI-technologie, zei onderzoeker, Ting Chun Wang. Met andere woorden, het team heeft een neuraal netwerk getraind om 3D-omgevingen weer te geven na te zijn getraind op bestaande video's.

Doorbraken beginnen met iemands vraag. Bij Nvidia, de wat-als-vraag was, wat als we een AI-model zouden kunnen trainen om nieuwe werelden te tekenen op basis van video uit de echte wereld? Dus, het is nu een uitgemaakte zaak in technologie die zo'n beeldgeneratie laat zien.

Gerichte gebruikers zijn ontwikkelaars en artiesten. Het idee is dat ze interactieve 3D virtuele werelden creëren voor auto's, gamen of virtual reality.

Er werden video's van steden geselecteerd om de stedelijke omgeving weer te geven waarop ze het neurale netwerk trainden.

"We kregen rijsequenties van verschillende steden, " zei Ting-Chun Wang. Toen gebruikten ze een ander segmentatienetwerk, om de semantiek op hoog niveau te extraheren, hij zei, uit die sequenties.

De UE4-engine hielp bij het genereren van de gekleurde lay-outs - verschillende objecten kregen verschillende kleuren. Het netwerk zet op zijn beurt de representatie om in beelden.

[UE4 verwijst naar Unreal Engine 4. De rand beschreef het als "een populaire engine die wordt gebruikt voor titels als Fortnite, PUBG, Gears of War 4, en vele anderen." De Unreal Engine 4-site zei dat het "een complete suite van game-ontwikkelingstools is, gemaakt door game-ontwikkelaars, voor game-ontwikkelaars."]

Nvidia heeft zijn vooruitgang laten zien op de NeurIPS-conferentie in Montreal, Canada, een show gericht op AI-onderzoek.

Ja, maar, anders dan de gee-whiz-factor, wat is het punt? Contentcreatie is duur en deze AI-route bespaart geld en het bespaart tijd. Nieuwe Atlas maakte de opmerking dat "Om virtuele werelden meer meeslepend te laten voelen, kunstenaars moeten ze vullen met gebouwen, rotsen, bomen, en andere objecten. Het maken en plaatsen van al die virtuele objecten levert al snel een behoorlijk hoge ontwikkeltijd en -kosten op."

Voor game-ontwikkeling of andere toepassingen, Nvidia verkende een methode waarmee ontwikkelaars tegen lagere kosten konden creëren, door AI te gebruiken die leert van de echte wereld. Het persbericht wees erop dat, aangezien de output synthetisch wordt gegenereerd, "een scène kan gemakkelijk worden bewerkt om te verwijderen, aanpassen, of voeg objecten toe."

James Vincent in De rand leidde lezers door Nvidia's onderzoeksinspanningen:

"Het probleem is, als de deep learning-algoritmen de graphics voor de wereld genereren met een snelheid van 25 frames per seconde, hoe zorgen ze ervoor dat objecten er hetzelfde uitzien? Catanzaro zegt dat dit probleem betekende dat de eerste resultaten van het systeem 'pijnlijk waren om naar te kijken' omdat kleuren en texturen 'elk frame veranderden'. Het team gaf het systeem kortetermijngeheugen, en dus zou het een nieuw frame kunnen vergelijken met wat er eerder is geweest. Als zodanig, het creëert nieuwe frames die consistent zijn met wat er op het scherm staat.

Het Nvidia-persbericht zei:"dit onderzoek bevindt zich in een vroeg stadium."

© 2018 Wetenschap X Netwerk