Wat als je werd verteld dat je cartoons kunt maken door alleen tekstbeschrijvingen te gebruiken?

Volgens berichten heeft een groep onderzoekers een AI onthuld die in staat is om originele video's van "The Flintstones" te maken op basis van tekstbeschrijvingen.

Ja, dit zijn scènes gemaakt door een kunstmatige intelligentie. Overweeg een scènebeschrijving:Fred draagt ​​een blauwe hoed en praat met Wilma in de woonkamer. Wilma gaat dan op een bank zitten.

Samenstelling, Ophaal- en fusienetwerk, of AMBACHT, is de naam van hun model. De auteurs merkten op dat ze CRAFT op Flintstones lieten zien, een dataset met meer dan 2, 500 video's en elk 75 frames lang.

Ze hebben een paper geschreven, getiteld "Imagine This! Scripts to Compositions to Videos" en het staat op arXiv. De vijf onderzoekers zijn Tanmay Gupta, Dustin Schwenk, Ali Farhadi, Derek Hoiem en Aniruddha Kembhavi. Auteursaffiliaties zijn onder meer The Allen Institute for Artificial Intelligence (AI2), De Universiteit van Illinois Urbana-Champaign en de Universiteit van Washington.

De auteurs zeiden dat als het eenmaal een nieuwe beschrijving krijgt, "Craft stelt achtereenvolgens een scènelay-out samen en haalt entiteiten op uit een videodatabase om complexe scènevideo's te maken."

Tristan Groen, Het volgende web , legde uit hoe de technologie werkt:"Craft gebruikt de annotaties van video's om te bepalen hoe de originele afbeeldingen overeenkomen met de woorden die worden gebruikt om ze te beschrijven. Uiteindelijk bouwt het een set parameters op waarmee het kan 'begrijpen' wat individuele personages en objecten maakt van de cartoon overeenkomen met hun tegenhangers in gewone taal. Zodra het deze relatie begrijpt, het is in staat om videoclips te genereren op basis van nieuwe tekstinvoer die veel lijkt op de cartoon waarop het is getraind."

De auteurs bespraken ook hun model op basis van tekst:

"In tegenstelling tot benaderingen voor het genereren van pixels, ons verschijningsmodel is gebaseerd op het ophalen van tekst naar entiteitssegmenten uit een videodatabase. Spatio-temporele segmenten worden uit de opgehaalde video's gehaald en samengesmolten om de uiteindelijke video te genereren. De lay-outsamenstelling en het ophalen van entiteiten werken op een sequentiële manier die wordt bepaald door de taalinvoer."

De auteurs verklaarden dat "CRAFT beter presteert dan benaderingen voor directe pixelgeneratie."

interessant, videokijkers schreven reacties variërend van wow tot lauw tot verward.

Verschillende vonden het geweldig; de een merkte op dat het "geavanceerder was dan ik had gedacht" en een ander zei:"het lijkt er nog steeds op dat iemand voor het eerst probeerde te animeren op demosoftware. Het lijkt erop dat het potentieel heeft, Hoewel."

Een andere waarnemer was meer in de war dan geschrokken. "Ik ben in de war. Ik heb begrepen dat de AI 25.000 volledig geannoteerde cartoons heeft geleerd. En toen typten de onderzoekers een tekstscenario in, en de AI heeft zojuist afbeeldingen gevonden die ermee overeenkomen? Is dat niet gewoon een eenvoudig ophalen van het bijbehorende videofragment op basis van een tekstzoekopdracht uit de geannoteerde database? Wat mis ik?"

Schrijvers op technische sites gaven hun mening over dit onderzoek. Verwijzend naar de video's, Het volgende web stapte in. OK het is een "glitchy kleine clip, " zoals Tristan Greene het uitdrukte. Toch, hij voegde toe, "De glitchy kleine clip van vandaag, gegenereerd op basis van eenvoudige tekstzinnen, kan ertoe leiden dat het entertainment van morgen helemaal opnieuw wordt gecreëerd door AI in plaats van studio's vol met mensen."

Andrew Liszewski in Gizmodo evenzo ontdekte dat de kwaliteit van de gegenereerde animaties "op zijn best verschrikkelijk" was en "niemand zal voor de gek gehouden worden door te denken dat dit de originelen van Hanna-Barbera zijn." Niettemin, hij voegde toe, een AI een cartoon zien genereren, met iconische karakters, helemaal vanzelf, was "een fascinerend voorproefje van hoe sommige films en tv-shows ooit zouden kunnen worden gemaakt."

Lucy Black schreef zondag, in Ik Programmeur dat "Dit is meer dan gewoon een slimme truc met neurale netwerken. Het is een teken dat AI op weg is naar grotere systemen waar diepe neurale netwerken verschillende taken uitvoeren en samenwerken om de oplossing te creëren. Je zou het de tweede fase van diepe neurale netwerken kunnen noemen. netwerken."

OKE, onbeantwoorde vraag:zouden animators hun baan verliezen. Zwart zei, "Ja, ik veronderstel dat met tijd en moeite zoiets als CRAFT kan worden ontwikkeld tot een tekenfilmgenerator en duizenden animators hun baan kan ontnemen, maar computergraphics hapert al op die arbeidsmarkt."

© 2018 Tech Xplore