Onderzoekers van de Carnegie Mellon University hebben een computermodel ontwikkeld dat tekst die fysieke bewegingen beschrijft direct kan vertalen in eenvoudige computergegenereerde animaties, een eerste stap om ooit films rechtstreeks vanuit scripts te genereren.

Wetenschappers hebben enorme sprongen gemaakt om computers natuurlijke taal te laten begrijpen, evenals bij het genereren van een reeks fysieke poses om realistische animaties te creëren. Deze mogelijkheden kunnen net zo goed in afzonderlijke werelden bestaan, echter, omdat de link tussen natuurlijke taal en fysieke houdingen ontbrak.

Louis-Philippe Morency, universitair hoofddocent bij het Language Technologies Institute (LTI), en Chaitanya Ahuja, een LTI Ph.D. student, werken om die werelden samen te brengen met behulp van een neurale architectuur die ze Joint Language-to-Pose noemen, of JL2P. Met het JL2P-model kunnen zinnen en fysieke bewegingen gezamenlijk worden ingebed, zodat het kan leren hoe taal gerelateerd is aan actie, gebaren en beweging.

"Ik denk dat we ons in een vroeg stadium van dit onderzoek bevinden, maar van een modellering, kunstmatige intelligentie en theorieperspectief, het is een heel spannend moment, ' zei Morency. 'Op dit moment, we hebben het over het animeren van virtuele karakters. Eventueel, dit verband tussen taal en gebaren zou kunnen worden toegepast op robots; we kunnen een persoonlijke assistent-robot misschien gewoon vertellen wat we willen dat hij doet.

"We zouden uiteindelijk ook de andere kant op kunnen gaan - door deze link tussen taal en animatie te gebruiken, zodat een computer kan beschrijven wat er in een video gebeurt, " hij voegde toe.

Ahuja zal JL2P op 19 september presenteren op de internationale conferentie over 3D Vision in Quebec City, Canada.

Om JL2P te maken, Ahuja gebruikte een leerplanbenadering die zich richt op het model eerst leren kort, eenvoudige reeksen - "Een persoon loopt naar voren" - en dan langer, hardere sequenties - "Een persoon stapt naar voren, draait zich dan om en stapt weer naar voren, " of "Een persoon springt tijdens het rennen over een obstakel."

Werkwoorden en bijwoorden beschrijven de actie en snelheid/versnelling van de actie, terwijl zelfstandige naamwoorden en bijvoeglijke naamwoorden locaties en richtingen beschrijven. Het uiteindelijke doel is om complexe sequenties te animeren met meerdere acties die gelijktijdig of achter elkaar plaatsvinden, zei Ahuja.

Voor nu, de animaties zijn voor stokfiguren.

Wat het nog ingewikkelder maakt, is het feit dat er veel dingen tegelijkertijd gebeuren, zelfs in eenvoudige reeksen, Morency uitgelegd.

"Synchroon tussen lichaamsdelen is erg belangrijk, ' zei Morency. 'Elke keer dat je je benen beweegt, je beweegt ook je armen, je romp en mogelijk je hoofd. De lichaamsanimaties moeten deze verschillende componenten coördineren, en tegelijkertijd complexe acties te realiseren. Het brengen van taalverhalen in deze complexe animatieomgeving is zowel uitdagend als opwindend. Dit is een weg naar een beter begrip van spraak en gebaren."