Patriots quarterback Tom Brady heeft zijn succes vaak toegeschreven aan het besteden van talloze uren aan het bestuderen van de bewegingen van zijn tegenstander op film. Dit begrip van beweging is noodzakelijk voor alle levende soorten, of het nu gaat om uitvinden in welke hoek een bal moet worden gegooid, of het waarnemen van de beweging van roofdieren en prooien. Maar eenvoudige video's kunnen ons niet het volledige beeld geven.

Dat komt omdat traditionele video's en foto's voor het bestuderen van beweging tweedimensionaal zijn, en laat ons niet de onderliggende 3D-structuur zien van de persoon of het onderwerp van interesse. Zonder de volledige geometrie, we kunnen de kleine en subtiele bewegingen die ons helpen sneller te bewegen niet inspecteren, of begrijp de precisie die nodig is om onze atletische vorm te perfectioneren.

Onlangs, Hoewel, onderzoekers van MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) hebben een manier bedacht om dit begrip van complexe beweging beter te begrijpen.

Het nieuwe systeem maakt gebruik van een algoritme dat 2D-video's kan maken en deze kan omzetten in 3D-geprinte "bewegingssculpturen" die laten zien hoe een menselijk lichaam door de ruimte beweegt. Naast een intrigerende esthetische visualisatie van vorm en tijd, het team stelt zich voor dat hun "MoSculp" -systeem een ​​veel gedetailleerdere studie van beweging voor professionele atleten mogelijk zou maken, dansers, of iedereen die zijn fysieke vaardigheden wil verbeteren.

"Stel je hebt een video van Roger Federer die een bal serveert in een tenniswedstrijd, en een video van jezelf die tennis leert, " zegt promovendus Xiuming Zhang, hoofdauteur van een nieuw artikel over het systeem. "Je zou dan bewegingssculpturen van beide scenario's kunnen bouwen om ze te vergelijken en uitgebreider te onderzoeken waar je moet verbeteren."

Omdat bewegingssculpturen 3D zijn, gebruikers kunnen een computerinterface gebruiken om door de structuren te navigeren en ze vanuit verschillende gezichtspunten te bekijken, het onthullen van bewegingsgerelateerde informatie die ontoegankelijk is vanuit het oorspronkelijke gezichtspunt.

Zhang schreef de paper samen met MIT-professoren William Freeman en Stefanie Mueller, doctoraat student Jiajun Wu, Google-onderzoekers Qiurui He en Tali Dekel, evenals U. C. Berkeley postdoc en voormalig CSAIL Ph.D. André Owens.

Hoe het werkt

Kunstenaars en wetenschappers hebben lang geworsteld om beter inzicht te krijgen in beweging, beperkt door hun eigen cameralens en wat het zou kunnen bieden.

Eerder werk heeft meestal gebruik gemaakt van zogenaamde "stroboscopische" fotografietechnieken, die veel lijken op de afbeeldingen in een aan elkaar gestikt flipboek. Maar aangezien deze foto's alleen momentopnames van beweging tonen, je zou niet zoveel van de baan van iemands arm kunnen zien wanneer ze een golfbal raken, bijvoorbeeld.

Bovendien, deze foto's vereisen ook een moeizame pre-shoot setup, zoals het gebruik van een schone achtergrond en gespecialiseerde dieptecamera's en verlichtingsapparatuur. Het enige dat MoSculp nodig heeft, is een videosequentie.

Gegeven een invoervideo, het systeem detecteert eerst automatisch 2D-sleutelpunten op het lichaam van het onderwerp, zoals de heup, knie, en enkel van een ballerina terwijl ze een complexe danssequentie doet. Vervolgens, er zijn de best mogelijke poses nodig vanaf die punten om te worden omgezet in 3D 'skeletten'.

Na het aan elkaar naaien van deze skeletten, het systeem genereert een bewegingssculptuur die in 3D kan worden geprint, het tonen van de gladde, continu bewegingspad dat door het onderwerp wordt uitgestippeld. Gebruikers kunnen hun figuren aanpassen om zich op verschillende lichaamsdelen te concentreren, verschillende materialen toewijzen om onderdelen te onderscheiden, en zelfs de verlichting aanpassen.

In gebruikersonderzoeken de onderzoekers ontdekten dat meer dan 75 procent van de proefpersonen vond dat MoSculp een meer gedetailleerde visualisatie bood voor het bestuderen van beweging dan de standaard fotografietechnieken.

"Dans en hooggeschoolde atletische bewegingen lijken vaak 'bewegende sculpturen', maar ze creëren slechts vluchtige en kortstondige vormen, " zegt Courtney Brigham, communicatieleider bij Adobe. "Dit werk laat zien hoe je bewegingen kunt maken en ze kunt omzetten in echte sculpturen met objectieve visualisaties van beweging, een manier bieden voor atleten om hun bewegingen te analyseren voor training, waarvoor niet meer apparatuur nodig is dan een mobiele camera en wat rekentijd."

Het systeem werkt het beste voor grotere bewegingen, zoals het gooien van een bal of het nemen van een grote sprong tijdens een dansreeks. Het werkt ook voor situaties die beweging kunnen belemmeren of bemoeilijken, zoals mensen die losse kleding dragen of voorwerpen dragen.

Momenteel, het systeem gebruikt alleen scenario's voor één persoon, maar het team hoopt binnenkort uit te breiden naar meerdere mensen. Dit zou het potentieel kunnen openen om zaken als sociale stoornissen te bestuderen, interpersoonlijke interacties, en teamdynamiek.