Wat onze handen ook doen - reiken, objecten grijpen of manipuleren - het lijkt altijd eenvoudig. Toch zijn je handen een van de meest gecompliceerde, en belangrijk, lichaamsdelen.

Ondanks dit, er is weinig bekend over de complexiteit van de onderliggende anatomie van de hand en, als zodanig, het animeren van menselijke handen wordt al lang beschouwd als een van de meest uitdagende problemen in computergraphics.

Dat komt omdat het tot nu toe onmogelijk was om de interne beweging van de hand in beweging vast te leggen.

Met behulp van magnetische resonantie beeldvorming (MRI) en een techniek geïnspireerd door de visuele effectenindustrie, een team van USC-onderzoekers, bestaande uit twee computerwetenschappers en een radioloog, heeft 's werelds meest realistische model van het bewegingsapparaat van de menselijke hand ontwikkeld.

Het bewegingsapparaat omvat spieren, botten, pezen en gewrichten. De doorbraak heeft niet alleen gevolgen voor computergraphics, maar ook protheses, medische opleiding, robotica en virtual reality.

"De hand is erg ingewikkeld, maar voorafgaand aan dit werk, niemand had een nauwkeurig rekenmodel gebouwd voor hoe anatomische structuren in de hand daadwerkelijk bewegen als deze wordt gearticuleerd, " zei co-auteur van de studie Jernej Barbic, een Andrew en Erna Viterbi Early Career Chair en universitair hoofddocent informatica.

Betere protheses ontwerpen

Om dit probleem aan te pakken, Barbisch, een computeranimatie- en fysiek gebaseerde simulatie-expert, en zijn Ph.D. student, Bohan Wang, de hoofdauteur van de studie, samen met George Matcuk, MD, een universitair hoofddocent klinische radiologie aan de Keck School of Medicine van USC. Het resultaat:het meest nauwkeurige anatomisch gebaseerde model van de hand in beweging.

"Dit is momenteel het meest nauwkeurige handanimatiemodel dat beschikbaar is en het eerste dat laserscanning van de oppervlaktekenmerken van de hand combineert met een onderliggend botriggingmodel op basis van MRI, ' zei Matcuk.

Naast het creëren van meer realistische handen voor computerspellen en CGI-films, waar handen vaak worden blootgesteld, dit systeem kan ook worden gebruikt in protheses, om betere vingers en handprothesen te ontwerpen.

"Het begrijpen van de beweging van de interne handanatomie opent de deur voor biologisch geïnspireerde robothanden die eruitzien en zich gedragen als echte handen, ' zei Barbic.

"In de niet zo verre toekomst, het werk kan bijdragen aan de ontwikkeling van anatomisch realistische handen en verbeterde handprothesen."

De studie, getiteld Handmodellering en simulatie met behulp van gestabiliseerde magnetische resonantiebeeldvorming, werd gepresenteerd op ACM SIGGRAPH.

Een langdurige uitdaging

Om het realisme te verbeteren, virtuele handen moeten op dezelfde manier worden gemodelleerd als biologische handen, wat het bouwen van nauwkeurige anatomische en kinematische modellen van echte mensenhanden vereist. Maar we weten nog steeds verrassend weinig over hoe botten en spieren in de hand bewegen.

Een van de redenen is dat, tot nu, er zijn geen methoden geweest om systematisch de beweging van de interne handanatomie te verwerven. Hoewel MRI-scanners anatomische details kunnen geven, er bestaat een voorheen onopgeloste praktische uitdaging:de hand moet ongeveer 10 minuten perfect stil in de scanner worden gehouden.

"De hand 10 minuten stilhouden in een vaste houding is praktisch onmogelijk, " zei Barbic. "Een vuist is gemakkelijker vast te houden, maar probeer je hand half te sluiten en je zult merken dat je na ongeveer een minuut of twee begint te trillen. Je kunt het geen 10 minuten stilhouden."

Om deze uitdaging te overwinnen, de onderzoekers ontwikkelden een productieproces met behulp van lifecasting-materialen uit de special effects-industrie om de hand te stabiliseren tijdens het MRI-scanproces. Lifecasting omvat het maken van een mal van de menselijke vorm en deze vervolgens reproduceren in verschillende media, inclusief plastic of siliconen.

Barbisch, die meewerkte aan de Oscar-genomineerde film The Hobbit:the Desolation of Smaug, kwam op het idee na het zien van een goedkoop, met de hand gekloond product in een winkel voor visuele effecten in Los Angeles terwijl hij aan een eerder project werkte. "Dat was het eureka-moment, " zei Barbic, die lang heeft nagedacht over een oplossing voor het maken van meer realistische virtuele menselijke handen.

Eerst, het team gebruikte het levensgietmateriaal om een ​​plastic replica van de hand van het model te maken. Deze replica legt uiterst gedetailleerde functies vast, tot individuele poriën en kleine lijntjes op het handoppervlak, die vervolgens werden gescand met een laserscanner.

Vervolgens, het lifecasting-proces werd opnieuw gebruikt, deze keer op de plastic hand, om een ​​negatieve 3D-vorm van de hand te maken van een rubberachtig elastisch materiaal. De mal stabiliseert de hand in de gewenste houding. De mal is in twee delen gesneden, en toen plaatste het onderwerp hun echte hand in de mal voor MRI-scanning.

Met hulp van radiologie-expert Matcuk, een praktiserend arts bij het USC, de hand werd vervolgens gedurende 10 minuten gescand door de MRI-scanner. Deze procedure werd 12 keer herhaald, telkens in een andere handhouding. Twee onderwerpen, een mannetje en een vrouwtje, werden op deze manier gevangen. Nutsvoorzieningen, voor elke pose, de onderzoekers wisten precies waar de botten, spieren en pezen werden gepositioneerd.

Na het bespreken van de anatomische kenmerken van de MRI-scans met Matcuk, Barbic en Wang gingen aan de slag met het bouwen van een datagestuurd skeletkinematisch model dat complexe real-world rotaties en vertalingen van botten in elke pose vastlegt.

Vervolgens voegden ze simulatie van zacht weefsel toe, met behulp van de eindige-elementenmethode (FEM) om de beweging van de handspieren te berekenen, pezen en het vetweefsel, consistent met de botbeweging. Dit model, gecombineerd met oppervlaktedetails konden ze een zeer realistische bewegende hand creëren. De hand kan in elke beweging worden geanimeerd, gelijkmatige beweging die heel anders is dan de vastgelegde poses.

Vooruit gaan

Het team, die onlangs een subsidie ​​ontvingen van de National Science Foundation om hun werk naar een volgende fase te brengen, plannen om een ​​openbare dataset van multi-pose hand-MRI-scans te bouwen, voor 10 vakken in de komende drie jaar. Dit wordt de eerste dataset in zijn soort en stelt onderzoekers van over de hele wereld in staat om beter te simuleren, modelleren en opnieuw mensenhanden creëren. Het team wil het onderzoek ook integreren in het onderwijs, om Ph.D. op te leiden studenten aan het USC en voor K-12 outreach-programma's.

"Terwijl we dit werk verfijnen, Ik denk dat dit een uitstekend leermiddel kan zijn voor mijn studenten en andere artsen die inzicht nodig hebben in de complexe anatomie en biomechanica van de hand, ' zei Matcuk.

Het team werkt momenteel aan het toevoegen van een beter bewustzijn van spieren en pezen aan het model en om het realtime te maken. Direct, het kost de computer ongeveer een uur om een ​​simulatie van een minuut te maken. Barbic en Wang hopen het systeem sneller te maken, zonder kwaliteitsverlies.