Het vastleggen van interactieve handhoudingen in realtime en met realistische resultaten is een goed onderzocht probleem bij informatica, met name mensgerichte computer- en motion capture-technologie. Mensenhanden zijn complex - een ingewikkeld systeem van flexoren, extensoren, en zintuiglijke vermogens die dienen als ons primaire middel om fysieke objecten te manipuleren en met elkaar te communiceren. Het nauwkeurig vastleggen van bewegingen van handen is relevant en belangrijk voor veel toepassingen, zoals gamen, augmented en virtual reality-domeinen, robotica, en de biomedische industrie.

Een wereldwijd team van computerwetenschappers van de ETH Zürich en de New York University heeft dit onderzoeksgebied verder ontwikkeld door een gebruiksvriendelijke, stretchgevoelige datahandschoen om realtime vast te leggen, interactieve hand poses met veel meer precisie.

Het onderzoeksteam, waaronder Oliver Glauser, Shihao Wu, Otmar Hilliges, en Olga Sorkine-Hornung van ETH Zürich en Daniele Panozzo van NYU, zullen hun innovatieve handschoen demonstreren op SIGGRAPH 2019, gehouden van 28 juli - 1 augustus in Los Angeles. Deze jaarlijkse bijeenkomst toont 's werelds toonaangevende professionals, academici, en creatieve geesten in de voorhoede van computergraphics en interactieve technieken.

Het belangrijkste voordeel van hun rekbare handschoenen, zeggen de onderzoekers, is dat ze geen op een camera gebaseerde opstelling nodig hebben - of enige extra externe apparatuur - en dat ze handhoudingen in realtime kunnen volgen met slechts minimale kalibratie.

"Voor zover wij weten, onze handschoenen zijn de eerste nauwkeurige handschoenen voor het vastleggen van gegevens die uitsluitend zijn gebaseerd op reksensoren, " zegt Glauser, een hoofdauteur van het werk en een Ph.D. student aan de ETH Zürich. "De handschoenen zijn zacht en dun, waardoor ze zeer comfortabel en onopvallend zijn om te dragen, zelfs met 44 ingebouwde sensoren. Ze kunnen tegen lage kosten worden vervaardigd met gereedschappen die algemeen verkrijgbaar zijn in fabricagelaboratoria."

Glauser en medewerkers wilden een aantal hardnekkige uitdagingen overwinnen bij het repliceren van nauwkeurige handhoudingen. In dit werk, ze pakten hindernissen aan, zoals het in realtime vastleggen van de handbewegingen in verschillende omgevingen en instellingen, evenals het gebruik van alleen gebruiksvriendelijke apparatuur en een eenvoudig te leren benadering voor het instellen. Ze demonstreren dat hun zachte stretchhandschoenen succesvol zijn in het nauwkeurig berekenen van handhoudingen in realtime, zelfs terwijl de gebruiker een fysiek object vasthoudt, en in omstandigheden zoals weinig licht.

De onderzoekers gebruikten een siliconenverbinding in de vorm van een hand uitgerust met 44 reksensoren en bevestigden deze aan een handschoen gemaakt van zacht, dunne stof. Om de handhouding te reconstrueren op basis van de sensormetingen, de onderzoekers gebruiken een datagedreven model dat gebruik maakt van de lay-out van de sensor zelf. Het model wordt maar één keer getraind; en om trainingsgegevens te verzamelen, de onderzoekers gebruiken een goedkope, kant-en-klaar reconstructiesysteem voor poses.

Voor de studie, ze vergelijken de nauwkeurigheid van hun sensorhandschoenen met twee ultramoderne commerciële handschoenproducten. In alles behalve één hand pose, de roman van de onderzoekers, rekgevoelige handschoenen ontvingen het laagste foutrendement voor elke interactieve pose.

Bij toekomstig werk, het team is van plan te onderzoeken hoe een vergelijkbare sensorbenadering kan worden gebruikt om een ​​hele arm te volgen om de globale positie en oriëntatie van de handschoen te krijgen, of misschien zelfs een volledig pak. Momenteel hebben de onderzoekers middelgrote handschoenen gefabriceerd, en ze willen graag uitbreiden naar andere maten en vormen.

"Dit is een al goed bestudeerd probleem, maar we hebben nieuwe manieren gevonden om het aan te pakken in termen van de sensoren die worden gebruikt in ons ontwerp en ons datagestuurde model, " merkt Glauser op. "Wat ook opwindend is aan dit werk, is de multidisciplinaire aard van het werken aan dit probleem. Het vereiste expertise uit verschillende vakgebieden, inclusief materiaalkunde, fabricage, Elektrotechniek, computer beelden, en machinaal leren."