Het vastleggen van hand- en vingerbewegingen binnen milliseconden wordt voor veel toepassingen steeds belangrijker, van virtual reality tot mens-machine interactie en Industrie 4.0. Tot dusver, zijn enorme technische eisen hebben beperkte mogelijke toepassingen. Computerwetenschappers van het Max Planck Instituut voor Informatica hebben nu een softwaresysteem ontwikkeld dat de interactie van verschillende neurale netwerken omvat waarvoor alleen de ingebouwde camera van een laptop nodig is.

Voor de eerste keer, de onderzoekers presenteren het programma op stand G75 in hal 27 van de computerbeurs Cebit, die vanaf 11 juni in Hannover zal plaatsvinden.

Als computerwetenschapper Franziska Müller haar hand voor de laptopcamera houdt, de virtuele tegenhanger van de hand verschijnt op het scherm. Dit wordt bedekt door een kleurrijk virtueel handskelet. Welke bewegingen Müllers hand ook maakt voor de webcam, de gekleurde botten van het model doen hetzelfde. Müller demonstreert de software die ze samen met professor Christian Theobalt en andere onderzoekers van het Max Planck Institute for Computer Science in Saarbrücken heeft ontwikkeld, Stanford University en de Spaanse koning Juan Carlos University. Tot dusver, geen enkele andere software kan dit met zo'n goedkope camera.

Omdat het in bijna elk soort gefilmde scène werkt, het kan overal worden gebruikt, en overtreft daarmee eerdere benaderingen die een dieptecamera of meerdere camera's vereisen. Het algoritme dat het systeem gebruikt, zet de tweedimensionale informatie van het videobeeld in realtime om in het driedimensionale bewegingsmodel van de botten van de hand. Het is gebaseerd op een zogenaamd "convolutioneel neuraal netwerk, " of kortweg CNN. De onderzoekers hebben het getraind om de botten van de hand te detecteren. Ze hebben de nodige trainingsgegevens gegenereerd met een ander neuraal netwerk. Het resultaat:de software berekent de exacte 3D-houdingen van de botten van de hand in milliseconden. Zelfs als sommige van hen verstopt zijn, bijvoorbeeld, door een appel in de hand van de gebruiker, de software compenseert. Echter, het systeem heeft nog steeds moeite met het verwerken van meerdere samenwerkende handen, en dit oplossen is het volgende doel van de onderzoekers.