Normaal gesproken, er is dure apparatuur en expertise voor nodig om een ​​nauwkeurige 3D-reconstructie van iemands gezicht te maken die realistisch is en er niet griezelig uitziet. Nutsvoorzieningen, Onderzoekers van de Carnegie Mellon University hebben deze prestatie geleverd met behulp van video die is opgenomen op een gewone smartphone.

Het gebruik van een smartphone om een ​​continue video van de voorkant en zijkanten van het gezicht op te nemen, genereert een dichte wolk van gegevens. Een proces in twee stappen ontwikkeld door CMU's Robotics Institute gebruikt die gegevens, met wat hulp van deep learning-algoritmen, om een ​​digitale reconstructie van het gezicht te bouwen. De experimenten van het team tonen aan dat hun methode een nauwkeurigheid van minder dan een millimeter kan bereiken, beter presteren dan andere op camera's gebaseerde processen.

Een digitaal gezicht kan worden gebruikt om een ​​avatar te bouwen voor gaming of voor virtual of augmented reality, en kan ook worden gebruikt in animatie, biometrische identificatie en zelfs medische procedures. Een nauwkeurige 3D-weergave van het gezicht kan ook nuttig zijn bij het maken van aangepaste chirurgische maskers of ademhalingstoestellen.

"Het bouwen van een 3D-reconstructie van het gezicht was een open probleem in computervisie en grafische afbeeldingen, omdat mensen erg gevoelig zijn voor het uiterlijk van gelaatstrekken, " zei Simon Lucey, een universitair hoofddocent onderzoek aan het Robotics Institute. "Zelfs kleine afwijkingen in de reconstructies kunnen ervoor zorgen dat het eindresultaat er onrealistisch uitziet."

Laserscanners, gestructureerd licht en studio-opstellingen met meerdere camera's kunnen zeer nauwkeurige scans van het gezicht, maar deze gespecialiseerde sensoren zijn onbetaalbaar voor de meeste toepassingen. CMU's nieuw ontwikkelde methode, echter, vereist alleen een smartphone.

De methode, die Lucey samen met masterstudenten Shubham Agrawal en Anuj Pahuja ontwikkelde, werd begin maart gepresenteerd op de IEEE Winter Conference on Applications of Computer Vision (WACV) in Snowmass, Colorado. Het begint met het opnemen van 15-20 seconden video. In dit geval, de onderzoekers gebruikten een iPhone X in de slow-motion setting.

"De hoge framesnelheid van slow motion is een van de belangrijkste dingen voor onze methode omdat het een dichte puntenwolk genereert, ' zei Lucy.

De onderzoekers gebruiken vervolgens een veelgebruikte techniek die visuele gelijktijdige lokalisatie en mapping (SLAM) wordt genoemd. Visual SLAM trianguleert punten op een oppervlak om de vorm te berekenen, terwijl u die informatie tegelijkertijd gebruikt om de positie van de camera te bepalen. Dit creëert een initiële geometrie van het gezicht, maar ontbrekende gegevens laten gaten in het model achter.

In de tweede stap van dit proces, de onderzoekers werken aan het opvullen van die lacunes, eerst door gebruik te maken van deep learning-algoritmen. Deep learning wordt in beperkte mate gebruikt, echter:het identificeert het profiel van de persoon en oriëntatiepunten zoals oren, ogen en neus. Klassieke computervisietechnieken worden vervolgens gebruikt om de hiaten op te vullen.

"Deep learning is een krachtig hulpmiddel dat we elke dag gebruiken, "Zei Lucey. "Maar diep leren heeft de neiging om oplossingen te onthouden, ", wat ingaat tegen pogingen om onderscheidende details van het gezicht op te nemen. "Als je deze algoritmen alleen gebruikt om de oriëntatiepunten te vinden, je kunt klassieke methoden gebruiken om de gaten veel gemakkelijker op te vullen."

De methode is niet per se snel; het duurde 30-40 minuten verwerkingstijd. Maar het hele proces kan op een smartphone worden uitgevoerd.

Naast gezichtsreconstructies, de methoden van het CMU-team kunnen ook worden gebruikt om de geometrie van bijna elk object vast te leggen, zei Lucy. Digitale reconstructies van die objecten kunnen vervolgens worden verwerkt in animaties of misschien via internet worden verzonden naar sites waar de objecten kunnen worden gedupliceerd met 3D-printers.