Mensen die in en uit foto's gingen, waren vroeger gereserveerd voor de wereld van Harry Potter. Maar nu hebben computerwetenschappers van de Universiteit van Washington die magie tot leven gebracht.

Hun algoritme, Foto wakker worden, kan een persoon uit een 2D-foto of een kunstwerk halen en laten rennen, lopen of springen uit het frame. Het systeem stelt gebruikers ook in staat om de animatie in drie dimensies te bekijken met behulp van augmented reality-tools. De onderzoekers presenteren hun resultaten op 19 juni op de Conference on Computer Vision and Pattern Recognition in Long Beach, Californië. Dit onderzoek trok voor het eerst media-aandacht toen het in december in preprint op ArXiv werd geplaatst.

"Dit is een heel moeilijk fundamenteel probleem in computervisie, " zei co-auteur Ira Kemelmacher-Shlizerman, een universitair hoofddocent aan de Paul G. Allen School of Computer Science &Engineering van de UW. "De grote uitdaging hier is dat de invoer slechts vanuit één camerapositie komt, dus een deel van de persoon is onzichtbaar. Ons werk combineert technische vooruitgang op een open probleem in het veld met artistieke creatieve visualisatie."

Eerder, onderzoekers dachten dat het onmogelijk zou zijn om een ​​persoon te animeren die geen enkele foto meer heeft.

"Er is eerder werk dat probeert een 3D-personage te creëren met behulp van meerdere gezichtspunten, " zei co-auteur Brian Curless, een professor in de Allen School. "Maar je kon nog steeds niet iemand tot leven wekken en ze opraken van een scène, en je kon AR er niet in brengen. Het was echt verrassend dat we overtuigende resultaten konden behalen met slechts één foto."

De toepassingen van Photo Wake-Up zijn talrijk, zegt het team. De onderzoekers stellen zich voor dat dit zou kunnen leiden tot een nieuwe manier voor gamers om avatars te maken die echt op hen lijken, een methode voor bezoekers om met schilderijen in een kunstmuseum om te gaan - laten we gaan zitten om thee te drinken met Mona Lisa - of iets waarmee kinderen hun tekeningen tot leven kunnen brengen. Voorbeelden in de onderzoekspaper zijn onder meer het animeren van Stephen Curry van de Golden State Warriors om van het veld te rennen, Paul McCartney springt van de cover van de "Help!" album en Matisse's "Icarus" om zijn lijst te verlaten.

Om de magie werkelijkheid te maken, Photo Wake-Up begint met het identificeren van een persoon in een afbeelding en het maken van een masker van de omtrek van het lichaam. Vanaf daar, het komt overeen met een 3D-sjabloon met de lichaamshouding van het onderwerp. Dan doet het algoritme iets verrassends:om de sjabloon te vervormen zodat deze er echt uitziet als de persoon op de foto, het projecteert de 3D-persoon terug in 2D.

"Het is heel moeilijk om precies in 3D te manipuleren, " zei co-auteur Chung-Yi Weng, een doctoraatsstudent in de Allen School. "Misschien kun je het grofweg doen, maar elke fout zal duidelijk zijn wanneer je het personage animeert. Dus we moeten een manier vinden om de zaken perfect af te handelen, en het is gemakkelijker om dit in 2D te doen."

Photo Wake-Up slaat voor elke pixel 3D-informatie op:de afstand tot de camera of artiest en hoe de gewrichten van een persoon met elkaar verbonden zijn. Zodra de sjabloon is vervormd om te passen bij de vorm van de persoon, het algoritme plakt op de textuur - de kleuren van de afbeelding. Het genereert ook de achterkant van de persoon door informatie uit de afbeelding en de 3D-sjabloon te gebruiken. Vervolgens naait het gereedschap de twee kanten aan elkaar om een ​​3D-persoon te maken die zich kan omdraaien.

Zodra het 3D-personage klaar is om te rennen, het algoritme moet de achtergrond zo instellen dat het personage geen spatie achterlaat. Photo Wake-Up vult het gat achter de persoon op door informatie uit andere delen van het beeld te lenen.

Op dit moment werkt Photo Wake-Up het beste met afbeeldingen van mensen die naar voren kijken, en kan zowel artistieke creaties als foto's van echte mensen animeren. Het algoritme kan ook enkele foto's verwerken waarop de armen van mensen een deel van hun lichaam blokkeren, maar het is nog niet in staat om mensen te animeren die met gekruiste benen lopen of grote delen van zichzelf blokkeren.

"Photo Wake-Up is een nieuwe manier om met foto's te communiceren, "Zei Weng. "Het kan nog niet alles, maar dit is nog maar het begin."