De 3D-film Avatar van James Cameron wilde een revolutie teweegbrengen in de filmervaring toen deze voor het eerst werd uitgebracht in 2009. het creëren van een meeslepende wereld voor kijkers. Maar wat als je ook de hitte en de wind wilt voelen, tijdens het vliegen op een banshee, rechtstreeks vanuit je bioscoopstoel?

Hoewel er al een klein aantal zogenaamde "4-D"-films bestaat die een fysiek element toevoegen, onderzoekers van de Universiteit van Toronto werken aan een manier om de functie breder toe te passen.

"Meestal schudt de stoel, er kan spetteren of een andere vorm van interactie zijn tijdens het kijken naar de film, " zegt Yuhao Zhou, een vierdejaars student in de afdeling elektrotechniek en computertechniek van Edward S. Rogers Sr. van het opkomende entertainment. "Op dit moment worden al deze effecten gecreëerd vanaf de eerste productiefase. We willen dit soort processen automatiseren voor films die oorspronkelijk niet voor 4D-bioscopen zijn gemaakt."

Zhou werkt samen met Makarand Tapaswi, een U of T postdoctoraal fellow in de informatica, en Sanja Fidler, een assistent-professor aan de afdeling wiskundige en computationele wetenschappen van U of T Mississauga en de afstudeerafdeling informatica op drie campussen. Ze hadden onlangs hun werk, Now You Shake Me:naar automatische 4D-bioscoop, te zien in een spotlight-presentatie op de Computer Vision and Pattern Recognition (CVPR)-conferentie in Salt Lake City, Utah.

Zhou zegt dat een 4D-film meestal wordt waargenomen vanuit het gezichtspunt van de eerste persoon, of fototoestel. Als Will Turner in Pirates of the Caribbean de wind in zijn gezicht voelt waaien, en de bioscoopbezoeker wil ervaren dat hij Turner is, toen ... ze, te, wind in hun gezicht zouden moeten ervaren.

"We willen een functie hebben waarmee je gewoon een schakelaar kunt omdraaien en kunt ervaren wat personages voelen, "zegt Zhou.

Om een ​​normale of 3D-film naar 4D te brengen, de onderzoekers gebruikten een freelance website om de effecten van de film te annoteren voor hun 4D-voorspellingsmodel.

"Bijvoorbeeld, [in Lord of the Rings:The Fellowship of the Ring] Frodo trekt Sam uit het water, maar er zijn verschillende effecten tegelijkertijd, " zegt Zhou, die tijdens zijn derde jaar van zijn bachelorstudie met Fidler begon te werken. "Eerst, hij trekt hem – er is een fysieke interactie met de hand. Als Sam terug het water in gaat, hij trekt Frodo, en de boot schudt.

"De camera is jouw input, ", voegt Tapaswi toe. "Maar in dit geval wil je niet alleen ervaren wat de camera ziet, maar ook een van de personages - herbeleef hoe de personages aan het trillen waren enzovoort."

Hoewel 4D-technologie nog steeds buiten het bereik van fysieke interacties valt - dat wil zeggen, een hand trekken - Tapaswi stelt zich druksensoren voor om aanraking te simuleren naarmate de technologie vordert. Het model kan ook nuttig zijn op andere gebieden, zoals virtual reality of augmented reality.

"We verzamelen dit soort aantekeningen voor toekomstige studies, "zegt Zhou.

Voor hun dataset ze pasten zowel effectclassificatie als detectie toe. Voor effectclassificatie, Zhou zegt dat hun neurale netwerk, een functie van machine learning die diepgaande analyse en het leren van gegevens mogelijk maakt, geëxtraheerde functies uit een korte clip, inclusief beweging en audio. Voor detectie, hij zegt, het neurale net kan voorspellen wat de effecten zijn, en waar ze voorkomen, in een lange videoclip.

"Je wilt niet alleen weten wat er met een personage gebeurt in een bepaalde opname. Je wilt kunnen zeggen:'[het effect] is nu wind, niet alleen omdat ik nu de wind zie, maar [omdat] het eerder waarschijnlijk winderig was, ', zegt Tapaswi.

De onderzoekers ontdekten dat bepaalde filmgenres dezelfde effecten hadden, bijvoorbeeld:films die zich afspelen in de ruimte zoals Interstellar of Gravity. Dit kan worden gezien als een nieuwe manier om te clusteren, zegt Tapaswi.

"Meestal bij 3D-films, filmbezoekers dragen een bril en zitten in een stoel, ", zegt Zhou. "Met automatische 4-D-cinema, het neurale netwerk zou 2D- en 3D-filminformatie verwerken, voer het in de stoel, en de effecten simuleren."