Het is een alledaags scenario:u rijdt over de snelweg en ziet vanuit uw ooghoek een auto invoegen op uw rijstrook zonder te signaleren. Hoe snel kunnen uw ogen reageren op die visuele stimulus? Zou het een verschil maken als de overtredende auto blauw was in plaats van groen? En als de kleur groen de periode van een fractie van een seconde tussen het eerste verschijnen van de stimulus en het moment waarop het oog ernaartoe begon te bewegen (bij wetenschappers bekend als de saccade), zou de bestuurder dan kunnen profiteren van een augmented reality-overlay die elk invoegend voertuig groen maakte?

Qi Sun, een gezamenlijke professor in Tandon's Department of Computer Science and Engineering en het Centre for Urban Science and Progress (CUSP), werkt samen met neurowetenschappers om erachter te komen.

Hij en zijn Ph.D. student Budmonde Duinkharjav - samen met collega's van Princeton, de Universiteit van North Carolina en NVIDIA Research - schreef onlangs het artikel "Image Features Influence Reaction Time:A Learned Probabilistic Perceptual Model for Saccade Latency", waarin een model wordt gepresenteerd dat kan worden gebruikt om te voorspellen temporele blikgedrag, in het bijzonder saccadische latentie, als een functie van de statistieken van een weergegeven beeld. Geïnspireerd door neurowetenschap, zou het model uiteindelijk grote implicaties kunnen hebben voor de veiligheid op de snelweg, telegeneeskunde, e-sports en in elke andere arena waarin AR en VR worden gebruikt.

"Hoewel AR/VR-technologie ons misschien niet meteen in Superhumans verandert", zegt Sun, hoofd van het Immersive Computing Lab in Tandon, "is het potentieel van deze nieuwe vormen van opkomende media om de menselijke prestaties te verbeteren erg opwindend."

"Image Features Influence Reaction Time" kreeg de beste paper-onderscheidingen op de 2022 SIGGRAPH (Special Interest Group on Computer Graphics and Interactive Techniques) van de Association for Computing Machinery (Special Interest Group on Computer Graphics and Interactive Techniques), de belangrijkste jaarlijkse conferentie in het veld, en een tweede paper, mede-auteur van Sun, "Joint Neural Phase Retrieval and Compression for Energy- en Computation-efficient Holography on the Edge," kreeg een eervolle vermelding.

In dat tweede artikel verdiepen hij en zijn co-auteurs zich in de uitdagingen van het creëren van hifi-holografische displays, die een grotere rekenkracht en energieverbruik vereisen dan veel apparaten kunnen bieden; zoals de onderzoekers aangeven, is zelfs het volledig uitvoeren van berekeningen op een cloudserver geen effectieve oplossing, omdat dit kan resulteren in een onbetaalbaar hoge latentie en opslag. In plaats daarvan stellen ze een innovatief raamwerk voor dat gezamenlijk hoogwaardige hologrammen genereert en comprimeert door de berekening te distribueren en de transmissie te optimaliseren, wat resulteert in een verlaging van 83% van de energiekosten en een aanzienlijke verlaging van de gemiddelde bitsnelheden en decoderingstijden.

In een ander recent artikel stelde Sun, een voormalig onderzoekswetenschapper bij softwaregigant Adobe, dat we de perceptie van mensen van tijd kunnen voorspellen en veranderen, zelfs met een tijdsbestek van enkele minuten, door verschillende visuele kenmerken te veranderen die worden gezien in VR-instellingen. "Tijdperceptie is vloeiend", legt hij uit, "en onze bevindingen hebben het potentieel om een ​​diepgaande impact te hebben in situaties in de echte wereld. Stel je bijvoorbeeld voor dat we de pijn die een patiënt waarneemt tijdens een medische procedure zouden kunnen verminderen met het gebruik van van VR of een piloot in opleiding helpen om zich minder vermoeid te voelen. Er zijn zelfs toepassingen binnen een vakgebied als stadsplanning, aangezien de ervaren wachttijden voor het openbaar vervoer in veel steden een bron van ontevredenheid zijn voor forenzen."

Terwijl neurowetenschappers nieuwe ontdekkingen doen over hoe de hersenen werken, hoopt Sun deze te laten gelden in opkomende media om voordelen uit de echte wereld te ontgrendelen. "Zie de hersenen als een computer met een laag vermogen", zegt hij. "We weten dat nieuwe technologieën een effect hebben op onze cognitie en ons gedrag, en we zouden dat moeten gebruiken voor het welzijn van de samenleving en om eventuele negatieve effecten te voorkomen."