Een team van onderzoekers van het Rochester Institute of Technology won de hoofdprijs in een internationale wedstrijd van Facebook Research om effectievere eye-tracking-oplossingen te ontwikkelen. Het team, geleid door drie Ph.D. studenten van het Chester F. Carlson Center for Imaging Science, won de eerste plaats in de OpenEDS Challenge gericht op semantische segmentatie.

Virtual reality-producten zoals Oculus VR vertrouwen op eye-tracking om meeslepende ervaringen te creëren. Eye-tracking moet nauwkeurig zijn, nauwkeurig en werkt altijd, voor ieder mens, in elke omgeving.

"Momenteel wordt eye-tracking gedaan door de pupil te detecteren en een twee- of driedimensionaal model op de gegevens te passen, " zei Aayush Chaudhary, een beeldvormende wetenschap Ph.D. student uit Nepal en een van de hoofdauteurs van de prijswinnende paper. "Het algemene doel van de OpenEDS Challenge was om de iris te scheiden, pupil en sclera in beelden van het oog, zodat 2D- en 3D-modellen passen bij een compact model."

Om te helpen bij het uitbreiden van de toepassingen waar eye-tracking kan worden gebruikt, Facebook Research daagde de uitdaging uit om robuuste computermodellen te maken die in realtime kunnen werken. Ze eisten dat de winnende oplossing nauwkeurig was, robuust en extreem energiezuinig.

"Als we het hebben over het doen van eye-tracking op een apparaat zoals je mobiele telefoon, je hebt modellen nodig die klein zijn, die in realtime kan worden uitgevoerd, " zei Rakshit Kothari, een beeldvormende wetenschap Ph.D. leerling uit Indië. "Je moet gewoon je mobiele telefoon kunnen pakken en hem meteen laten werken, zonder veel rekenwerk."

Met steun van hun adviseurs, drie beeldvormende wetenschap Ph.D. studenten - Kothari, Chaudary, en Manoj Acharya uit Nepal - besteedden een maand van hun onderzoekstijd aan het ontwikkelen van de oplossing. Ze hebben in die periode talloze modellen gebruikt, voortdurend hun aanpak verfijnen en de uitdaging aangaan op de laatste wedstrijddag. Onderweg, ze overwonnen verschillende onvoorziene obstakels om een ​​praktisch model te bouwen.

"Er zijn omstandigheden die we nooit hadden verwacht en die in deze beelden naar voren kunnen komen, waar ons model intelligent voor moest zorgen, " zei Acharya. "Als voorbeeld, als je dit model zou leren hoe je deze functies kunt vinden met behulp van afbeeldingen waarop mensen geen oogmake-up dragen, en dan komt er ineens iemand binnen met veel mascara, dat zou het helemaal af kunnen maken. Je hebt een model nodig dat slim en intelligent genoeg is om daar omheen te werken."

Het interdisciplinaire project vereiste samenwerking tussen laboratoria en hogescholen bij RIT. De drie primaire auteurs werkten samen met co-auteurs, waaronder Nitinraj Nair, een afgestudeerde informaticastudent uit India, en Sushil Dangi, een beeldvormende wetenschap Ph.D. leerling uit Nepal. Ze werkten nauw samen met hun adviseurs:Frederick Wiedman Professor Jeff Pelz, Universitair docent Gabriel Diaz, en assistent-professor Christopher Kanan van het College of Science, en professor Reynold Bailey van het Golisano College of Computing and Information Sciences.

De onderzoekers werken in vier RIT-labs:het Multidisciplinair Vision Research Laboratory (MVRL), het PerForM (Perception for Movement) Lab, het Machine and Neuromorphic Perception Laboratory (kLab) en het Computer Graphics and Applied Perception Lab.

Teamleden zullen hun oplossing presenteren tijdens de OpenEDS Workshop 2019:Eye Tracking for VR and AR op de International Conference on Computer Vision (ICCV) in Seoul, Korea op 2 november.

Het team won $ 5, 000 en zal het prijzengeld schenken aan de nieuw opgerichte Willem "Bill" Brouwer Endowed Fellowship ter ondersteuning van het onderzoek van afgestudeerde studenten in het Chester F. Carlson Center for Imaging Science.

Meer informatie is beschikbaar op de Facebook Research OpenEDS Challenge-website.