Stel je voor dat je voor het eerst naar een onbekende supermarkt gaat. Als je een persoon bent die kan zien, je kunt gewoon rondkijken om jezelf te leiden en objecten en obstakels te identificeren. Echter, blinden moeten andere zintuigen gebruiken om hun weg te vinden door een nieuwe ruimte.

Spoedig, de blinden hebben misschien wat navigatiehulp, dankzij Caltech-onderzoekers die augmented reality-hardware en computervisie-algoritmen hebben gecombineerd om software te ontwikkelen waarmee objecten kunnen 'praten'. Gedragen als draagbare headset, de technologie vertaalt de optische wereld in duidelijke Engelse audio. Het apparaat zou op een dag beschikbaar kunnen worden gesteld in banken, kruidenierszaken, musea, en andere locaties, om blinden te helpen hun weg te vinden door onbekende ruimtes.

Het werk is gedaan in het laboratorium van Markus Meister (Ph.D. '87), Anne P. en Benjamin F. Biaggini Hoogleraar Biologische Wetenschappen en executive officer voor neurobiologie, en wordt beschreven in een artikel dat verschijnt in het nummer van 27 november van het tijdschrift eLife . Meister is een verbonden faculteitslid van het Tianqiao en Chrissy Chen Institute for Neuroscience bij Caltech.

"Stel je voor dat je in een wereld bent waar alle objecten om je heen stemmen hebben en met je kunnen praten, " zegt Meister. "Waar je ook naar kijkt, de verschillende objecten waarop je focust, worden geactiveerd en spreken hun naam tegen je uit. Kun je je voorstellen dat je in zo'n wereld rondloopt, het uitvoeren van enkele van de vele taken waarvoor we normaal ons visuele systeem gebruiken? Dat is wat we hier hebben gedaan:stemmen geven aan objecten."

Onder leiding van afgestudeerde student Yang Liu, het team van wetenschappers ontwikkelde een systeem dat ze CARA noemen, of de Cognitive Augmented Reality Assistant. CARA is ontwikkeld voor een draagbare headset-computer genaamd HoloLens, ontwikkeld door Microsoft, die de omgeving van een gebruiker kan scannen en individuele objecten zoals een laptop of een tafel kan identificeren. Met CARA, elk object in de omgeving krijgt een stem en zal zijn naam "zeggen" op bevel van de gebruiker. De technologie maakt gebruik van zogenaamd ruimtelijk geluid, waardoor objecten anders klinken, afhankelijk van hun locatie in een kamer. Als het voorwerp is, bijvoorbeeld, ver naar links van de gebruiker, zijn stem zal klinken alsof hij van links komt. Aanvullend, hoe dichterbij het object, hoe hoger de toonhoogte van zijn 'stem'.

Om een ​​kakofonie van objecten die tegelijk spreken te vermijden, Liu en zijn team hebben CARA geprogrammeerd met verschillende modi. In de eerste, genaamd spotlight-modus, een object zegt alleen zijn naam als de gebruiker er rechtstreeks naar kijkt. Als de gebruiker zijn hoofd naar verschillende objecten draait, de objecten zeggen elk hun naam, en de toonhoogte van de stem van het object geeft een auditief signaal over de relatieve afstand tot de gebruiker. Op deze manier, een slechtziende gebruiker kan "rondkijken" om zijn omgeving te verkennen. In een tweede modus, scanmodus genoemd, de omgeving wordt van links naar rechts gescand met objecten die hun naam dienovereenkomstig zeggen. De derde modus is de doelmodus, waar de gebruiker een van de objecten kan selecteren om exclusief te praten en dat als een gids te gebruiken om te navigeren.

Om de praktische toepassingen van CARA te testen, de onderzoekers ontwierpen een testroute voor blinde vrijwilligers door het Beckman Behavioural Biology-gebouw in Caltech. Om de taak voor te bereiden, de wetenschappers ontwikkelden eerst een route door het gebouw en volgden deze terwijl ze de HoloLens droegen, die de omgeving scande en in het geheugen opsloeg. Vervolgens, de blinde vrijwilligers werd gevraagd de route te navigeren met CARA als gids. Zoals elke vrijwilliger begon, een stem, schijnbaar afkomstig van een locatie verderop op de route, riep "Volg mij, " en vertelt de gebruiker ook over trappen, leuningen, hoeken om te draaien, en dergelijke. Onder leiding van CARA, alle zeven vrijwilligers voltooiden de taak bij de eerste poging met succes.

CARA staat nog in de kinderschoenen, maar zullen profiteren van de snelle ontwikkeling van algoritmen voor computervisie. De onderzoekers implementeren al nieuwe schema's voor realtime identificatie van objecten en voetgangers. Eventueel, ze hopen dat plaatsen zoals banken, hotels, en winkelcentra zullen CARA-apparaten aanbieden voor gebruik door hun blinde klanten.

Naast hun werk bij CARA, het team ontwikkelde ook een nieuwe "gestandaardiseerde test" om de prestaties van verschillende hulpmiddelen voor blinden te evalueren. De methode biedt een virtual reality-omgeving die onderzoekers overal ter wereld kunnen gebruiken om hun apparaten te benchmarken, zonder echte fysieke ruimtes te hoeven reconstrueren.

Het artikel is getiteld "Augmented Reality Powers a Cognitive Assistant for the Blind."