Nieuwe technologische ontwikkelingen kunnen belangrijke gevolgen hebben voor mensen met een handicap, waardevolle hulp bieden in hun dagelijks leven. Een belangrijk voorbeeld hiervan is de begeleiding die technologische hulpmiddelen kunnen bieden aan visueel gehandicapten (VI), personen die gedeeltelijk of volledig blind zijn.

Met dit in gedachten, onderzoekers van CloudMinds Technologies Inc., in China, hebben onlangs een nieuw, door diep leren aangedreven draagbaar hulpmiddel voor VI-individuen gecreëerd. Dit systeem, gepresenteerd in een paper dat vooraf is gepubliceerd op arXiv, bestaat uit een draagbare terminal, een krachtige processor en een smartphone. De draagbare terminal heeft twee belangrijke componenten, een RGBD-camera en een oortelefoon.

"We presenteren een op diep leren gebaseerd draagbaar systeem om de levenskwaliteit van de VI te verbeteren, " schreven de onderzoekers in hun paper. "Het systeem is ontworpen voor veilige navigatie en uitgebreide scèneperceptie in realtime."

Het systeem dat door het team van CloudMinds is ontwikkeld, verzamelt in wezen gegevens uit de omgeving van een gebruiker via de RGBD-camera. Deze gegevens worden naar een convolutioneel neuraal netwerk (CNN) gevoerd dat deze analyseert en de meest effectieve strategieën voor het vermijden van obstakels en navigatie voorspelt. Deze strategieën, samen met andere informatie over de omgeving, worden vervolgens via een oortelefoon aan de gebruiker gecommuniceerd.

Bij het bouwen van dit systeem ontwikkelden de eerste onderzoekers een datagedreven, end-to-end convolutioneel netwerk (CNN) dat botsingsvrije instructies kan genereren als een gebruiker vooruit gaat, links, of en rechts op basis van RGBD-gegevens en bijbehorende semantische kaarten. In aanvulling, ze ontwierpen een reeks interacties die voor VI-individuen gemakkelijk te adopteren zijn, om hen betrouwbare feedback te geven, zoals loopinstructies om obstakels te vermijden en informatie over hun omgeving.

"Onze motor voor het vermijden van obstakels, die leert van RGBD, semantische kaart en piloten-actiekeuze-invoer, kan veilige feedback geven over de obstakels en vrije ruimte rondom de VI. Door gebruik te maken van de semantische kaart, we introduceren ook een efficiënt interactieschema dat is geïmplementeerd om de VI te helpen de 3D-omgevingen via een smartphone waar te nemen."

De onderzoekers testten de prestaties van hun systeem in een reeks real-world experimenten om obstakels te vermijden. Opmerkelijk, hun systeem presteerde beter dan bestaande benaderingen in verschillende binnen- en buitenscenario's. De bevindingen die ze tijdens deze tests hebben verzameld, suggereren dat het systeem ook de mobiliteitsprestaties van gebruikers en de perceptie van de omgeving verbetert bij taken in de echte wereld, bijvoorbeeld, hen te helpen de indeling van een bepaalde kamer te begrijpen, helpen bij het vinden van een verloren voorwerp, of het overbrengen van nabijgelegen verkeersomstandigheden.

Als onderdeel van hun studie hebben de onderzoekers verzamelden datasets van afleveringen van het vermijden van obstakels die zowel instructies bevatten om obstakels in de buurt tijdens het lopen te vermijden als andere informatie voor het waarnemen van omringende 3D-omgevingen. Deze datasets kunnen onderzoeksteams helpen om andere op deep learning gebaseerde tools voor VI-individuen te trainen.

In de toekomst, het nieuwe draagbare systeem dat in deze studie is ontwikkeld, zou effectievere en diepgaandere hulp kunnen bieden aan VI-individuen. Het team is nu van plan om een ​​sonar- of stootsensor te integreren die de veiligheid van de gebruikers zou verbeteren wanneer ze door meer uitdagende of onveilige omgevingen navigeren.

© 2019 Wetenschap X Netwerk