Abhishek Singh stelt een simpele vraag:als stem de toekomst is van computers, hoe zit het dan met degenen die niet kunnen horen? Alexa is een en al oor voor de dovengemeenschap dankzij een app-prototype dat ongetwijfeld enige interesse en inspiratie zal trekken.

Ten slotte, experts op het gebied van technologie hebben gezegd dat spraaktechnologie een goede rol speelt in onze computertoekomst; zoals BBC News zei, "De afgelopen jaren is de populariteit van stemassistenten van Amazon toegenomen, Google en Apple."

Met dank aan Abhishek Singh, Alexa kan reageren op gebarentaal. Wil je eieren toevoegen aan je boodschappenlijstje? Wil je weten of het regent in Manhattan? Geen probleem, Alexa kan dergelijke vragen beantwoorden voor degenen die niet duidelijk genoeg kunnen spreken of horen.

Singh's ingenieuze project omvatte een op camera's gebaseerd systeem. Hij had erover nagedacht dat het misschien nodig zou zijn om apparaten voor thuisgebruik te ontwerpen met dove gebruikers in gedachten. Als resultaat, hij heeft Amazon's Alexa gemanipuleerd, zei de BBC, om in tekst te reageren op American Sign Language (ASL).

Singh vertelde YouTube-bezoekers in een video die zijn gebarentaal in actie laat zien dat hij deep learning met TensorFlow.js gebruikte om Amazon Echo te laten reageren op gebarentaal.

specifiek, zoals de BBC opmerkte, "De ontwikkelaar heeft een AI getraind met behulp van het machine-learningplatform Tensorflow, waarbij herhaaldelijk gebaren voor een webcam betrokken waren om het systeem de basisprincipes van gebarentaal bij te brengen."

Toen het systeem eenmaal kon reageren op zijn handbewegingen, hij verbond het met de tekst-naar-spraaksoftware van Google om de bijbehorende woorden hardop voor te lezen.

Singh zei dat in het begin, "Als gedachte-experiment Ik heb deep learning gebruikt om AIexa te laten reageren op gebarentaal."

De camera interpreteert de signalen van de gebruiker. Tekens worden omgezet in tekst en spraak. "Alexa, Hallo, " klinkt luid en duidelijk. "Hoi, daar." "Alexa, hoe is het weer?" "Op dit moment is het in New York 29 graden Celsius met gedeeltelijk zonnige luchten. De voorspelling van vandaag heeft veel wolken..." "Alexa, wat is vijf voet in meter?" "Vijf voet is 1,5 meter." Enzovoort. En wat zou een sessieverslag zijn zonder een verzoek om een ​​grap:"Alexa, vertel me een grap." Ik zal het niet herhalen, gewoon omdat het nep is. Op die opmerking (kan hem niet kwalijk nemen) zei Abhishek:"Alexa, doei."

Vraag is, zou zijn prototype enige invloed kunnen hebben op de toekomst van stemassistenten? De BBC citeerde Singh die zei dat er geen reden was dat Amazon Show "of een van de camera- en schermgebaseerde stemassistenten deze functionaliteit niet meteen zou kunnen inbouwen."

Snel bedrijf citeerde Singh:"In een ideale wereld zou ik dit rechtstreeks op de Show hebben gebouwd, maar de apparaten zijn nog niet zo hackbaar, dus niet in staat was om een ​​manier te vinden om het te doen."

Mark Wilson, een senior schrijver bij Snel bedrijf , In de tussentijd, zei Singh "zijn eigen code open source zal maken en de volledige methodologie erachter zal delen."

Hij zei dat Singh hoopte dat andere mensen erop konden voortbouwen. of zelfs gewoon 'word geïnspireerd om deze probleemruimte te verkennen'. Wilson had een beknopte samenvatting van hoe doven zijn achtergelaten in de gee-whiz-race voor het presenteren van stemassistenten. Wilson zei dat het probleem tweeledig was.

"Deze apparaten hebben nooit geleerd om de gesproken stemmen van mensen met een extreem gehoorbeperking te ontcijferen. alles wat Home of Alexa als reactie zegt, kan niet worden gehoord door de gebruiker. Het toevoegen van een scherm om informatie weer te geven op een apparaat zoals de Echo Show kan helpen, maar het kan iemand alleen zo ver krijgen als ze een natuurlijk gesprek met een machine willen hebben."

KnowTechie noemde het een "elegante" oplossing en zei:"Het is geweldig om te zien dat ontwikkelaars opkomen voor toegankelijkheid, maar het zou geweldig zijn om dit ingebouwd te zien."

© 2018 Tech Xplore