De O, een 12-jarige jongen die blind is, zit aan een tafel in een overvolle keuken op een grijze en druilerige dag midden december. Een hoofdband met camera's, een dieptesensor en luidsprekers ringen zijn zandbruine haar. Hij draait zijn hoofd naar links en rechts totdat de camera aan de voorkant van de hoofdband op de neus van een persoon aan de andere kant van een toonbank wijst.

Theo hoort een bonkend geluid gevolgd door de naam "Martin" door de luidsprekers van de hoofdband, die zich boven zijn oren bevinden.

"Het kostte me ongeveer vijf seconden om je te krijgen, Martin, "Theo zegt, zijn hoofd en lichaam gefixeerd in de richting van Martin Grayson, een senior research software development engineer bij het onderzoekslab van Microsoft in Cambridge. Grayson staat naast een kniehoge zwarte kist met computerhardware die nodig is om de machine learning-modellen uit te voeren die het prototypesysteem aandrijven dat Theo gebruikte om hem te herkennen.

Eline, Theo's moeder, die tegen een muur aan de andere kant van Theo staat, zegt, 'Ik hou van de manier waarop je je omdraaide om hem te vinden. Het is zo leuk.'

Terwijl Theo zich omdraait om zijn moeder aan te kijken, de luidsprekers klinken nog een hobbel en de naam "Tim."

"Tim, daar ben je, " zegt Theo met verrukking als zijn blik op Tim Regan valt, een andere senior research software development engineer in het lab, die Theo onder zijn hoede nam om hem geavanceerde computercoderingsvaardigheden bij te brengen. Theo en zijn moeder waren bij Regan thuis voor een tweemaandelijkse codeerles. Ze ontmoetten elkaar tijdens het werken aan een onderzoeksproject dat leidde tot de ontwikkeling van Code Jumper, een fysieke programmeertaal die kinderen met alle gezichtsvermogens omvat.

Theo is nu een van de vele leden van de blinden- en slechtziende gemeenschap die met Regan samenwerken, Grayson, onderzoeker Cecily Morrison en haar team op Project Tokyo, een veelzijdige onderzoeksinspanning om intelligente persoonlijke agenttechnologie te creëren die kunstmatige intelligentie gebruikt om de bestaande mogelijkheden van mensen uit te breiden.

Voor Theo, dat betekent hulpmiddelen om te herkennen wie er om hem heen is.

"Het is zo spannend om te weten waar de mensen in mijn omgeving zijn, ' zei Theo. 'Niet alleen wie kiest om te praten, maar alle mensen die zwijgen die je aan hun gezicht kunt zien, maar ik kan het niet."

Maar uiteindelijk, merkte Morrison op, Project Tokyo is een onderzoeksinspanning met als langetermijndoelstelling om te demonstreren hoe intelligente persoonlijke agenten kunnen worden gebouwd die de mogelijkheden van alle gebruikers uitbreiden. In plaats van end-to-end systemen te bouwen die specifieke taken kunnen uitvoeren, ze ziet de toekomst van AI als een reeks middelen die mensen gebruiken op de manier die ze geschikt achten.

"Ineens hoeven we niet te zeggen, 'Hé, je bent blind en ik heb dit zojuist voor je toegankelijk gemaakt.' Wij zeggen, 'Hallo, jij bent jij en ik heb zojuist een systeem gebouwd dat voor jou werkt, '" zei ze. "Ik hoef niets van je te weten. Ik hoef geen etiket op jou. Ik kan iets maken dat bij je past, omdat ik een systeem heb dat je kunt nemen en aanpassen aan jezelf."

Paralympische Spelen in Brazilië

Project Tokyo is ontstaan ​​uit een uitdaging, begin 2016, van senior leiders bij Microsoft om AI-systemen te creëren die verder gaan dan het voltooien van taken zoals het ophalen van sportuitslagen en weersvoorspellingen of het identificeren van objecten. Morrison zei dat het creëren van hulpmiddelen voor mensen die blind zijn en slechtziend zijn, een natuurlijke pasvorm voor het project was, omdat mensen met een handicap vaak early adopters van nieuwe technologie zijn.

"Het gaat er niet om te zeggen, 'Laten we iets bouwen voor blinden, '" zei Morrison. "We werken met blinde mensen om ons de toekomst voor te stellen, en die toekomst gaat over nieuwe ervaringen met AI."

Morrison en haar collega Ed Cutrell, een senior hoofdonderzoeker bij het onderzoekslab van Microsoft in Redmond, Washington, werden aangeboord om het project te leiden. Beiden hebben expertise in het ontwerpen van technologieën met mensen die blind of slechtziend zijn en besloten om te beginnen te proberen te begrijpen hoe een agenttechnologie zou kunnen verbeteren, of verlengen, de mogelijkheden van deze gebruikers.

Beginnen, ze volgden een groep atleten en toeschouwers met verschillend gezichtsvermogen op een reis van het Verenigd Koninkrijk naar de Paralympische Spelen van 2016 in Rio de Janeiro, Brazilië, observeren hoe ze met andere mensen omgingen terwijl ze op luchthavens navigeerden, sportlocaties bezocht en bezienswaardigheden bezocht, onder andere activiteiten. Een sleutel leren, merkte Cutrell op, was hoe een verrijkt begrip van de sociale context mensen die blind of slechtziend zijn kan helpen om hun omgeving te begrijpen.

"We, als mensen, heb dit heel, zeer genuanceerd en uitgebreid gevoel voor sociaal begrip van hoe met mensen om te gaan - een idee krijgen van wie er in de kamer is, waar zijn ze mee bezig, wat is hun relatie tot mij, hoe weet ik of ze relevant zijn voor mij of niet, "zei hij. "En voor blinde mensen gaan veel van de signalen die we als vanzelfsprekend beschouwen gewoon weg."

Dit inzicht leidde tot een reeks workshops met blinden en slechtzienden die waren gericht op potentiële technologieën die een dergelijke ervaring zouden kunnen bieden. Peter Bosscher, een audio-ingenieur van halverwege de vijftig die het grootste deel van zijn leven blind is geweest en met het Project Tokyo-team heeft gewerkt, zei dat het concept van een technologie die informatie verschafte over de mensen om hem heen onmiddellijk resoneerde.

"Als ik in een situatie ben met meer dan twee of drie mensen, vooral als ik er een paar niet ken, het wordt exponentieel moeilijker om mee om te gaan omdat mensen steeds meer oogcontact en lichaamstaal gebruiken om aan te geven dat ze met die-en-die persoon willen praten, dat ze nu willen spreken, ' zei hij. 'Het is echt heel moeilijk als blinde.'

Een aangepaste HoloLens

Toen de onderzoekers van Project Tokyo eenmaal begrepen welk type AI-ervaring ze wilden creëren, ze wilden de ontsluitende technologie bouwen. Ze begonnen met de originele Microsoft HoloLens, een mixed reality-headset die hologrammen in de echte wereld projecteert die gebruikers kunnen manipuleren.

"HoloLens geeft ons een hoop van wat we nodig hebben om een ​​realtime AI-agent te bouwen die de sociale omgeving kan communiceren, ", zei Grayson tijdens een demonstratie van de technologie in het onderzoekslab van Microsoft in Cambridge.

Bijvoorbeeld, het apparaat heeft een reeks grijswaardencamera's die een bijna 180-graden beeld van de omgeving bieden en een kleurencamera met hoge resolutie voor zeer nauwkeurige gezichtsherkenning. In aanvulling, de luidsprekers boven de oren van de gebruiker zorgen voor ruimtelijke audio - het creëren van geluiden die van specifieke locaties rond de gebruiker lijken te komen.

Machine learning-experts van het Project Tokyo-team ontwikkelden vervolgens computervisie-algoritmen die verschillende niveaus van informatie verschaffen over wie zich waar in de omgeving van de gebruiker bevindt. De modellen draaien op grafische verwerkingseenheden, bekend als GPU's, die zijn ondergebracht in de zwarte kist die Grayson naar het huis van Regan heeft vervoerd voor de gebruikerstest met Theo.

een model, bijvoorbeeld, detecteert de pose van mensen in de omgeving, die een idee geeft van waar en hoe ver mensen zich van de gebruiker bevinden. Een ander analyseert de stroom foto's van de camera met hoge resolutie om mensen te herkennen en te bepalen of ze ervoor hebben gekozen hun naam bekend te maken aan het systeem. Al deze informatie wordt via audiosignalen aan de gebruiker doorgegeven.

Bijvoorbeeld, als het apparaat een persoon op een meter afstand aan de linkerkant van de gebruiker detecteert, het systeem speelt een klik die klinkt alsof deze van een meter afstand aan de linkerkant komt. Als het systeem het gezicht van de persoon herkent, het zal een stootgeluid spelen, en als die persoon ook bekend is bij het systeem, het zal hun naam aankondigen.

Wanneer de gebruiker alleen een klik hoort, maar wil weten wie de persoon is, een tweede geluidslaag die lijkt op een elastische band die wordt uitgerekt, leidt de blik van de gebruiker naar het gezicht van de persoon. Wanneer de centrale camera van de lens verbinding maakt met de neus van de persoon, de gebruiker hoort een hoge klik en, als de persoon bekend is in het systeem, hun naam.

"Ik hou vooral van het ding dat je de kijkhoek geeft, omdat ik nooit echt zeker weet wat de verstandige hoek is voor je hoofd, " zei Bosscher, die vroeg in het ontwerpproces met het Project Tokyo-team aan de audio-ervaring werkte en terugkeerde naar het Cambridge-lab om zijn ervaring te bespreken en de nieuwste versie te bekijken. "Dat zou een geweldig hulpmiddel zijn om lichaamstaal te leren."

Prototyping met volwassenen

Terwijl het Project Tokyo-team de technologie heeft ontwikkeld en ontwikkeld, de onderzoekers nodigen routinematig volwassenen die blind of slechtziend zijn uit om het systeem te testen en feedback te geven. Om meer directe sociale interactie mogelijk te maken, bijvoorbeeld, het team verwijderde de lenzen van de voorkant van de HoloLens.

Verschillende gebruikers spraken de wens uit om onopvallend de door het systeem verzamelde informatie te verkrijgen zonder voortdurend hun hoofd te draaien, wat sociaal onhandig aanvoelde. De feedback bracht het Project Tokyo-team ertoe om te werken aan functies die gebruikers helpen snel te leren wie er om hen heen is, bijvoorbeeld, overzicht vragen en ruimtelijk uitlezen van alle namen van personen die toestemming hebben gegeven om door het systeem te worden herkend.

Een andere experimentele functie waarschuwt de gebruiker met een ruimtelijk geluid wanneer iemand ernaar kijkt, omdat mensen met een typisch gezichtsvermogen vaak oogcontact maken om een ​​gesprek te beginnen. In tegenstelling tot de bult, echter, de gong wordt niet gevolgd door een naam.

"We gebruiken de naam al als je naar iemand kijkt, " Grayson legde Emily uit, een tester van in de twintig die slechtziend is en het Cambridge-lab bezocht om meer te weten te komen over de meest recente functies. "Maar ook, door de naam niet te geven, het kan uw aandacht trekken als u zich tot iemand wendt die uw aandacht probeert te krijgen. En door zich tot hen te wenden, je weet hoe ze heten."

"Daar ben ik het helemaal mee eens. Zo reageren ziende mensen. Ze vangen iemand vanuit hun ooghoeken, of je begrijpt dat, en gaan, 'Cecile, ', zei Emilie.

De gemodificeerde HoloLens die de onderzoekers aan Emily lieten zien, bevatte ook een LED-strip die boven de band met camera's was aangebracht. Een wit licht volgt de persoon die zich het dichtst bij de gebruiker bevindt en wordt groen wanneer de persoon is geïdentificeerd door de gebruiker. De functie laat communicatiepartners of omstanders weten dat ze zijn gezien, waardoor het natuurlijker is om een ​​gesprek te beginnen.

De LED-strip biedt mensen ook de mogelijkheid om buiten het gezichtsveld van het apparaat te gaan en niet gezien te worden, als ze dat willen. "Als je weet dat je op het punt staat gezien te worden, je kunt ook besluiten om niet gezien te worden, " merkte Morrison op. "Als je weet wanneer je wordt gezien, je weet wanneer je niet wordt gezien."

Een hulpmiddel voor het aanleren van sociale interactievaardigheden

Naarmate het technische onderzoek vordert, Project Tokyo verkent een weg die in het onderzoeksproces is onthuld:de technologie gebruiken om blinde of slechtziende kinderen te helpen sociale interactievaardigheden te ontwikkelen.

Tweederde van de blinde of slechtziende kinderen vertoont sociaal gedrag dat overeenkomt met dat van kinderen in het autismespectrum, volgens wetenschappelijk onderzoek. Bijvoorbeeld, veel kinderen die blind of slechtziend zijn, lijken niet betrokken te zijn bij gesprekspartners, vaak hun hoofd op een tafel laten rusten met een oor bloot.

Morrison en Cutrell draaiden aan Project Tokyo om te onderzoeken of een verkleinde versie van het systeem kan worden gebruikt om blinde of slechtziende kinderen te helpen begrijpen hoe ze hun lichaam kunnen gebruiken om interacties met mensen te starten en te onderhouden.

Omdat de Microsoft-onderzoekers al een relatie hadden met Theo, ze rekruteerden hem om het systeem aan te passen om met kinderen te werken, zoals rekening houden met de neiging van kinderen om dicht bij elkaar te zitten en, tegelijkertijd, zit zelden stil.

"Toen het de namen van mensen aankondigde, het probeerde twee namen tegelijk aan te kondigen en ik vroeg om dat te veranderen omdat, in principe, het was erg, erg moeilijk om iemands naam te horen, ’ herinnert Theo zich.

De onderzoekers onderzochten ook hoe Theo het systeem gebruikte. Bijvoorbeeld, tijdens een familiemaaltijd begon hij subtiel, maar herhaaldelijk, zijn hoofd heen en weer bewegen om het systeem te dwingen de namen voor te lezen van de mensen met wie hij sprak.

"We denken dat hij dat gebruikte om zijn ruimtelijke aandacht voor een persoon te ondersteunen door zijn werkgeheugen op te frissen van waar ze waren, "Zei Morrison. "Dat is iets wat we nooit hadden kunnen voorspellen, maar een zeer krachtige strategie om hem te helpen zijn aandacht vast te houden, en als hij zijn aandacht kan vasthouden, hij kan een gespreksonderwerp onderhouden."

Andere toepassingen van de technologie waren meer in overeenstemming met de hypothese van de onderzoekers dat het hem zou helpen vaardigheden op te bouwen voor sociale interactie in een wereld die wordt gedomineerd door mensen die zien.

Bijvoorbeeld, zoals andere kinderen die blind of slechtziend zijn, Theo legde zijn hoofd op tafel tijdens sociale situaties, een oor naar de wereld gericht. De onderzoekers speelden een reeks games met Theo om de sociale kracht te benadrukken die zou kunnen ontstaan ​​​​als hij zijn lichaam en hoofd gebruikt om in gesprek te gaan met mensen die zien.

In een spel gespeeld in het lab, de onderzoekers moesten een groepsprobleem oplossen. Theo wist het antwoord. De onderzoekers kenden alleen het onderwerp en konden alleen praten als Theo naar hen keek. Toen Theo wegkeek, ze moesten stoppen met praten.

"Plots realiseerde hij zich dat hij een gesprek aankan, Morrison zei. "Hij begon de kracht te begrijpen van naar iemand kunnen kijken, de kracht die hem in een gesprek gaf en daardoor heeft hij een hele reeks nieuwe sociale vaardigheden mogelijk gemaakt die hij eerder niet had kunnen bereiken."

Vandaag, Theo praat zelden met zijn hoofd op tafel. Of je nu de aangepaste HoloLens draagt ​​of niet, hij draait zijn lichaam en gezicht naar de persoon die hij wil aanspreken. Of de verandering op lange termijn zal aanhouden is onbekend, de onderzoekers zijn er ook niet zeker van of andere blinde of slechtziende kinderen op dezelfde manier zullen reageren.

"Van wat we met Theo zien, we hebben er een goed gevoel bij, omdat we het met hem hebben gezien, maar dat is een geval van één. En wie weet of dat dan toch was gebeurd, "Zei Cutrell. "Daarom draaien we door naar deze volgende fase, die zal kijken naar aanzienlijk meer kinderen en ook een bredere leeftijdsgroep."

Toekomst van Tokio

De bredere onderzoeksinspanning van Project Tokyo gaat door, inclusief nieuwe richtingen in machine learning waarmee gebruikers het systeem kunnen aanpassen aan hun persoonlijke voorkeuren. Sebastiaan Tschiatschek, een machine learning-onderzoeker in het Cambridge-lab, werkt aan functies waarmee gebruikers het systeem de soort en de hoeveelheid informatie kunnen tonen die ze willen horen.

De ontwikkeling van personalisatie vereist van Tschiatschek een onconventionele benadering van machine learning.

"Wat we graag doen, is een probleem formaliseren in een of andere wiskundige vorm, "zei hij. "Je kunt dat niet zo gemakkelijk doen in dit probleem. Veel van de ontwikkeling komt door het uitproberen van dingen, deze interactie met mensen hebben, zien wat ze leuk vinden, hou niet van, en het verbeteren van de algoritmen."

Het verlangen naar personalisatie, hij legde uit, bestaat omdat mensen die blind of slechtziend zijn, verschillende niveaus van gezichtsvermogen hebben en dus verschillende informatiebehoeften. Bovendien, gebruikers van het systeem raken gefrustreerd wanneer het informatie geeft die ze al kennen.

"Om de visie van Project Tokyo te realiseren, je moet zoveel dingen combineren die zelf niet opgelost zijn, ' zei Tschiatschek.

uiteindelijk, Project Tokyo gaat over het demonstreren van het bouwen van intelligente persoonlijke agenten die de mogelijkheden van alle gebruikers uitbreiden. Om daar te komen, Morrison, Cutrell en hun collega's zullen blijven werken met mensen die blind of slechtziend zijn, waaronder meer kinderen.

"Wat we met Theo zagen is behoorlijk krachtig, "Zei Morrison in haar kantoor de dag na de systeemtest in het huis van Regan. "Het was krachtig omdat hij de controle had over zijn wereld op een manier die hij eerder niet kon zijn."

Een van de groeiende groep kinderen die deelneemt aan Project Tokyo, is de 7-jarige zoon van Morrison, Ronan, die blind is sinds zijn geboorte.

"Ik denk dat we dat met Ronan gaan zien, " voegde ze eraan toe. "Ik ben super opgewonden om te proberen."