Röntgenvisie leek lang een vergezochte sciencefictionfantasie, maar in de afgelopen tien jaar heeft een team onder leiding van professor Dina Katabi van MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) ons voortdurend dichter bij het zien door muren gebracht.

Hun nieuwste project, "RF-pose, " gebruikt kunstmatige intelligentie (AI) om draadloze apparaten te leren de houding en beweging van mensen te voelen, zelfs vanaf de andere kant van een muur.

De onderzoekers gebruiken een neuraal netwerk om radiosignalen te analyseren die van het lichaam van mensen weerkaatsen. en kan dan een dynamische stokfiguur maken die loopt, stopt, zit en beweegt zijn ledematen terwijl de persoon die acties uitvoert.

Het team zegt dat het systeem kan worden gebruikt om ziekten zoals Parkinson en multiple sclerose (MS) te monitoren, het geven van een beter inzicht in het ziekteverloop en het toestaan ​​van artsen om hun medicijnen dienovereenkomstig aan te passen. Het kan ouderen ook helpen om zelfstandiger te leven, terwijl het de extra veiligheid biedt van monitoring op vallen, verwondingen en veranderingen in activiteitenpatronen.

(Alle gegevens die het team heeft verzameld, hebben toestemming van de proefpersonen en zijn geanonimiseerd en gecodeerd om de privacy van gebruikers te beschermen. Voor toekomstige toepassingen in de echte wereld, het team is van plan een "toestemmingsmechanisme" te implementeren waarbij de persoon die het apparaat installeert, wordt gevraagd een specifieke reeks bewegingen uit te voeren zodat het de omgeving begint te bewaken.)

Het team werkt momenteel samen met artsen om meerdere toepassingen in de gezondheidszorg te verkennen.

"We hebben gezien dat het monitoren van de loopsnelheid en het vermogen van patiënten om zelf basisactiviteiten uit te voeren, zorgverleners een kijkje in hun leven geeft dat ze voorheen niet hadden. die van betekenis kunnen zijn voor een hele reeks ziekten, " zegt Katabi, die samen een nieuw artikel over het project schreven. "Een belangrijk voordeel van onze aanpak is dat patiënten geen sensoren hoeven te dragen of eraan hoeven te denken hun apparaten op te laden."

Naast de gezondheidszorg, het team zegt dat RF-Pose ook kan worden gebruikt voor nieuwe klassen videogames waarbij spelers door het huis bewegen, of zelfs in zoek- en reddingsmissies om overlevenden te helpen lokaliseren.

"Net zoals mobiele telefoons en wifi-routers essentiële onderdelen van het huishouden van vandaag zijn geworden, Ik geloof dat draadloze technologieën zoals deze de huizen van de toekomst van stroom zullen voorzien, " zegt Katabi, die samen met Ph.D. student en hoofdauteur Mingmin Zhao, MIT-professor Antonio Torralba, postdoc Mohammad Abu Alsheikh, afgestudeerde student Tianhong Li en Ph.D. studenten Yonglong Tian en Hang Zhao. Ze zullen het later deze maand presenteren op de Conference on Computer Vision and Pattern Recognition (CVPR) in Salt Lake City, Utah.

Een uitdaging die de onderzoekers moesten aanpakken, is dat de meeste neurale netwerken worden getraind met behulp van gegevens die met de hand zijn gelabeld. Een neuraal netwerk getraind om katten te identificeren, bijvoorbeeld, vereist dat mensen naar een grote dataset met afbeeldingen kijken en ze allemaal labelen als 'kat' of 'geen kat'. Radiosignalen, In de tussentijd, kan niet gemakkelijk worden gelabeld door mensen.

Dit behandelen, de onderzoekers verzamelden voorbeelden met zowel hun draadloze apparaat als een camera. Ze verzamelden duizenden afbeeldingen van mensen die activiteiten deden zoals wandelen, praten, zitten, deuren openen en wachten op liften.

Vervolgens gebruikten ze deze beelden van de camera om de stokfiguren te extraheren, die ze samen met het bijbehorende radiosignaal aan het neurale netwerk lieten zien. Deze combinatie van voorbeelden stelde het systeem in staat om de associatie tussen het radiosignaal en de stokfiguren van de mensen in de scène te leren.

Na training, RF-Pose was in staat om de houding en bewegingen van een persoon in te schatten zonder camera's, met alleen de draadloze reflecties die weerkaatsen op de lichamen van mensen.

Omdat camera's niet door muren kunnen kijken, het netwerk is nooit expliciet getraind op gegevens van de andere kant van een muur - en daarom was het voor het MIT-team bijzonder verrassend dat het netwerk zijn kennis kon veralgemenen om bewegingen door de muur te kunnen verwerken.

"Als je het computervisiesysteem ziet als de leraar, dit is echt een fascinerend voorbeeld van de leerling die beter presteert dan de leraar, ' zegt Torralba.

Naast het voelen van beweging, de auteurs toonden ook aan dat ze draadloze signalen konden gebruiken om 83 procent van de tijd nauwkeurig iemand te identificeren uit een opstelling van 100 personen. Deze mogelijkheid kan met name nuttig zijn voor de toepassing van zoek- en reddingsoperaties, wanneer het nuttig kan zijn om de identiteit van bepaalde personen te kennen.

Voor dit papier het model geeft een 2D-stickfiguur weer, maar het team werkt ook aan het maken van 3D-representaties die nog kleinere microbewegingen kunnen weerspiegelen. Bijvoorbeeld, het kan misschien zien of de handen van een oudere persoon regelmatig genoeg trillen om een ​​controle te krijgen.

"Door deze combinatie van visuele data en AI te gebruiken om door muren te kijken, we kunnen zorgen voor een beter begrip van de scène en slimmere omgevingen om veiliger te leven, productiever leven, ' zegt Zhao.