Onderzoekers in het lab van UC Santa Barbara professor Yasamin Mostofi hebben mogelijk gemaakt, Voor de eerste keer, bepalen of de persoon achter een muur dezelfde persoon is die in bepaalde videobeelden voorkomt, met alleen een paar WiFi-transceivers buiten.

Dit nieuwe op video-WiFi gebaseerde cross-modale persoonsidentificatiesysteem, die ze XModal-ID noemen (uitgesproken als Cross-Modal-ID), verschillende toepassingen kunnen hebben, van bewaking en beveiliging tot slimme huizen. Bijvoorbeeld, overweeg een scenario waarin wetshandhavers videobeelden van een overval hebben. Ze vermoeden dat de overvaller zich in een huis verstopt. Kan een paar WiFi-transceivers buiten het huis bepalen of de persoon in het huis dezelfde is als die in de overvalvideo? Vragen als deze hebben deze nieuwe technologie gemotiveerd.

"Onze voorgestelde aanpak maakt het mogelijk om te bepalen of de persoon achter de muur dezelfde is als die op videobeelden, met alleen een paar kant-en-klare WiFi-transceivers buiten, "zei Mostofi. "Deze aanpak maakt alleen gebruik van ontvangen vermogensmetingen van een wifi-link. Het heeft geen voorafgaande wifi- of videotrainingsgegevens van de persoon nodig om te worden geïdentificeerd. Het heeft ook geen kennis van het operatiegebied nodig."

De voorgestelde methodologie en experimentele resultaten zullen op 22 oktober verschijnen op de 25e Internationale Conferentie over mobiel computergebruik en netwerken (MobiCom).

In de experimenten van het team, één wifi-zender en één wifi-ontvanger bevinden zich achter muren, buiten een kamer waar een persoon loopt. De zender zendt een draadloos signaal uit waarvan het ontvangen vermogen wordt gemeten door de ontvanger. Vervolgens, gegeven videobeelden van een persoon uit een ander gebied - en door alleen dergelijke ontvangen draadloze vermogensmetingen te gebruiken - kan de ontvanger bepalen of de persoon achter de muur dezelfde persoon is die op de videobeelden te zien is.

Deze innovatie bouwt voort op eerder werk in het Mostofi Lab, die sinds 2009 een pionier is in het detecteren van alledaagse radiofrequentiesignalen zoals wifi.

"Echter, het identificeren van een persoon door muren, van kandidaat-videobeelden, is een behoorlijk uitdagend probleem, " zei Mostofi. Het succes van haar lab in dit streven is te danken aan de nieuwe voorgestelde methodologie die ze hebben ontwikkeld.

"De manier waarop ieder van ons beweegt is uniek. Maar hoe kunnen we de loopinformatie-inhoud van de video- en wifi-signalen goed vastleggen en vergelijken om vast te stellen of ze van dezelfde persoon zijn?"

De onderzoekers hebben een nieuwe manier voorgesteld om, Voor de eerste keer, kan de video-loopinhoud vertalen naar het draadloze domein.

"Onze aanpak is multidisciplinair, puttend uit gebieden van zowel draadloze communicatie als visie, " zei Chitra Karanam, een van de drie Ph.D. studenten op het project. Gezien enkele videobeelden, het team gebruikte eerst een menselijk mesh-herstelalgoritme om het 3D-gaas te extraheren dat het buitenoppervlak van het menselijk lichaam beschrijft als een functie van tijd. Vervolgens gebruikten ze Born elektromagnetische golfbenadering om het RF-signaal te simuleren dat zou zijn gegenereerd als deze persoon in een wifi-gebied zou lopen.

Vervolgens gebruikten ze hun tijd-frequentieverwerkingsbenadering om belangrijke loopkenmerken te extraheren uit zowel het echte wifi-signaal (dat achter de muur werd gemeten) als het op video gebaseerde gesimuleerde signaal. De twee signalen worden vervolgens vergeleken om te bepalen of de persoon in het wifi-gebied dezelfde persoon in de video is.

De verwerkingspijplijn van de onderzoekers omvat een reeks wiskundige functies, inclusief Short-time Fourier-transformatie en Hermite-functies, om het spectrogram van het ontvangen signaal te krijgen. "Een spectrogram draagt ​​de frequentie-tijd inhoud van het signaal, die impliciet de ganginformatie van de persoon bevat, " legde Belal Korany uit, een andere doctoraat student betrokken bij de inspanning.

Verschillende belangrijke loopeigenschappen worden vervolgens uit beide spectrogrammen gehaald en correct vergeleken om aan te geven of de persoon in de video zich achter de muur bevindt.

"We hebben deze technologie uitgebreid getest op onze campus, " zei Herbert Cai, de derde Ph.D. leerling op het project. Het lab heeft hun nieuwe technologie getest op 1, 488 WiFi-videoparen, getrokken uit een pool van acht mensen, en in drie verschillende ruimtes achter de muur, en behaalde een algehele nauwkeurigheid van 84% bij het correct identificeren van de persoon achter de muur.