Slimme apparaten kunnen dom lijken als ze niet begrijpen waar ze zijn of wat mensen om hen heen doen. Onderzoekers van de Carnegie Mellon University zeggen dat dit milieubewustzijn kan worden vergroot door complementaire methoden voor het analyseren van geluid en trillingen.

"Een slimme luidspreker die op een aanrecht in de keuken zit, kan er niet achter komen of hij in een keuken staat, laat staan ​​weten wat iemand in een keuken doet, " zei Chris Harrison, assistent-professor in het Human-Computer Interaction Institute (HCII) van CMU. "Maar als deze apparaten begrepen wat er om hen heen gebeurde, ze zouden veel nuttiger kunnen zijn."

Harrison en collega's van de Future Interfaces Group zullen vandaag op het User Interface Software and Technology Symposium van de Association for Computing Machinery in Berlijn verslag uitbrengen over twee benaderingen van dit probleem:een die gebruikmaakt van de meest alomtegenwoordige sensoren, de microfoon, en een andere die een moderne versie van afluistertechnologie gebruikt die in de jaren vijftig door de KGB werd gebruikt.

In het eerste geval, de onderzoekers hebben geprobeerd een op geluid gebaseerd systeem voor activiteitsherkenning te ontwikkelen, genaamd Ubicoustics. Dit systeem zou de bestaande microfoons in slimme luidsprekers gebruiken, smartphones en smartwatches, waardoor ze geluiden kunnen herkennen die verband houden met plaatsen, zoals slaapkamers, Keukens, werkplaatsen, entrees en kantoren.

"Het belangrijkste idee hier is om gebruik te maken van de professionele geluidseffectbibliotheken die doorgaans worden gebruikt in de entertainmentindustrie, " zei Gierad Laput, een doctoraat student in HCII. "Ze zijn schoon, correct geëtiketteerd, goed gesegmenteerd en divers. Plus, we kunnen ze transformeren en projecteren in honderden verschillende variaties, het creëren van datavolumes die perfect zijn voor het trainen van deep-learningmodellen.

"Dit systeem kan als software-update op een bestaand apparaat worden geïmplementeerd en onmiddellijk werken, " hij voegde toe.

Het plug-and-play-systeem kan in elke omgeving werken. Het kan de gebruiker waarschuwen wanneer iemand op de voordeur klopt, bijvoorbeeld, of ga naar de volgende stap in een recept wanneer het een activiteit detecteert, zoals het laten draaien van een blender of hakken.

De onderzoekers, waaronder Karan Ahuja, een doctoraat student in HCII, en Mayank Goel, universitair docent bij het Institute for Software Research, begon met een bestaand model voor het labelen van geluiden en stemde dit af met geluidseffecten uit de professionele bibliotheken, zoals keukenapparatuur, elektrisch gereedschap, haardrogers, keyboards en andere contextspecifieke geluiden. Vervolgens hebben ze de geluiden synthetisch gewijzigd om honderden variaties te creëren.

Laput zei dat het een uitdaging is om geluiden te herkennen en in de juiste context te plaatsen, deels omdat er vaak meerdere geluiden aanwezig zijn en met elkaar kunnen interfereren. In hun testen, Ubicoustics had een nauwkeurigheid van ongeveer 80 procent - concurrerend met menselijke nauwkeurigheid, maar nog niet goed genoeg om gebruikersapplicaties te ondersteunen. Betere microfoons, hogere bemonsteringsfrequenties en verschillende modelarchitecturen kunnen allemaal de nauwkeurigheid vergroten met verder onderzoek.

Een video waarin Ubicoustics wordt uitgelegd:

In een apart blad, HCII Ph.D. student Yang Zhang, samen met Laput en Harrison, beschrijven wat ze Vibrosight noemen, die trillingen kan detecteren op specifieke locaties in een kamer met behulp van laservibrometrie. Het is vergelijkbaar met de op licht gebaseerde apparaten die de KGB ooit gebruikte om trillingen te detecteren op reflecterende oppervlakken zoals ramen, waardoor ze konden luisteren naar de gesprekken die de trillingen opriepen.

"Het leuke van trillingen is dat het een bijproduct is van de meeste menselijke activiteit, " zei Zhang. Rennend op een loopband, een hamer slaan of typen op een toetsenbord veroorzaken allemaal trillingen die op afstand kunnen worden gedetecteerd. "Het andere coole is dat trillingen zich op een oppervlak bevinden, " voegde hij eraan toe. In tegenstelling tot microfoons, de trillingen van de ene activiteit interfereren niet met trillingen van een andere. En in tegenstelling tot microfoons en camera's, het bewaken van trillingen op specifieke locaties maakt deze techniek discreet en behoudt de privacy.

Deze methode vereist wel een speciale sensor, een laagvermogen laser gecombineerd met een gemotoriseerde, bestuurbare spiegel. De onderzoekers bouwden hun experimentele apparaat voor ongeveer $ 80. Reflecterende tags - hetzelfde materiaal dat wordt gebruikt om fietsen en voetgangers 's nachts beter zichtbaar te maken - worden aangebracht op de te bewaken objecten. De sensor kan in een hoek van een kamer worden gemonteerd en kan trillingen voor meerdere objecten bewaken.

Zhang zei dat de sensor kan detecteren of een apparaat aan of uit staat met een nauwkeurigheid van 98 procent en het apparaat kan identificeren met een nauwkeurigheid van 92 procent. gebaseerd op het trillingsprofiel van het object. Het kan ook beweging detecteren, zoals die van een stoel wanneer iemand erop zit, en het weet wanneer iemand het zicht van de sensor op een tag heeft geblokkeerd, zoals wanneer iemand een gootsteen of een oogspoelstation gebruikt.

Een video waarin Vibrosight wordt uitgelegd: