De broer van Kassem Fawaz was op een videoconferentie met de microfoon gedempt toen hij merkte dat het microfoonlampje nog steeds aan was, wat op onverklaarbare wijze aangeeft dat zijn microfoon werd gebruikt.

Gealarmeerd vroeg hij Fawaz, een expert in online privacy en een assistent-professor in elektrische en computertechniek aan de Universiteit van Wisconsin-Madison, om het probleem te onderzoeken.

Fawaz en promovendus Yucheng Yang onderzochten of dit fenomeen 'mic-off-light-on' meer wijdverbreid was. Ze probeerden veel verschillende toepassingen voor videoconferenties uit op de belangrijkste besturingssystemen, waaronder iOS, Android, Windows en Mac, en controleerden of de apps nog steeds toegang hadden tot de microfoon wanneer deze was gedempt.

"Het blijkt dat in de overgrote meerderheid van de gevallen, wanneer je jezelf dempt, deze apps de toegang tot de microfoon niet opgeven", zegt Fawaz. "En dat is een probleem. Als je gedempt bent, verwachten mensen niet dat deze apps gegevens verzamelen."

Na hun eerste tests voerden Fawaz en Yang, samen met collega's van de Loyola University Chicago, een meer formeel onderzoek uit naar wat er precies gebeurt als de microfoons van videoconferentiesoftware worden gedempt. Ze zullen hun resultaten presenteren op het Privacy Enhancing Technologies Symposium in juli.

Eerst voerde het team een ​​gebruikersonderzoek uit en vroeg 223 gebruikers van videoconferentieapps hoe ze de functie van de mute-knop begrijpen en hoe deze volgens hen met audiogegevens moet omgaan. Hoewel de deelnemers verdeeld waren over de vraag of ze dachten dat de chat-applicaties toegang hadden tot hun microfoons wanneer ze gedempt waren, waren de meesten van mening dat de apps geen gegevens zouden moeten kunnen verzamelen als ze op mute waren ingesteld.

Voor het tweede deel van het onderzoek onderzocht het team het daadwerkelijke gedrag van de mute-knop op veel populaire apps, om te bepalen welk type gegevens wordt verzameld en of het persoonlijke informatie kan onthullen.

Ze gebruikten runtime binaire analysetools om onbewerkte audio te traceren in populaire videoconferentietoepassingen terwijl de audio van de app naar het audiostuurprogramma van de computer ging en vervolgens naar het netwerk terwijl de app was gedempt.

Ze ontdekten dat alle apps die ze hebben getest af en toe onbewerkte audiogegevens verzamelen terwijl dempen is geactiveerd, waarbij één populaire app informatie verzamelt en gegevens aan zijn server levert met dezelfde snelheid, ongeacht of de microfoon is gedempt of niet.

De onderzoekers besloten vervolgens om te kijken of ze gegevens konden gebruiken die op mute zijn verzameld van die app om de soorten activiteiten af ​​​​te leiden die op de achtergrond plaatsvinden. Met behulp van machine learning-algoritmen trainden ze een activiteitsclassificator met behulp van audio uit YouTube-video's die zes veelvoorkomende achtergrondactiviteiten vertegenwoordigen, waaronder koken en eten, muziek afspelen, typen en schoonmaken. Door de classificatie toe te passen op het type telemetriepakketten dat de app verzond, kon het team de achtergrondactiviteit identificeren met een nauwkeurigheid van gemiddeld 82%.

"Als je aan het koken bent, is de akoestische signatuur anders dan die van iemand die rijdt of een video bekijkt", zegt Fawaz. "Dus dit soort activiteiten kunnen worden onderscheiden op basis van deze akoestische vingerafdruk die daadwerkelijk naar de cloud is gestuurd."

Of de gegevens nu wel of niet worden geopend of gebruikt, de bevindingen geven aanleiding tot privacyproblemen.

"Met een camera kun je hem uitzetten of er zelfs je hand overheen leggen, en wat je ook doet, niemand kan je zien", zegt Fawaz. "Volgens mij bestaat dat niet voor microfoons."

Het uitschakelen van een microfoon is mogelijk in de meeste besturingssystemen van apparaten, maar dit betekent meestal dat u door verschillende menu's moet navigeren. In plaats daarvan suggereert het team dat de oplossing zou kunnen liggen in het ontwikkelen van gemakkelijk toegankelijke software-switches of zelfs hardware-switches waarmee gebruikers hun microfoons handmatig kunnen in- en uitschakelen.