Een KAIST-team heeft een nieuwe technologie gepresenteerd, "Klopper, " die objecten identificeert en acties uitvoert door erop te kloppen met de smartphone. Software aangedreven door machine learning van geluiden, trillingen, en andere reacties zullen de aanwijzingen van de gebruikers uitvoeren.

Wat Knocker onderscheidt van bestaande technologie is de sensorfusie van geluid en beweging. Eerder, objectidentificatie maakte gebruik van computervisietechnologie met camera's of hardware zoals RFID-tags (Radio Frequency Identification). Deze oplossingen hebben allemaal hun beperkingen. Voor computer vision-technologie, gebruikers moeten van elk item foto's maken. Nog erger, de technologie zal niet goed werken in situaties met weinig licht. Het gebruik van hardware leidt tot extra kosten en arbeidslasten.

Klopper, anderzijds, kan objecten zelfs in donkere omgevingen alleen met een smartphone identificeren, zonder dat er speciale hardware of een camera nodig is. Knocker maakt gebruik van de ingebouwde sensoren van de smartphone, zoals een microfoon, een versnellingsmeter, en een gyroscoop om een ​​unieke reeks reacties vast te leggen die worden gegenereerd wanneer een smartphone tegen een object wordt geslagen. Machine learning wordt gebruikt om deze reacties te analyseren en objecten te classificeren en te identificeren.

Het onderzoeksteam onder leiding van professor Sung-Ju Lee van de School of Computing bevestigde de toepasbaarheid van Knocker-technologie met behulp van 23 alledaagse voorwerpen zoals boeken, laptopcomputers, waterflessen, en fietsen. In lawaaierige omgevingen zoals een druk café of aan de kant van een weg, het bereikte 83% identificatienauwkeurigheid. In een rustige binnenomgeving, de nauwkeurigheid steeg tot 98%.

Het team gelooft dat Knocker een nieuw paradigma van objectinteractie zal openen. Bijvoorbeeld, door op een lege waterfles te kloppen, een smartphone kan automatisch nieuwe waterflessen bestellen via een merchant-app. Wanneer geïntegreerd met IoT-apparaten, kloppen op het hoofdeinde van een bed voordat je gaat slapen, kan het licht uitdoen en een alarm instellen. Het team suggereerde en implementeerde 15 toepassingsgevallen in de paper, gepresenteerd tijdens de 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp 2019) die vorige maand in Londen werd gehouden.

Professor Sung-Ju Lee zei:"Deze nieuwe technologie vereist geen gespecialiseerde sensor of hardware. Het gebruikt gewoon de ingebouwde sensoren op smartphones en maakt gebruik van de kracht van machine learning. Het is een softwareoplossing waar alledaagse smartphonegebruikers onmiddellijk van kunnen profiteren." Hij ging verder, "Deze technologie stelt gebruikers in staat om gemakkelijk te communiceren met hun favoriete objecten."