We zijn eraan gewend geraakt dat onze smartwatches en smartphones voelen wat ons lichaam doet, of het nu gaat, rijden of slapen. Maar hoe zit het met onze handen? Het blijkt dat smartwatches, met een paar aanpassingen, kan een verrassend aantal dingen detecteren die uw handen aan het doen zijn.

Onderzoekers van het Human-Computer Interaction Institute (HCII) van de Carnegie Mellon University hebben een standaard smartwatch gebruikt om erachter te komen wanneer een drager op een toetsenbord aan het typen was. afwassen, een hond aaien, uit een kan gieten of met een schaar knippen.

Door een paar wijzigingen aan te brengen in het besturingssysteem van het horloge, ze konden de versnellingsmeter gebruiken om handbewegingen te herkennen en, in sommige gevallen, bio-akoestische geluiden geassocieerd met 25 verschillende handactiviteiten met een nauwkeurigheid van ongeveer 95 procent. En die 25 activiteiten zijn nog maar het begin van wat mogelijk kan worden opgespoord.

"We zien smartwatches als een uniek bruggenhoofd op het lichaam voor het vastleggen van rijke, dagelijkse activiteiten, " zei Chris Harrison, universitair docent bij de HCII en directeur van de Future Interfaces Group. "Een breed scala aan apps zou slimmer en contextgevoeliger kunnen worden gemaakt als onze apparaten de activiteit van ons lichaam en onze handen zouden kennen."

Harrison en HCII Ph.D. student Gierad Laput zal hun bevindingen over deze nieuwe sensing-mogelijkheid presenteren op CHI 2019, de Association for Computing Machinery's conferentie over menselijke factoren in computersystemen, 4-9 mei in Glasgow, Schotland. Er is een video beschikbaar.

Net zoals smartphones nu sms-berichten kunnen blokkeren terwijl een gebruiker aan het rijden is, toekomstige apparaten die handactiviteit detecteren, kunnen leren om iemand niet te onderbreken terwijl ze bepaald werk met hun handen doen, zoals het hakken van groenten of het bedienen van elektrische apparatuur, zei Laput. Het waarnemen van handactiviteit leent zich ook voor gezondheidsgerelateerde apps - monitoringactiviteiten zoals tandenpoetsen, handen wassen of een sigaret roken.

Hand-sensing kan ook worden gebruikt door apps die feedback geven aan gebruikers die een nieuwe vaardigheid leren, zoals het bespelen van een muziekinstrument, of lichamelijke revalidatie ondergaan. Apps kunnen gebruikers waarschuwen voor typegewoonten die kunnen leiden tot RSI (Repetitive Strain Injury), of het begin van motorische stoornissen beoordelen, zoals die geassocieerd met de ziekte van Parkinson.

Laput en Harrison begonnen hun verkenning van handactiviteitdetectie door 50 mensen te rekruteren om speciaal geprogrammeerde smartwatches te dragen voor bijna 1 000 uur terwijl ze bezig zijn met hun dagelijkse activiteiten. Periodiek, de horloges registreerden handbewegingen, handoriëntatie en bio-akoestische informatie, en vraag de drager vervolgens om de handactiviteit te beschrijven:scheren, klappen, krabben, lippenstift opdoen, enz. Meer dan 80 handactiviteiten werden op deze manier geëtiketteerd, het verstrekken van een unieke dataset.

Voor nu, gebruikers moeten de smartwatch op hun actieve arm dragen, in plaats van de passieve (niet-dominante) arm waar mensen doorgaans polshorloges dragen, om het systeem te laten werken. Toekomstige experimenten zullen onderzoeken welke gebeurtenissen kunnen worden gedetecteerd met behulp van de passieve arm.

"De 25 handactiviteiten die we hebben geëvalueerd, zijn een klein deel van de manieren waarop we onze armen en handen in de echte wereld gebruiken, " Laput zei. Toekomstig werk zal zich waarschijnlijk richten op klassen van activiteiten - activiteiten die verband houden met specifieke activiteiten zoals stoppen met roken, ouderenzorg, of typen en RSI.