Computerwetenschappers van Columbia Engineering hebben een nieuw computersysteem ontwikkeld dat huidige, ongewijzigde mobiele apps om meerdere apparaten te combineren en te delen, inclusief camera's, toont, sprekers, microfoons, sensoren, en GPS, op meerdere smartphones en tablets. genaamd M2, het nieuwe systeem werkt in heterogene systemen, inclusief Android en iOS, het combineren van de functionaliteit van meerdere mobiele systemen tot een krachtiger systeem dat gebruikers een naadloze ervaring geeft tussen de verschillende systemen.

Met de komst van bezelloze smartphones en tablets, M2 beantwoordt aan de groeiende vraag naar multi-mobiel computergebruik:gebruikers kunnen in plaats daarvan hun Netflix- of Spotify-streams dynamisch overschakelen van hun smartphones naar een verzameling andere systemen in de buurt voor een groter scherm of betere audio. In plaats van alleen smartphones en tablets te gebruiken, gebruikers kunnen de functionaliteiten van hun systeem combineren omdat ze nu allemaal kunnen samenwerken. Gebruikers kunnen zelfs foto's die met verschillende camera's en vanuit verschillende hoeken zijn gemaakt, in één enkele, gedetailleerd 3D-beeld.

"Gezien de vele populaire en bekende apps die er zijn, we kunnen systemen combineren en mixen om coole dingen te doen met deze bestaande ongewijzigde apps zonder ontwikkelaars te dwingen nieuwe API's en tools te gebruiken, " zegt Naser AlDuaij, de hoofdauteur van de studie en een Ph.D. student werkt samen met professor computerwetenschappen Jason Nieh. "We wilden M2 gebruiken om alle apps te targeten zonder enige overhead aan app-ontwikkeling toe te voegen. Gebruikers kunnen M2 zelfs gebruiken om Android-apps uit te voeren vanaf hun iPhones."

De uitdaging voor het team was dat mobiele systemen niet alleen zeer heterogeen zijn, maar dat heterogeen delen van apparaten ook moeilijk te ondersteunen is. Voorbij hardware heterogeniteit, er zijn ook veel verschillende platforms en OS-versies, met een breed scala aan incompatibele apparaatinterfaces die bepalen hoe softwaretoepassingen communiceren met hardware.

Hoewel verschillende mobiele systemen verschillende API's hebben en apparaten op laag niveau leverancierspecifiek zijn, de apparaatgegevens op hoog niveau die aan apps worden verstrekt, hebben over het algemeen een standaardindeling. Dus koos AlDuaij voor een benadering van apparaatgegevens op hoog niveau en ontwierp M2 om apparaatgegevens in een gemeenschappelijk formaat van en naar systemen te importeren en exporteren, het vermijden van de noodzaak om incompatibele mobiele systemen en apparaat-API's te overbruggen. Met deze methode kan M2 niet alleen apparaten delen, maar ook om apparaten met verschillende soorten gegevens te mixen en combineren, aangezien het apparaatgegevens in een bekend formaat kan samenvoegen of manipuleren.

"Met M2 we introduceren apparaattransformatie, een raamwerk waarmee verschillende apparaten in verschillende systemen kunnen worden vervangen en met elkaar kunnen worden gecombineerd om multi-mobiele heterogeniteit te ondersteunen, functionaliteit, en transparantie, " zegt AlDuaij, die de studie vandaag presenteerde op MobiSys 2019, de 17e ACM International Conference on Mobile Systems, Toepassingen, en diensten. "We kunnen apparaatgegevens gemakkelijk manipuleren of converteren omdat ze in een standaardformaat zijn. we kunnen touchscreen-invoer eenvoudig schalen en aggregeren. We kunnen ook displayframes omzetten naar cameraframes of omgekeerd. M2 stelt ons in staat om verschillende apparaten op verschillende manieren te herinterpreteren of te representeren."

Een van de apparaat-transformaties van M2 is het samenvoegen van apparaatgegevens van meerdere apparaten om een ​​meerkoppig weergavescenario te bieden voor een betere weergave op een groot scherm of een betere game-ervaring. Door sensorgegevens van de versnellingsmeter om te zetten in invoeraanrakingen, M2 kan een smartphone transformeren in een Nintendo Wii-achtige afstandsbediening om een ​​game op een ander systeem te bedienen. Oogbewegingen kunnen ook worden omgezet in touchscreen-invoer, een handige toegankelijkheidsfunctie voor gehandicapte gebruikers die hun handen niet kunnen gebruiken.

Voor audioconferenties zonder dure gespecialiseerde apparatuur, M2 kan worden ingezet op smartphones in een kamer om hun microfoons vanuit meerdere gezichtspunten te gebruiken, biedt superieure luidspreker-identificeerbare geluidskwaliteit en ruisonderdrukking. M2 kan een weergave omleiden naar een camera, zodat stockcamera-apps een Netflix- of YouTube-video kunnen opnemen en ook panoramische video-opnames mogelijk maken door de camera-ingangen van twee systemen te fuseren om een ​​breder, weids beeld te creëren. Een potentieel populaire toepassing zou zijn om naast elkaar zittende ouders de brede school- of sportprestaties van hun kind te laten opnemen.

"Door dit alles te doen zonder apps aan te passen, kunnen gebruikers hun favoriete apps blijven gebruiken met een verbeterde ervaring, " zegt AlDuaij. "M2 is een win-win:gebruikers hoeven zich geen zorgen te maken over welke apps dergelijke functionaliteit zouden ondersteunen en ontwikkelaars hoeven geen tijd en geld te besteden aan het updaten van hun apps."

Het gebruik van M2 is eenvoudig:een gebruiker hoeft alleen maar de M2-app te downloaden van Google Play of de App Store van Apple. Er is geen andere software nodig. Eén mobiel systeem draait de ongewijzigde app; de input en output van alle systemen wordt gecombineerd en gedeeld met de app.

"Ons M2-systeem is gebruiksvriendelijk, loopt efficiënt, en schaalt goed, vooral in vergelijking met bestaande benaderingen, Nieh merkt op. "We denken dat multi-mobile computing een breder, rijkere ervaring met de mogelijkheid om meerdere apparaten van meerdere systemen op nieuwe manieren met elkaar te combineren.

Het Columbia-team is in gesprek gegaan met leveranciers van mobiele besturingssystemen en telefoonfabrikanten om M2-technologieën op te nemen in de volgende releases van hun producten. Met een paar kleine aanpassingen aan de huidige systemen, leveranciers van mobiele besturingssystemen kunnen multi-mobiel computergebruik breed beschikbaar maken voor iedereen.