Een nieuw softwaresysteem ontwikkeld door onderzoekers van de Brown University verandert mobiele telefoons in augmented reality-portalen, gebruikers in staat stellen virtuele bouwstenen te plaatsen, meubels en andere objecten in echte achtergronden, en hun handen gebruiken om die objecten te manipuleren alsof ze er echt zijn.

De ontwikkelaars hopen dat het nieuwe systeem, genaamd Portal-ble, kan een hulpmiddel zijn voor kunstenaars, ontwerpers, game-ontwikkelaars en anderen om te experimenteren met augmented reality (AR). Het team zal het werk later deze maand presenteren op het ACM Symposium on User Interface Software and Technology (UIST 2019) in New Orleans. De broncode voor Andriod is gratis te downloaden op de website van de onderzoekers, en iPhone-code volgen binnenkort.

"AR wordt een geweldige nieuwe manier van interactie, " zei Jeff Huang, een assistent-professor computerwetenschappen bij Brown die het systeem samen met zijn studenten ontwikkelde. "We wilden iets maken dat AR draagbaar maakte, zodat mensen ze overal konden gebruiken zonder omvangrijke headsets. We wilden ook dat mensen op een natuurlijke manier met hun handen konden communiceren met de virtuele wereld."

Huang zei dat het idee voor Portal-ble's "hands-on" interactie voortkwam uit frustratie met AR-apps zoals Pokemon GO. AR-apps gebruiken smartphones om virtuele objecten (zoals Pokemon-personages) in echte scènes te plaatsen, maar interactie met die objecten vereist dat gebruikers over het scherm vegen.

"Swipen was gewoon geen bevredigende manier van interactie, " zei Huang. "In de echte wereld, we communiceren met objecten met onze handen. We draaien deurknoppen, dingen oppakken en gooien. Dus we dachten dat het manipuleren van virtuele objecten met de hand veel krachtiger zou zijn dan vegen. Dat is het verschil met Portal-ble."

Het platform maakt gebruik van een kleine infraroodsensor die op de achterkant van een telefoon is gemonteerd. De sensor volgt de positie van de handen van mensen ten opzichte van virtuele objecten, gebruikers in staat stellen objecten op te pakken, draai ze, stapel ze of laat ze vallen. Het laat mensen ook hun handen gebruiken om virtueel te "schilderen" op echte achtergronden. Als demonstratie, Huang en zijn studenten gebruikten het systeem om een ​​virtuele tuin te schilderen in een groene ruimte op de campus van Brown's College Hill.

Huang zegt dat de belangrijkste technische bijdrage van het werk het ontwikkelen van de juiste accommodatie- en feedbacktools was om mensen in staat te stellen intuïtief te interageren met virtuele objecten.

"Het blijkt dat het oppakken van een virtueel object heel moeilijk is als je natuurkunde uit de echte wereld probeert toe te passen, Huang zei. "Mensen proberen op de verkeerde plaats te grijpen, of ze steken hun vingers door de voorwerpen. We moesten dus observeren hoe mensen probeerden om te gaan met deze objecten en ons systeem vervolgens in staat stellen om aan die neigingen tegemoet te komen."

Om dat te doen, Huang riep studenten op in een klas die hij lesgaf om taken te bedenken die ze misschien zouden willen doen in de AR-wereld:een reeks blokken stapelen, bijvoorbeeld. De studenten vroegen vervolgens andere mensen om die taken uit te voeren met Portal-ble, terwijl ze vastlegden wat mensen wel en niet konden. Vervolgens zouden ze de fysica en de gebruikersinterface van het systeem kunnen aanpassen om interacties succesvoller te maken.

"Het lijkt een beetje op wat er gebeurt als mensen lijnen tekenen in Photoshop, Huang zei. "De lijnen die mensen trekken zijn nooit perfect, maar het programma kan ze gladstrijken en perfect recht maken. Dat was het soort accommodatie dat we probeerden te maken met deze virtuele objecten."

Het team voegde ook sensorische feedback toe - visuele highlights op objecten en telefoontrillingen - om interacties gemakkelijker te maken. Huang zei dat hij enigszins verrast was dat telefoontrillingen gebruikers hielpen om te communiceren. Gebruikers voelen de trillingen in de hand waarmee ze de telefoon vasthouden, niet in de hand die daadwerkelijk naar het virtuele object grijpt. Nog altijd, Huang zei, vibratiefeedback hielp gebruikers nog steeds om succesvoller met objecten om te gaan.

Bij vervolgonderzoeken gebruikers meldden dat de aanpassingen en feedback die door het systeem werden gebruikt, taken aanzienlijk eenvoudiger maakten, minder tijdrovend en bevredigender.

Huang en zijn studenten zijn van plan om met Portal-ble te blijven werken door de objectbibliotheek uit te breiden, het verfijnen van interacties en het ontwikkelen van nieuwe activiteiten. Ze hopen ook het systeem te stroomlijnen om het volledig op een telefoon te laten werken. Momenteel heeft de infraroodsensor een infraroodsensor en een externe rekenstick nodig voor extra verwerkingskracht.

Huang hoopt dat mensen de gratis beschikbare broncode zullen downloaden en het zelf zullen proberen.

"We willen dit gewoon naar buiten brengen en kijken wat mensen ermee doen, " zei hij. "De code staat op onze website zodat mensen ze kunnen downloaden, bewerken en verder bouwen. Het zal interessant zijn om te zien wat mensen ermee doen."