De Universiteit Twente ontwikkelt momenteel een smartphonetechnologie op basis van het gebruik van Simultaneous Localization And Mapping (SLAM) en augmented reality (AR). Met deze technologie kan medisch personeel snel 3D-lichaamsdelen reconstrueren, alleen door de smartphone rond het interessegebied te houden. Deze smartphone zal de vergrote lagen van het 3D-huidoppervlak weergeven om onzichtbare informatie voor medisch personeel te visualiseren.

"We willen de informatie van de MRI en andere aderscans (van sensorapparatuur met laserspikkel) in lagen leggen en zichtbaar maken met augmented reality", zegt Dr. Eng. Beril Sirmacek (Informatica). Hierdoor kunnen artsen de binnenste lichaamssegmenten zien, tumoren, aderen en de status van diabetische ulcera met het gebruik van augmented reality. Deze visuele ondersteuning stelt artsen in staat de situatie beter te overzien en betere beslissingen te nemen. In een biopsiesituatie deze visuele ondersteuning kan helpen bij het begeleiden van de robotarmen om bij de eerste poging de tumor te bereiken voor biopsie, in plaats van de gok te wagen en naar de juiste locatie te reiken door een hele dag met een patiënt te werken en onsuccesvolle biopsiegaten op het lichaam van de patiënt te maken.

De augmented visualisatie van big data en de begeleiding met de smartphone-applicatie is sterk afhankelijk van de technologie van Simultaneous Localization and Mapping (SLAM). "Ook al had ik geen medische achtergrond, onze gemeenschappelijke focus op SLAM en AR biedt een geweldig platform."

SLAM-box

“Toen we aan dit project begonnen, ons doel was om bij de UT-onderzoeksgroep RAM (Robotica en Mechatronica) een SLAM-box te ontwikkelen. We kunnen onze lokalisatie- en 3D-reconstructiesoftware op verschillende sensoren gebruiken en niet alleen met het gebruik van smartphones. Onze visie zal leiden tot veel gezondheidstoepassingen, en andere robotica-toepassingen zullen intelligenter worden. Met deze technologie, de algoritmen begrijpen snel de 3D-modellen van de omringende objecten, ongeacht de gebruikte beeldsensoren."

Prof.dr.ir. Stefano Stramigioli (voorzitter van de groep, Robotica en Mechatronica):"SLAM is een kerntechnologie in robotica, maar het universele gebruik ervan zal alleen mogelijk zijn als we methoden hebben om gemakkelijk veel sensoren in een robotsysteem te koppelen. Een tram, we zijn van plan een modulaire SLAM-box te maken die zichzelf automatisch opnieuw configureert als er extra sensoren op een Plug&Play-manier worden aangesloten. Dan zou het mogelijk zijn om deze "SLAM Box" aan te sluiten op een compleet robotsysteem, waardoor het krachtige waarnemingsmogelijkheden heeft."