QUT-onderzoekers hebben een nieuwe manier ontwikkeld voor robots om de wereld vanuit een meer menselijk perspectief te bekijken, die het potentieel heeft om de manier waarop technologie, zoals auto's zonder bestuurder en industriële en mobiele robots, werkt en communiceert met mensen.

In wat wordt beschouwd als een wereldprimeur, doctoraat student Sourav Garg, Dr. Niko Suenderhauf en professor Michael Milford van QUT's Science and Engineering Faculty en Australian Centre for Robotic Vision, hebben visuele semantiek gebruikt om hoogwaardige plaatsherkenning vanuit tegengestelde gezichtspunten mogelijk te maken.

De heer Garg zei:terwijl mensen een opmerkelijk vermogen hadden om een ​​plaats te herkennen wanneer ze deze vanuit de tegenovergestelde richting binnenkwamen, ook in omstandigheden waar er extreme variaties zijn in het uiterlijk, de taak had uitdagingen opgeleverd voor robots en autonome voertuigen.

"Bijvoorbeeld, als een persoon op een weg rijdt en ze een u-bocht maken en teruggaan op dezelfde weg, in tegengestelde richting, ze hebben het vermogen om te weten waar ze zijn, op basis van die eerdere ervaring, omdat ze belangrijke aspecten van de omgeving herkennen. Dat kunnen mensen ook doen als ze 's nachts over dezelfde weg rijden, en dan weer overdag, of tijdens verschillende seizoenen, ' zei meneer Garg.

"Helaas, het is niet zo eenvoudig voor robots. Huidige technische oplossingen, zoals die worden gebruikt door zelfrijdende auto's, grotendeels afhankelijk zijn van panoramische camera's of 360 graden lichtdetectie en -bereik (LIDAR)-detectie. Hoewel dit effectief is, het is heel anders dan hoe mensen van nature navigeren.

Professor Michael Milford zei dat het door het QUT-team van onderzoekers voorgestelde systeem een ​​ultramodern semantisch segmentatienetwerk gebruikte, genaamd RefineNet, getraind op de Cityscapes-dataset, om een ​​Local Semantic Tensor (LoST) descriptor van afbeeldingen te vormen. Dit werd vervolgens gebruikt om plaatsherkenning uit te voeren, samen met aanvullende robotvisietechnieken op basis van ruimtelijke lay-outverificatiecontroles en gewogen keypoint-matching.

"We wilden het proces repliceren dat door mensen wordt gebruikt. Visuele semantiek werkt niet alleen door te voelen, maar begrijpen waar de belangrijkste objecten zich in de omgeving bevinden, en dit zorgt voor een grotere voorspelbaarheid in de acties die volgen, ' zei professor Milford.

"Onze aanpak stelt ons in staat om plaatsen te matchen vanuit tegengestelde gezichtspunten met weinig gemeenschappelijke visuele overlap en over dag-nacht cycli. We breiden dit werk nu uit om zowel tegengestelde gezichtspunten als laterale gezichtspuntveranderingen aan te kunnen, die zich voordoet, bijvoorbeeld, wanneer een voertuig van rijstrook verandert. Dit voegt een extra moeilijkheidsgraad toe."

Het artikel van het onderzoeksteam is geaccepteerd voor publicatie in Robotica:wetenschap en systemen , de meest selectieve internationale roboticaconferentie, die deze maand wordt gehouden aan de Carnegie Mellon University in Pittsburgh.