Hoe kunnen mobiele robots de omgeving correct waarnemen en begrijpen, zelfs als delen van de omgeving worden afgesloten door andere objecten? Dit is een belangrijke vraag die moet worden opgelost voordat zelfrijdende voertuigen veilig kunnen navigeren in grote drukke steden. Hoewel mensen zich complete fysieke structuren van objecten kunnen voorstellen, zelfs als ze gedeeltelijk zijn afgesloten, hebben bestaande kunstmatige intelligentie-algoritmen (AI) die robots en zelfrijdende voertuigen in staat stellen hun omgeving waar te nemen deze mogelijkheid niet.

Robots met AI kunnen al zelfstandig hun weg vinden en navigeren als ze eenmaal hebben geleerd hoe hun omgeving eruitziet. Het was echter een grote uitdaging om de volledige structuur van objecten waar te nemen wanneer ze gedeeltelijk verborgen zijn, zoals mensen in menigten of voertuigen in files. Een grote stap in de richting van het oplossen van dit probleem is nu gezet door de robotica-onderzoekers Prof. Dr. Abhinav Valada en Ph.D. student Rohit Mohan van het Robot Learning Lab aan de Universiteit van Freiburg, die ze hebben gepresenteerd in twee gezamenlijke publicaties.

De twee wetenschappers uit Freiburg hebben de amodale panoptische segmentatietaak ontwikkeld en de haalbaarheid ervan aangetoond met behulp van nieuwe AI-benaderingen. Tot nu toe hebben zelfrijdende voertuigen panoptische segmentatie gebruikt om hun omgeving te begrijpen.

Dit betekent dat ze tot nu toe alleen kunnen voorspellen welke pixels van een afbeelding bij welke "zichtbare" gebieden van een object zoals een persoon of auto horen, en instanties van die objecten kunnen identificeren. Wat ze tot nu toe missen, is dat ze ook de volledige vorm van objecten kunnen voorspellen, zelfs als ze gedeeltelijk worden afgesloten door andere objecten ernaast. De nieuwe taak van waarneming met amodale panoptische segmentatie maakt dit holistische begrip van de omgeving mogelijk.

"Amodaal" verwijst naar het geval dat elke gedeeltelijke occlusie van objecten moet worden geabstraheerd en in plaats van ze als fragmenten te zien, moet er een algemeen begrip zijn om ze als een geheel te bekijken. Dit verbeterde vermogen tot visuele herkenning zal dus leiden tot enorme vooruitgang bij het verbeteren van de veiligheid van zelfrijdende voertuigen.

Potentieel om het begrip van stedelijke visuele scènes te revolutioneren

In een nieuw artikel gepubliceerd op de IEEE/CVF Computer Vision and Pattern Recognition Conference (online beschikbaar als preprint), hebben de onderzoekers de nieuwe taak toegevoegd aan vastgestelde benchmarkdatasets en openbaar gemaakt. Ze roepen nu wetenschappers op om met hun eigen AI-algoritmen mee te doen aan de benchmarking.

Het doel van deze taak is de pixelgewijze semantische segmentatie van de zichtbare gebieden van amorfe achtergrondklassen zoals wegen, vegetatie, lucht, en de instantiesegmentatie van zowel de zichtbare als afgesloten objectgebieden van telbare klassen zoals auto's, vrachtwagens en voetgangers.

De benchmark en datasets zijn openbaar beschikbaar op de website, inclusief twee voorgestelde nieuwe leeralgoritmen. "We zijn ervan overtuigd dat nieuwe AI-algoritmen voor deze taak robots in staat zullen stellen de visuele ervaring van mensen na te bootsen door complete fysieke structuren van objecten waar te nemen", legt Valada uit.

"Amodale panoptische segmentatie zal stroomafwaartse geautomatiseerde rijtaken aanzienlijk helpen waar occlusie een grote uitdaging is, zoals diepteschatting, optische stroom, object volgen, pose-schatting, bewegingsvoorspelling, enz. Met meer geavanceerde AI-algoritmen voor deze taak, visuele herkenningscapaciteit voor zichzelf -rijdende auto's kunnen een revolutie teweegbrengen. Als bijvoorbeeld de volledige structuur van weggebruikers te allen tijde wordt waargenomen, ongeacht gedeeltelijke occlusies, kan het risico op ongevallen aanzienlijk worden geminimaliseerd."

Bovendien kunnen geautomatiseerde voertuigen, door de relatieve diepteordening van objecten in een scène af te leiden, complexe beslissingen nemen, zoals in welke richting ze naar het object toe bewegen om een ​​duidelijker beeld te krijgen. Om deze visies waar te maken, werden de taak en de voordelen ervan gepresenteerd aan vooraanstaande professionals uit de auto-industrie tijdens AutoSens, die werd gehouden in het Autoworld Museum in Brussel.

Het andere artikel verschijnt in IEEE Robotics and Automation Letters . + Verder verkennen

Nieuwe methode stelt robotvisie in staat om verstopte objecten te identificeren