Als je ooit een zelfrijdende auto in het wild hebt gezien, je zou je kunnen afvragen over die draaiende cilinder erop.

Het is een "lidar-sensor, " en het is wat de auto in staat stelt om over de wereld te navigeren. Door pulsen van infrarood licht uit te zenden en de tijd te meten die nodig is om tegen objecten te stuiteren, de sensor creëert een "puntenwolk" die een 3D-snapshot van de omgeving van de auto maakt.

Het is moeilijk om onbewerkte puntenwolkgegevens te begrijpen, en vóór het tijdperk van machine learning waren er traditioneel hoogopgeleide ingenieurs nodig die moeizaam specificeerden welke kwaliteiten ze met de hand wilden vastleggen. Maar in een nieuwe reeks artikelen van MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL), onderzoekers laten zien dat ze deep learning kunnen gebruiken om automatisch puntenwolken te verwerken voor een breed scala aan 3D-beeldvormingstoepassingen.

"In computervisie en machine learning vandaag de dag, 90 procent van de vorderingen heeft alleen betrekking op tweedimensionale afbeeldingen, " zegt MIT-professor Justin Solomon, die senior auteur was van de nieuwe reeks artikelen onder leiding van Ph.D. student Yue Wang. "Ons werk is gericht op een fundamentele behoefte om de 3D-wereld beter te vertegenwoordigen, met toepassing niet alleen in autonoom rijden, maar elk veld dat begrip van 3D-vormen vereist."

De meeste eerdere benaderingen waren niet bijzonder succesvol in het vastleggen van de patronen uit gegevens die nodig zijn om zinvolle informatie uit een aantal 3D-punten in de ruimte te halen. Maar in een van de papieren van het team, ze toonden aan dat hun "EdgeConv" -methode voor het analyseren van puntenwolken met behulp van een type neuraal netwerk dat een dynamisch graafconvolutief neuraal netwerk wordt genoemd, hen in staat stelde om individuele objecten te classificeren en te segmenteren.

"Door 'grafieken' van aangrenzende punten te maken, het algoritme kan hiërarchische patronen vastleggen en daarom meerdere soorten generieke informatie afleiden die door een groot aantal stroomafwaartse taken kunnen worden gebruikt, " zegt Wadim Kehl, een machine learning-wetenschapper bij Toyota Research Institute die niet betrokken was bij het werk.

Naast het ontwikkelen van EdgeConv, het team onderzocht ook andere specifieke aspecten van de verwerking van puntenwolken. Bijvoorbeeld, een uitdaging is dat de meeste sensoren van perspectief veranderen terwijl ze door de 3D-wereld bewegen; elke keer dat we een nieuwe scan maken van hetzelfde object, zijn positie kan anders zijn dan de laatste keer dat we hem zagen. Om meerdere puntenwolken samen te voegen tot één gedetailleerd beeld van de wereld, u moet meerdere 3D-punten uitlijnen in een proces dat 'registratie' wordt genoemd.

Registratie is essentieel voor veel vormen van beeldvorming, van satellietgegevens tot medische procedures. Bijvoorbeeld, wanneer een arts in de loop van de tijd meerdere magnetische resonantiebeeldvormingsscans van een patiënt moet maken, registratie is wat het mogelijk maakt om de scans uit te lijnen om te zien wat er is veranderd.

"Registratie stelt ons in staat om 3D-gegevens uit verschillende bronnen te integreren in een gemeenschappelijk coördinatensysteem, " zegt Wang. "Zonder dat, we zouden eigenlijk niet in staat zijn om zo zinvolle informatie te krijgen van al deze methoden die zijn ontwikkeld."

Het tweede artikel van Solomon en Wang demonstreert een nieuw registratie-algoritme genaamd "Deep Closest Point" (DCP), waarvan is aangetoond dat het de onderscheidende patronen van een puntenwolk beter kan vinden. punten, en randen (bekend als "lokale kenmerken") om het uit te lijnen met andere puntenwolken. Dit is vooral belangrijk voor taken als het zelfrijdende auto's laten situeren in een scène ("lokalisatie"), evenals voor robothanden om individuele objecten te lokaliseren en vast te pakken.

Een beperking van DCP is dat het ervan uitgaat dat we een hele vorm kunnen zien in plaats van slechts één kant. Dit betekent dat het de moeilijkere taak van het uitlijnen van gedeeltelijke weergaven van vormen (bekend als "gedeeltelijk-naar-gedeeltelijke registratie") niet aankan. Als resultaat, in een derde paper presenteerden de onderzoekers een verbeterd algoritme voor deze taak dat ze het Partial Registration Network (PRNet) noemen.

Solomon zegt dat bestaande 3D-gegevens "behoorlijk rommelig en ongestructureerd zijn in vergelijking met 2D-afbeeldingen en foto's". Zijn team probeerde erachter te komen hoe zinvolle informatie uit al die ongeorganiseerde 3D-gegevens kon worden gehaald zonder de gecontroleerde omgeving die veel machine learning-technologieën nu vereisen.

Een belangrijke observatie achter het succes van DCP en PRNet is het idee dat context een cruciaal aspect van de verwerking van puntenwolken is. De geometrische kenmerken op puntenwolk A die de beste manieren suggereren om deze uit te lijnen met puntenwolk B, kunnen verschillen van de kenmerken die nodig zijn om deze uit te lijnen met puntenwolk C. Bijvoorbeeld, bij gedeeltelijke registratie, een interessant deel van een vorm in de ene puntenwolk is mogelijk niet zichtbaar in de andere, waardoor het nutteloos is voor registratie.

Wang zegt dat de tools van het team al door veel onderzoekers in de computervisiegemeenschap en daarbuiten zijn ingezet. Zelfs natuurkundigen gebruiken ze voor een toepassing waar het CSAIL-team nog nooit aan had gedacht:deeltjesfysica.

Vooruit gaan, de onderzoekers hopen de algoritmen te gebruiken op real-world data, inclusief gegevens verzameld van zelfrijdende auto's. Wang zegt dat ze ook van plan zijn om het potentieel te verkennen van het trainen van hun systemen met behulp van zelf-gesuperviseerd leren, om de benodigde hoeveelheid menselijke aantekeningen te minimaliseren.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.