Een nieuwe realtime, Het aan de Universiteit van Michigan ontwikkelde 3D-bewegingsvolgsysteem combineert transparante lichtdetectoren met geavanceerde neurale netwerkmethoden om een ​​systeem te creëren dat op een dag LiDAR en camera's in autonome technologieën zou kunnen vervangen.

Hoewel de technologie nog in de kinderschoenen staat, toekomstige toepassingen zijn onder meer geautomatiseerde productie, biomedische beeldvorming en autonoom rijden. Een paper over het systeem is gepubliceerd in Natuur Communicatie.

Het beeldvormingssysteem maakt gebruik van de voordelen van transparante, nanoschaal, zeer gevoelige grafeenfotodetectoren ontwikkeld door Zhaohui Zhong, U-M universitair hoofddocent elektrotechniek en computertechniek, en zijn groep. Men denkt dat ze de eerste in hun soort zijn.

"De diepgaande combinatie van grafeen-nanoapparaten en machine learning-algoritmen kan leiden tot fascinerende kansen in zowel wetenschap als technologie, " zei Dehui Zhang, een doctoraatsstudent in elektrotechniek en computertechniek. "Ons systeem combineert rekenkracht-efficiëntie, snelle volgsnelheid, compacte hardware en lagere kosten in vergelijking met verschillende andere oplossingen."

De grafeen-fotodetectoren in dit werk zijn aangepast om slechts ongeveer 10% van het licht te absorberen waaraan ze worden blootgesteld. waardoor ze bijna transparant zijn. Omdat grafeen zo gevoelig is voor licht, dit is voldoende om beelden te genereren die kunnen worden gereconstrueerd door middel van computationele beeldvorming. De fotodetectoren zijn achter elkaar gestapeld, wat resulteert in een compact systeem, en elke laag focust op een ander brandvlak, die 3D-beeldvorming mogelijk maakt.

Maar 3D-beeldvorming is nog maar het begin. Het team heeft ook realtime bewegingsregistratie aangepakt, wat van cruciaal belang is voor een breed scala aan autonome robottoepassingen. Om dit te doen, ze hadden een manier nodig om de positie en oriëntatie te bepalen van een object dat wordt gevolgd. Typische benaderingen zijn LiDAR-systemen en lichtveldcamera's, die beide aan aanzienlijke beperkingen lijden, zeggen de onderzoekers. Anderen gebruiken metamaterialen of meerdere camera's. Hardware alleen was niet genoeg om de gewenste resultaten te produceren.

Ze hadden ook deep learning-algoritmen nodig. Zhen Xu hielp die twee werelden te overbruggen, een doctoraatsstudent in elektrotechniek en computertechniek. Hij bouwde de optische opstelling en werkte samen met het team om een ​​neuraal netwerk in staat te stellen de positionele informatie te ontcijferen.

Het neurale netwerk is getraind om naar specifieke objecten in de hele scène te zoeken, en focus dan alleen op het object van belang, bijvoorbeeld een voetganger in het verkeer, of een object dat op uw rijstrook op een snelweg komt. De technologie werkt vooral goed voor stabiele systemen, zoals geautomatiseerde productie, of het projecteren van menselijke lichaamsstructuren in 3D voor de medische gemeenschap.

"Het kost tijd om je neurale netwerk te trainen, " zei projectleider Ted Norris, hoogleraar elektrotechniek en computertechniek. "Maar als het eenmaal klaar is, het is klaar. Dus als een camera een bepaalde scène ziet, het kan een antwoord geven in milliseconden."

Promovendus Zhengyu Huang leidde het algoritmeontwerp voor het neurale netwerk. Het type algoritmen dat het team heeft ontwikkeld, verschilt van traditionele signaalverwerkingsalgoritmen die worden gebruikt voor al lang bestaande beeldvormingstechnologieën zoals röntgen en MRI. En dat is opwindend voor teamleider Jeffrey Fessler, hoogleraar elektrotechniek en computertechniek, die gespecialiseerd is in medische beeldvorming.

"In mijn 30 jaar in Michigan, dit is het eerste project waar ik bij betrokken ben geweest waarbij de technologie nog in de kinderschoenen staat, " zei Fessler. "We zijn nog ver verwijderd van iets dat je bij Best Buy gaat kopen, maar dat is oke. Dat is een deel van wat dit spannend maakt."

Het team toonde succes door een lichtstraal te volgen, evenals een echt lieveheersbeestje met een stapel van twee 4x4 (16 pixels) grafeenfotodetectorarrays. Ze bewezen ook dat hun techniek schaalbaar is. Ze denken dat er maar 4 nodig zijn, 000 pixels voor enkele praktische toepassingen, en 400x600 pixelarrays voor nog veel meer.

Hoewel de technologie kan worden gebruikt met andere materialen, Bijkomende voordelen van grafeen zijn dat het geen kunstmatige verlichting nodig heeft en dat het milieuvriendelijk is. Het zal een uitdaging zijn om de productie-infrastructuur te bouwen die nodig is voor massaproductie, maar misschien is het de moeite waard, zeggen de onderzoekers.

"Grafeen is nu wat silicium was in 1960, "Zei Norris. "Terwijl we deze technologie blijven ontwikkelen, het zou het soort investering kunnen motiveren dat nodig zou zijn voor commercialisering."

Het artikel is getiteld "Neural Network Based 3D Tracking with a Graphene Transparent Focal Stack Imaging System."