Ingenieurs van Stanford University en de University of California San Diego hebben een camera ontwikkeld die vierdimensionale beelden genereert en 138 graden aan informatie kan vastleggen. De nieuwe camera - de allereerste single-lens, breed gezichtsveld, lichtveldcamera - kan informatierijke afbeeldingen en videoframes genereren waarmee robots beter door de wereld kunnen navigeren en bepaalde aspecten van hun omgeving kunnen begrijpen, zoals objectafstand en oppervlaktetextuur.

De onderzoekers zien deze technologie ook worden gebruikt in autonome voertuigen en augmented en virtual reality-technologieën. Onderzoekers presenteerden hun nieuwe technologie op de computervisieconferentie CVPR 2017 in juli.

"We willen nadenken over wat de juiste camera zou zijn voor een robot die pakketten door de lucht bestuurt of aflevert. We zijn geweldig in het maken van camera's voor mensen, maar moeten robots ook zien hoe mensen dat doen? Waarschijnlijk niet, " zei Donald Dansereau, een postdoctoraal onderzoeker in elektrotechniek aan Stanford en de eerste auteur van het artikel.

Het project is een samenwerking tussen de laboratoria van professoren elektrotechniek Gordon Wetzstein aan Stanford en Joseph Ford aan UC San Diego.

Onderzoekers van UC San Diego ontwierpen een sferische lens die de camera een extreem breed gezichtsveld geeft, die bijna een derde van de cirkel rond de camera omvat. De groep van Ford had eerder de sferische lenzen ontwikkeld in het kader van het DARPA "SCENICC"-programma (Soldier CENtric Imaging with Computational Cameras) om een ​​compacte videocamera te bouwen die 360-graden beelden in hoge resolutie vastlegt, met 125 megapixels in elk videoframe. Bij dat project de videocamera gebruikte glasvezelbundels om de sferische beelden te koppelen aan conventionele platte brandvlakken, leveren van hoge prestaties maar tegen hoge kosten.

De nieuwe camera maakt gebruik van een versie van de sferische lenzen die de vezelbundels elimineert door een combinatie van lensjes en digitale signaalverwerking. De combinatie van het optica-ontwerp en de hardware-expertise op het gebied van systeemintegratie van het laboratorium van Ford en de signaalverwerking en algoritmische expertise van het laboratorium van Wetzstein resulteerde in een digitale oplossing die niet alleen leidt tot het creëren van deze extra brede beelden, maar ze ook verbetert.

De nieuwe camera is ook gebaseerd op een technologie die is ontwikkeld aan Stanford, genaamd lichtveldfotografie, dat is wat een vierde dimensie aan deze camera toevoegt:het legt de twee-assige richting vast van het licht dat op de lens valt en combineert die informatie met het 2D-beeld. Een ander opmerkelijk kenmerk van lichtveldfotografie is dat gebruikers afbeeldingen opnieuw kunnen scherpstellen nadat ze zijn gemaakt, omdat de afbeeldingen informatie bevatten over de lichtpositie en -richting. Robots kunnen deze technologie gebruiken om door regen en andere dingen heen te kijken die hun zicht kunnen belemmeren.

"Een van de dingen die je je realiseert als je met een omnidirectionele camera werkt, is dat het onmogelijk is om in elke richting tegelijk scherp te stellen - er is altijd iets dichtbij de camera, terwijl andere dingen ver weg zijn, Ford zei. "Met lichtveldbeeldvorming kan de vastgelegde video opnieuw worden scherpgesteld tijdens het afspelen, evenals het in kaart brengen van de diepte van de scène met één diafragma. Deze mogelijkheden openen allerlei toepassingen in VR en robotica."

"Het zou verschillende soorten kunstmatig intelligente technologie in staat kunnen stellen om te begrijpen hoe ver objecten zich bevinden, of ze bewegen en waar ze van gemaakt zijn, "Zei Wetzstein. "Dit systeem kan nuttig zijn in elke situatie waarin je beperkte ruimte hebt en je wilt dat de computer de hele wereld eromheen begrijpt."

En hoewel deze camera op grote afstanden als een conventionele camera kan werken, het is ook ontworpen om close-upbeelden te verbeteren. Voorbeelden waar het bijzonder nuttig zou zijn, zijn robots die door kleine gebieden moeten navigeren, landende drones en zelfrijdende auto's. Als onderdeel van een augmented of virtual reality-systeem, de diepte-informatie zou kunnen resulteren in meer naadloze weergaven van echte scènes en een betere integratie tussen die scènes en virtuele componenten ondersteunen.

De camera bevindt zich momenteel in de proof-of-concept-fase en het team is van plan een compact prototype te maken om te testen op een robot.