Legeronderzoekers hebben een kunstmatige intelligentie en machine learning-techniek ontwikkeld die een zichtbaar gezichtsbeeld produceert van een warmtebeeld van het gezicht van een persoon dat is vastgelegd bij weinig licht of 's nachts. Deze ontwikkeling zou kunnen leiden tot verbeterde realtime biometrie en forensische analyse na missies voor geheime nachtelijke operaties.

Thermische camera's zoals FLIR, of toekomstgerichte infrarood, sensoren worden actief ingezet op lucht- en grondvoertuigen, in wachttorens en bij controlepunten voor bewakingsdoeleinden. Recenter, thermische camera's komen beschikbaar voor gebruik als op het lichaam gedragen camera's. De mogelijkheid om 's nachts automatische gezichtsherkenning uit te voeren met behulp van dergelijke thermische camera's is gunstig voor het informeren van een soldaat dat een persoon iemand van belang is, zoals iemand die misschien op een wachtlijst staat.

De motivaties voor deze technologie, ontwikkeld door Drs. Benjamin S. Riggan, Nathaniel J. Short en Shuowen "Sean" Hu, van het U.S. Army Research Laboratory - zijn bedoeld om zowel automatische als menselijke matchmogelijkheden te verbeteren.

"Deze technologie maakt het mogelijk om thermische gezichtsbeelden te matchen met bestaande biometrische gezichtsdatabases/watchlists die alleen zichtbare gezichtsbeelden bevatten, " zei Riggan, een onderzoekswetenschapper. "De technologie biedt mensen een manier om zichtbare en thermische gezichtsbeelden visueel te vergelijken door middel van thermische-naar-zichtbare gezichtssynthese."

Hij zei dat 's nachts en bij weinig licht, er is onvoldoende licht voor een conventionele camera om gezichtsbeelden vast te leggen voor herkenning zonder actieve verlichting zoals een flitser of schijnwerper, die de positie van dergelijke bewakingscamera's zou verraden; echter, thermische camera's die de warmtesignatuur vastleggen die van nature afkomstig is van levend huidweefsel, zijn ideaal voor dergelijke omstandigheden.

"Bij het gebruik van thermische camera's om gezichtsbeelden vast te leggen, de belangrijkste uitdaging is dat het vastgelegde warmtebeeld moet worden vergeleken met een kijklijst of galerij die alleen conventionele zichtbare beelden van bekende personen bevat, " zei Riggan. "Daarom, het probleem wordt wat wordt aangeduid als cross-spectrum, of heterogeen, gezichtsherkenning. In dit geval, gezichtssondebeelden die in één modaliteit zijn verkregen, worden vergeleken met een galerijdatabase die is verkregen met een andere beeldvormingsmodaliteit."

Deze benadering maakt gebruik van geavanceerde technieken voor domeinaanpassing op basis van diepe neurale netwerken. De fundamentele benadering bestaat uit twee hoofdonderdelen:een niet-lineair regressiemodel dat een bepaald warmtebeeld in kaart brengt in een overeenkomstige zichtbare latente representatie en een optimalisatieprobleem dat de latente projectie terug in de beeldruimte projecteert.

Details van dit werk werden in maart gepresenteerd in een technisch artikel "Thermal to Visible Synthesis of Face Images using Multiple Regions" op de IEEE Winter Conference on Applications of Computer Vision, of WACV, in Lake Tahoe, Nevada, dat is een technische conferentie bestaande uit wetenschappers en wetenschappers uit de academische wereld, industrie en overheid.

Bij de conferentie, Legeronderzoekers hebben aangetoond dat het combineren van wereldwijde informatie, zoals de kenmerken van het hele gezicht, en lokale informatie, zoals kenmerken uit discriminerende vertrouwensregio's, bijvoorbeeld, ogen, neus en mond, verbeterde de onderscheidbaarheid van de gesynthetiseerde beelden. Ze lieten zien hoe de thermisch naar zichtbaar in kaart gebrachte representaties van zowel globale als lokale regio's in de thermische gezichtssignatuur in combinatie kunnen worden gebruikt om een ​​verfijnd zichtbaar gezichtsbeeld te synthetiseren.

Het optimalisatieprobleem voor het synthetiseren van een afbeelding probeert gezamenlijk de vorm van het hele gezicht en het uiterlijk van de lokale vaste details te behouden. Met behulp van de gesynthetiseerde thermische naar zichtbare beelden en bestaande zichtbare galerijbeelden, ze voerden gezichtsverificatie-experimenten uit met behulp van een gemeenschappelijke open source diepe neurale netwerkarchitectuur voor gezichtsherkenning. De gebruikte architectuur is expliciet ontworpen voor op zichtbaar gebaseerde gezichtsherkenning. Het meest verrassende resultaat is dat hun aanpak betere verificatieprestaties opleverde dan een generatieve, vijandige netwerkgebaseerde aanpak, die eerder fotorealistische eigenschappen vertoonden.

Riggan schrijft dit resultaat toe aan het feit dat de gametheoretische doelstelling voor GAN's onmiddellijk probeert beelden te genereren die qua dynamisch bereik en fotoachtig uiterlijk voldoende lijken op de trainingsbeelden, terwijl soms wordt nagelaten om identificerende kenmerken te behouden, hij zei. De door ARL ontwikkelde aanpak bewaart identiteitsinformatie om de discrimineerbaarheid te vergroten, bijvoorbeeld, verhoogde herkenningsnauwkeurigheid voor zowel automatische gezichtsherkenningsalgoritmen als menselijke beoordeling.

Als onderdeel van de presentatie op papier ARL-onderzoekers toonden een bijna realtime demonstratie van deze technologie. De proof-of-conceptdemonstratie omvatte het gebruik van een FLIR Boson 320 thermische camera en een laptop waarop het algoritme bijna in realtime werd uitgevoerd. Deze demonstratie toonde het publiek dat een vastgelegd warmtebeeld van een persoon kan worden gebruikt om in situ een gesynthetiseerd zichtbaar beeld te produceren. Dit werk ontving een prijs voor beste papier in de sessie gezichten/biometrie van de conferentie, uit meer dan 70 gepresenteerde papers.

Riggan zei dat hij en zijn collega's dit onderzoek zullen blijven uitbreiden onder de sponsoring van het Defense Forensics and Biometrics Agency om een ​​robuuste nachtelijke gezichtsherkenningscapaciteit voor de Soldier te ontwikkelen.