Wetenschappers van het Skoltech ADASE-lab (Advanced Data Analytics in Science and Engineering) hebben een manier gevonden om de resolutie van de dieptekaart te verbeteren, die virtual reality en computergraphics realistischer moeten maken. Ze presenteerden hun onderzoeksresultaten op de prestigieuze International Conference on Computer Vision 2019 in Korea.

Bij het maken van een foto, we leggen visuele informatie vast over objecten om ons heen, met de verschillende pixels in de afbeelding die de kleuren van de respectieve delen van het object bevatten. Dieptekaarten zijn foto's die ruimtelijke informatie vastleggen en hun pixels bevatten de afstanden van de camera tot de respectieve punten in de ruimte. Toepassingen zoals computergraphics en augmented of virtual reality gebruiken ruimtelijke informatie om de vorm van een 3D-object te reconstrueren en, bijvoorbeeld, weergeven op een computerscherm.

Een van de problemen van dieptecamera's is dat hun resolutie, dat is, de ruimtelijke frequentie van afstandsmetingen, onvoldoende is om de hoogwaardige vorm van het object te herstellen, waardoor de virtuele reconstructies er alles behalve onrealistisch uitzien.

De onderzoekers staan ​​voor de uitdaging om een ​​manier te vinden om dieptekaarten met een hoge resolutie te verkrijgen uit dieptekaarten met een lage resolutie.

Wetenschappers van het Skoltech ADASE-lab hebben voorgesteld om de kwaliteit van de reconstructie te beoordelen met behulp van een nieuwe methode die nauw verwant is aan de menselijke waarneming. Het trainen van een kunstmatig neuraal netwerk met deze kwaliteitsbeoordelingstechniek levert een superresolutiemethode voor dieptekaarten op die de bestaande methoden ruimschoots overtreft in de visuele kwaliteit van het resultaat.

"Als je te maken hebt met super-opgeloste dieptekaarten, men moet de kwaliteit van het resultaat beoordelen om eerst de prestaties van verschillende methoden te vergelijken, en, ten tweede, om het te gebruiken als feedback voor verdere verbeteringen. De eenvoudigste manier is om het resultaat te vergelijken met een referentie. De overgrote meerderheid van de werken over superresolutie van dieptekaarten die voor dit doel worden gebruikt, betekenen het verschil tussen superresolutie- en referentiedieptewaarden. Deze methode weerspiegelt in geen geval de visuele kwaliteit van de 3D-reconstructie die is verkregen uit de super-opgeloste dieptekaart, " legt de eerste auteur van de studie uit, Oleg Vojnov.

"We stellen een heel andere methode voor, die gebruikmaakt van de menselijke perceptie van het verschil tussen visualisaties van de 3D-reconstructies verkregen uit super-opgeloste en referentiedieptekaarten. De afbeeldingen die u met deze methode verkrijgt, zien er zeer realistisch uit. We hopen dat onze methode veel gebruik zal vinden, " zegt een van de ontwikkelaars, Alexey Artemov.