Computergraphics van hoge kwaliteit, met hun alomtegenwoordige aanwezigheid in games, illustraties en visualisatie, worden beschouwd als state-of-the-art in visuele weergavetechnologie.

De methode die wordt gebruikt om hoogwaardige en realistische afbeeldingen weer te geven, staat bekend als 'path tracing', waarbij gebruik wordt gemaakt van een Monte Carlo (MC)-denoising-benadering op basis van gesuperviseerde machine learning. In dit leerraamwerk wordt het machine learning-model eerst vooraf getraind met ruis en schone beeldparen en vervolgens toegepast op het daadwerkelijke beeld met ruis dat moet worden weergegeven (testbeeld).

Hoewel deze methode wordt beschouwd als de beste benadering in termen van beeldkwaliteit, werkt deze methode mogelijk niet goed als de testafbeelding duidelijk verschilt van de afbeeldingen die voor de training worden gebruikt.

Om dit probleem aan te pakken, heeft een groep onderzoekers, waaronder Ph.D. student Jonghee Back en universitair hoofddocent Bochang Moon van het Gwangju Institute of Science and Technology in Korea, onderzoekswetenschapper Binh-Son Hua van VinAI Research in Vietnam en universitair hoofddocent Toshiya Hachisuka van de Universiteit van Waterloo in Canada, stelden in een nieuwe studie een nieuwe MC-ruisonderdrukkingsmethode die niet afhankelijk is van een referentie. Hun studie is op 24 juli 2022 online beschikbaar gesteld en gepubliceerd in ACM SIGGRAPH 2022 Conference Proceedings .

"De bestaande methoden mislukken niet alleen wanneer test- en treindatasets heel verschillend zijn, maar het duurt ook lang om de trainingsdataset voor te bereiden op pre-training van het netwerk. Wat nodig is, is een neuraal netwerk dat kan worden getraind met alleen testbeelden on-the-fly zonder de noodzaak voor voortraining", zegt Dr. Moon, die de motivatie achter hun studie uitlegt.

Om dit te bereiken, stelde het team een ​​nieuwe post-correctiebenadering voor een beeld zonder ruis voor, dat bestond uit een zelf-gecontroleerd machine learning-raamwerk en een post-correctienetwerk, in feite een convolutioneel neuraal netwerk, voor beeldverwerking. Het post-correctienetwerk was niet afhankelijk van een vooraf getraind netwerk en kon worden geoptimaliseerd met behulp van het zelf-gesuperviseerde leerconcept zonder afhankelijk te zijn van een referentie. Bovendien vulde het zelf-gesuperviseerde model de conventionele gesuperviseerde modellen voor ruisonderdrukking aan en versterkte deze.

Om de effectiviteit van het voorgestelde netwerk te testen, paste het team hun aanpak toe op de bestaande state-of-the-art ruisonderdrukkingsmethoden. Het voorgestelde model toonde een drievoudige verbetering in de weergegeven beeldkwaliteit ten opzichte van het invoerbeeld door fijnere details te behouden. Bovendien duurde het hele proces van on-the-fly training en definitieve inferentie slechts 12 seconden.

"Onze aanpak is de eerste die niet afhankelijk is van vooropleiding met behulp van een externe dataset. Dit zal in feite de productietijd verkorten en de kwaliteit verbeteren van offline rendering-gebaseerde inhoud zoals animatie en films", zegt Dr. Moon , speculerend over de mogelijke toepassingen van hun werk. + Verder verkennen

Nieuw basismodel verbetert de nauwkeurigheid voor beeldinterpretatie via teledetectie