Monte Carlo computationele methoden liggen aan de basis van veel van de realistische afbeeldingen in games en films. Ze automatiseren de complexiteit bij het simuleren van de fysica van lichten en camera's om hoogwaardige weergaven te genereren van voorbeelden van diverse beeldkenmerken en scènes. Maar het proces van Monte Carlo-rendering is traag en kan uren of zelfs dagen duren om een ​​enkel beeld te produceren, en vaak zijn de resultaten nog steeds korrelig, of "luidruchtig".

Een wereldwijd team van computerwetenschappers van MIT, adobe, en Aalto University heeft een innovatieve methode ontwikkeld voor het produceren van afbeeldingen en scèneontwerpen van hogere kwaliteit in veel minder tijd door gebruik te maken van een op diep leren gebaseerde benadering die de ruis in afbeeldingen aanzienlijk vermindert. Hun methode resulteert in scherpere beelden die effectief ingewikkelde details van voorbeeldfuncties vastleggen, inclusief complexe verlichtingscomponenten zoals schaduwen, indirecte verlichting, bewegingsonscherpte, en scherptediepte.

De onderzoekers zullen hun werk presenteren op SIGGRAPH 2019, gehouden van 28 juli - 1 augustus in Los Angeles. Deze jaarlijkse bijeenkomst toont 's werelds toonaangevende professionals, academici, en creatieve geesten in de voorhoede van computergraphics en interactieve technieken.

"Ons algoritme kan met zeer weinig samples schone beelden produceren van invoerbeelden met veel ruis, en kan handig zijn voor het maken van snel gerenderde voorvertoningen tijdens het herhalen van scèneontwerp, " zegt hoofdauteur Michaël Gharbi, onderzoekswetenschapper bij Adobe. Gharbi begon het onderzoek als een Ph.D. student aan MIT in het lab van Frédo Durand, die ook co-auteur is.

Het werk van het team richt zich op de zogenaamde "denoising, " een nabewerkingstechniek om beeldruis in Monte Carlo-rendering te verminderen. Het behoudt in wezen de details van een afbeelding en verwijdert alles wat afbreuk doet aan de scherpte. In eerder werk, computerwetenschappers hebben methoden ontwikkeld om de ruis weg te werken door het gemiddelde te nemen van de pixels in een voorbeeldafbeelding en aangrenzende pixels.

“Dit werkt redelijk, en verschillende films hebben dit in de productie gebruikt, " merkt co-auteur Tzu-Mao Li op, een recente Ph.D. afgestudeerd aan MIT die ook onder Durand studeerde. "Echter, als de beelden te veel ruis bevatten, vaak zijn de nabewerkingsmethoden niet in staat om schone en scherpe afbeeldingen te herstellen. Gewoonlijk hebben gebruikers nog steeds gemiddeld honderden samples per pixel nodig voor een afbeelding van redelijke kwaliteit - een vervelende, tijdrovend proces."

Enigszins vergelijkbaar is het proces van het bewerken van een foto in een grafisch softwareprogramma. Als een gebruiker niet vanuit het origineel werkt, onbewerkt bestand, gewijzigde versies van de foto zullen waarschijnlijk niet resulteren in een duidelijk, scherp, eindbeeld in hoge resolutie. Een soortgelijk maar complexer probleem is beeldruisonderdrukking.

Hiertoe, de nieuwe computationele methode van de onderzoekers houdt in dat ze rechtstreeks met de Monte Carlo-monsters werken, in plaats van gemiddeld, afbeeldingen met ruis waarbij de meeste informatie al verloren is gegaan. In tegenstelling tot typische deep learning-methoden die te maken hebben met afbeeldingen of video's, de onderzoekers demonstreren een nieuw type convolutienetwerk dat kan leren om renderings rechtstreeks uit de onbewerkte set Monte Carlo-samples te verwijderen in plaats van uit de gereduceerde, op pixels gebaseerde weergaven.

Een belangrijk onderdeel van hun werk is een nieuw kernel-voorspellend computationeel raamwerk dat individuele monsters - kleuren en texturen - op nabijgelegen pixels "splat" om de algehele compositie van het beeld te verscherpen. Bij traditionele beeldverwerking een kernel wordt gebruikt voor vervaging of verscherping. Splatting is een techniek die bewegingsonscherpte of problemen met de scherptediepte aanpakt en het gemakkelijker maakt om een ​​gepixeld gebied van een sample te egaliseren.

In dit werk, het splatting-algoritme van het team genereert een 2D-kernel voor elk monster, en "splats" het monster op de afbeelding. "We stellen dat dit een meer natuurlijke manier is om de nabewerking te doen, ", zegt Li. Het team heeft hun netwerk getraind met behulp van een generator voor willekeurige scènes en hun methode uitgebreid getest op een verscheidenheid aan realistische scènes, inclusief verschillende lichtscenario's zoals indirecte en directe verlichting.

"Onze methode geeft schonere resultaten bij een zeer laag aantal monsters, waar eerdere methoden doorgaans moeite mee hebben, ", voegt Garbi toe.

Bij toekomstig werk, de onderzoekers zijn van plan schaalbaarheid aan te pakken met hun methode om uit te breiden naar meer voorbeeldfuncties en technieken te verkennen om frame-to-frame gladheid van de beelden zonder ruis af te dwingen.

De krant, "Sample-based Monte Carlo Denoising met behulp van een kernel-splatting-netwerk, " is ook co-auteur van Miika Aittala aan het MIT en Jaakko Lehtinen aan de Aalto University en Nvidia. Voor meer details en een video, bezoek de projectpagina van het team.