Voor degenen die nog niet bekend zijn met fotoreconstructietools, de titel van dit artikel over arXiv is misschien helemaal raadselachtig:"Image Inpainting for Irregular Holes Using Partial Convolutions." Het onderzoek, Hoewel, van een NVIDIA-team, wijst de weg naar opwindende verbeteringen voor diegenen die beeldbewerking moeten uitvoeren en goede resultaten wensen.

Bij het inschilderen van afbeeldingen draait alles om het opvullen van gaten in een afbeelding. Het kan worden gebruikt om beeldinhoud te verwijderen die niet gewenst is, terwijl ze de ruimte vullen met plausibele beelden. Terug naar de titel van hun paper, het team onderzocht hun kijk op een verbeterd proces, die zou kunnen worden geïmplementeerd in fotobewerkingssoftware.

In het NVIDIA Developer News Center vindt u een overzicht van hun onderzoek. Ze bedachten een methode die men dient om (1) afbeeldingen te bewerken of (2) een beschadigde afbeelding te reconstrueren, een met gaten of ontbrekende pixels. En toen ze zeiden "bewerken, " inclusief het verwijderen van inhoud en het opvullen van de gaten.

De video laat duidelijk zien hoe interessant dit kan worden, het presenteren van fotoreeksen voor en nadat het wijtingsproces begint. De scènes voor de ene is een rots buiten en een andere is een bibliotheek binnenshuis. Weer een andere set toont de gezichten van mensen, waaronder een vrouw, jonge mannen en een oudere man.

Waar gaat hun werk over?

"Onderzoekers van NVIDIA, geleid door Guilin Liu, introduceerde een state-of-the-art deep learning-methode die afbeeldingen kan bewerken of een beschadigde afbeelding kan reconstrueren, een met gaten of ontbrekende pixels. De methode kan ook worden gebruikt om afbeeldingen te bewerken door inhoud te verwijderen en de resulterende gaten op te vullen." Dat blijkt uit de videonotities.

Er speelden twee fasen, de trainingsfase en de testfase.

Ter voorbereiding op het trainen van hun neurale netwerk, het team genereerde eerst maskers van willekeurige strepen en gaten van willekeurige vormen en maten voor training, aldus het nieuwscentrum. Categorieën werden bedacht op basis van maten ten opzichte van de invoerafbeelding, nauwkeurigheid van de reconstructie te verbeteren. De neurale netwerktraining omvatte de gegenereerde maskers naar afbeeldingen van ImageNet, Places2 en CelebA-HQ datasets.

"Tijdens de opleidingsfase gaten of ontbrekende onderdelen worden geïntroduceerd in complete trainingsafbeeldingen uit de bovenstaande datasets, om het netwerk in staat te stellen de ontbrekende pixels te leren reconstrueren. Tijdens de testfase wordt verschillende gaten of ontbrekende onderdelen, niet toegepast tijdens de opleiding, worden geïntroduceerd in de testafbeeldingen in de dataset, om onbevooroordeelde validatie van de nauwkeurigheid van de reconstructie uit te voeren."

Waarom hun werk opvalt:"Voor zover wij weten, we zijn de eersten die de doeltreffendheid van deep learning-modellen voor het inkleuren van afbeeldingen op onregelmatig gevormde gaten hebben aangetoond."

De onderzoekers waren op de hoogte van bestaande op deep learning gebaseerde methoden voor het schilderen van afbeeldingen. Deze gebruikten "een standaard convolutienetwerk over de beschadigde afbeelding, met behulp van convolutionele filterreacties die zijn gebaseerd op zowel geldige pixels als de vervangende waarden in de gemaskeerde gaten (meestal de gemiddelde waarde)." Ze zeiden dat dit "vaak leidt tot artefacten zoals kleurverschillen en wazigheid. Nabewerking wordt meestal gebruikt om dergelijke artefacten te verminderen, maar zijn duur en kunnen mislukken."

Ze zeiden dat ze gedeeltelijke convoluties voorstelden - door dat "de convolutie wordt gemaskeerd en opnieuw genormaliseerd om te worden geconditioneerd op alleen geldige pixels."

Ze toonden kwalitatieve en kwantitatieve vergelijkingen met andere methoden om hun aanpak te valideren, en ze verklaarden dat hun model "beter presteert dan andere methoden voor onregelmatige maskers."

De auteurs van het artikel zijn Guilin Liu, Fitsum Reda, Kevin Shih, Ting Chun Wang, Andrew Tao en Bryan Catanzaro.

© 2018 Tech Xplore