Onderzoekers van de Universiteit van Shenzhen hebben onlangs een methode bedacht om beelden te detecteren die worden gegenereerd door diepe neurale netwerken. hun studie, voorgepubliceerd op arXiv, identificeerde een reeks functies om statistieken van kleurenafbeeldingen vast te leggen die afbeeldingen kunnen detecteren die zijn gegenereerd met behulp van de huidige kunstmatige-intelligentietools.

"Ons onderzoek is geïnspireerd door de snelle ontwikkeling van beeldgeneratieve modellen en de verspreiding van gegenereerde nepbeelden, "Bin Li, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde Tech Xplore . "Met de opkomst van geavanceerde modellen voor het genereren van afbeeldingen, zoals generatieve adversariële netwerken (GAN) en variabele auto-encoders, beelden gegenereerd door diepe netwerken worden steeds fotorealistischer, en het is niet langer gemakkelijk om ze met menselijke ogen te identificeren, wat ernstige veiligheidsrisico's met zich meebrengt."

Onlangs, verschillende onderzoekers en wereldwijde mediaplatforms hebben hun bezorgdheid geuit over de risico's van kunstmatige neurale netwerken die zijn getraind om afbeeldingen te genereren. Bijvoorbeeld, deep learning-algoritmen zoals generatieve adversariële netwerken (GAN) en variabele auto-encoders kunnen worden gebruikt om realistische afbeeldingen en video's voor nepnieuws te genereren of kunnen online fraude en het vervalsen van persoonlijke informatie op sociale media vergemakkelijken.

GAN-algoritmen zijn getraind om steeds realistischere afbeeldingen te genereren via een proces van vallen en opstaan, waarbij het ene algoritme afbeeldingen genereert en het andere, de discriminator, geeft feedback om deze beelden realistischer te maken. Hypothetisch, deze discriminator zou ook kunnen worden getraind om valse beelden van echte te detecteren. Echter, deze algoritmen gebruiken voornamelijk RGB-afbeeldingen als invoer en houden geen rekening met verschillen in kleurcomponenten, vandaar dat hun prestaties hoogstwaarschijnlijk onbevredigend zouden zijn.

In hun studie hebben Li en zijn collega's analyseerden de verschillen tussen afbeeldingen gegenereerd door GAN en echte afbeeldingen, een reeks functies voorstellen die effectief kunnen helpen om ze te classificeren. De resulterende methode werkt door het analyseren van verschillen in kleurcomponenten tussen echte en gegenereerde afbeeldingen.

"Ons basisidee is dat de generatiepijplijnen van echte afbeeldingen en gegenereerde afbeeldingen heel verschillend zijn, dus de twee klassen afbeeldingen zouden verschillende eigenschappen moeten hebben, "Haodong Li, legde een van de onderzoekers uit. "In feite, ze komen uit verschillende pijpleidingen. Bijvoorbeeld, echte beelden worden gegenereerd door beeldapparatuur zoals camera's en scanners om een ​​echte scène vast te leggen, terwijl gegenereerde afbeeldingen op een totaal andere manier worden gemaakt met convolutie, verbinding, en activering van neurale netwerken. De verschillen kunnen resulteren in verschillende statistische eigenschappen. In dit onderzoek, we hebben vooral gekeken naar de statistische eigenschappen van kleurcomponenten."

De onderzoekers ontdekten dat hoewel gegenereerde afbeeldingen en echte afbeeldingen op elkaar lijken in de RGB-kleurruimte, ze hebben duidelijk verschillende statistische eigenschappen in de chrominantiecomponenten van HSV en YCbCr. Ze observeerden ook verschillen bij het monteren van de R, G, en B-kleurcomponenten samen.

De functieset die ze voorstelden, die bestaat uit gelijktijdig optredende matrices die zijn geëxtraheerd uit de hoogdoorlaatfilterresiduen van verschillende kleurcomponenten, maakt gebruik van deze verschillen, het vastleggen van verschillen in kleur tussen echte en gegenereerde afbeeldingen. Deze functieset heeft een lage dimensie en kan goed presteren, zelfs wanneer getraind op een kleine afbeeldingsdataset.

Li en zijn collega's testten de prestaties van hun methode op drie beelddatasets:CelebFaces Attributes, Hoogwaardige CelebA, en gelabelde gezichten in het wild. Hun bevindingen waren veelbelovend, waarbij de set functies goed presteert op alle drie de datasets.

"De meest betekenisvolle bevinding van ons onderzoek is dat afbeeldingen die zijn gegenereerd door diepe netwerken gemakkelijk kunnen worden gedetecteerd door functies uit bepaalde kleurcomponenten te extraheren, hoewel de gegenereerde afbeeldingen visueel niet te onderscheiden zijn met menselijke ogen, " zei Haodong Li. "Wanneer gegenereerde afbeeldingsvoorbeelden of generatieve modellen beschikbaar zijn, de voorgestelde functies uitgerust met een binaire classificatie kunnen effectief onderscheid maken tussen gegenereerde afbeeldingen en echte afbeeldingen. Wanneer de generatieve modellen onbekend zijn, de voorgestelde functies samen met een classificatie van één klasse kunnen ook bevredigende prestaties opleveren."

Het onderzoek kan een aantal praktische implicaties hebben. Eerst, de methode kan helpen om valse afbeeldingen online te identificeren.

Their findings also imply that several inherent color properties of real images have not yet been effectively replicated by existing generative models. In de toekomst, this knowledge could be used to build new models that generate even more realistic images.

Eindelijk, their study proves that different generation pipelines used to produce real images and generated images are reflected in the properties of the images produced. Color components comprise merely one of the ways in which these two types of images differ, so further studies could focus on other properties.

"In future, we plan to improve the image generation performance by applying the findings of this research to image generative models, " Jiwu Huang, one of the researchers said. "Bijvoorbeeld, including the disparity metrics of color components for real and generated images into the objective function of a GAN model could produce more realistic images. We will also try to leverage other inherent information from the real image generation pipeline, such as sensor pattern noises or properties of color filter array, to develop more effective and robust methods for identifying generated images."

© 2018 Tech Xplore