Onderzoekers van UC Berkeley en Ecole des Ponts Paris Tech hebben onlangs een deep learning-aanpak ontwikkeld om terugkerende visuele patronen in kunstcollecties te ontdekken. hun papier, voorgepubliceerd op arXiv, wordt gepresenteerd op CVPR 2019, een gerenommeerd computer vision evenement in juni.

Hoewel elk kunstwerk uniek lijkt, kunstenaars gebruiken vaak terugkerende visuele elementen of motieven (bijvoorbeeld engelen, windmolens, enzovoort.). Bijvoorbeeld, critici geloven dat sommige schilderijen van de Vlaamse schilder Jan Brueghel slechts imitaties of aanpassingen van zijn eigen werken waren, evenals die van zijn vader, Pieter Breughel.

In hun onderzoek hebben kunsthistorici proberen vaak visuele verbanden tussen verschillende kunstwerken in kaart te brengen, omdat dit enig licht zou kunnen werpen op hun herkomst en auteurschap. Echter, het blootleggen van vergelijkbare visuele patronen in grote kunstcollecties kan een hele uitdaging zijn voor zowel mens als machine.

"We zijn dit project gestart na een presentatie en discussie met een kunsthistoricus, Elizabeth Honig, waar ze dergelijke correspondenties presenteerde en waarom ze belangrijk voor haar waren in haar studie van Brueghelwerken, "Mathieu Aubry, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "Ons eerste doel was om het werk van kunsthistorici gemakkelijker en schaalbaarder te maken door automatisch details in digitale beeldcollecties te identificeren die rechtstreeks werden gekopieerd tussen verschillende werken, ondanks kleine aanpassingen en verschillen in de stijl van de voorstelling (bijv. gravure, schilderen, tekening, enzovoort.)."

In hun recente studie, Aubry en zijn collega's stelden een aanpak voor die automatisch terugkerende visuele patronen in grote kunstcollecties kan ontdekken. Eigenlijk, ze trainden een niet-gecontroleerd machine learning-model om overeenkomsten te vinden tussen bijna dubbele visuele elementen in verschillende kunstwerken.

"De belangrijkste nieuwigheid van onze aanpak is om te leren, zonder menselijk toezicht, een diepe beelddescriptor die specifiek is aangepast aan onze taak:exacte kopieën matchen met verschillende weergavestijlen, Aubry legde uit. "Om dit te doen, introduceren we een procedure die kandidaat-correspondenties valideert met behulp van ruimtelijke consistentie tussen buurovereenkomsten."

De onderzoekers gebruikten de ruimtelijke consistentie tussen aangrenzende kenmerkovereenkomsten als een fijnafstemmingssignaal voor toezicht. Deze aangepaste functie leidt tot een nauwkeurigere stijlinvariante matching. Gecombineerd met een standaard ontdekkingsbenadering op basis van geometrische verificatie, de functie stelt hun diepgaande leerbenadering in staat om dubbele patronen in grote kunstdatasets te identificeren.

"Ons CVPR-werk was gericht op de aspecten van computervisie. Samenwerkingen met kunsthistorici om de methode toe te passen die we hebben ontwikkeld om kunstwerkencollecties te analyseren, zijn nog steeds aan de gang, "Zei Aubry. "We denken dat het zowel de schaal als het soort studie dat kunsthistorici zullen uitvoeren, echt zal veranderen, door hen op veel grotere schaal verbanden tussen kunstwerken te laten zoeken en analyseren. Inderdaad, bij het annoteren van verbindingen voor slechts een paar details op een middelgrote dataset, we hebben uit de eerste hand gezien hoe vervelend en kostbaar zo'n proces was om handmatig uit te voeren."

Aubry en zijn collega's evalueerden hun methode op verschillende datasets, inclusief de Oxford5K-fotodataset en een nieuw geannoteerde dataset van kunstwerken toegeschreven aan de familie Brueghel. Bij deze evaluaties hun aanpak leverde opmerkelijke resultaten op, beter presteren dan andere state-of-the-art technieken voor het blootleggen van visuele patronen in kunstwerken. In aanvulling, hun aanpak leverde state-of-the-art prestaties op de Large Time Gap Location-dataset, het effectief lokaliseren van historische architectuurfoto's en moderne.

In de toekomst, de deep learning-aanpak van Aubry en zijn collega's zou kunsthistorici kunnen helpen bij het ontdekken van visuele patronen in grote kunstcollecties. Volgens de onderzoekers is hun aanpak kan ook gemakkelijk worden overgedragen naar andere problemen, zoals geo-lokalisatie en historische watermerkherkenning.

"We willen de toepassingen van onze aanpak in de geesteswetenschappen pushen, door rechtstreeks samen te werken met kunsthistorici om onze methode af te stemmen op hun specifieke behoefte en hen te helpen deze te gebruiken, "Zei Aubry. "We zijn ook van plan om te werken aan het uitbreiden van het idee om redundantie en ruimtelijke consistentie in deep learning te benutten voor verschillende soorten afbeeldingen en verschillende soorten toepassingen."

© 2019 Wetenschap X Netwerk