Onderzoekers van de TU Delft in Nederland hebben onlangs een op convolutionele neuraal netwerk (CNN) gebaseerd model ontwikkeld om tekeningen te reconstrueren die in de loop van de tijd zijn verslechterd. In hun studie hebben gepubliceerd in Springer's Machinevisie en toepassingen , ze gebruikten het model specifiek om enkele tekeningen van Vincent van Gogh te reconstrueren die in de loop der jaren waren geruïneerd als gevolg van inktvervaging en verkleuring.

"Nederland heeft een internationale reputatie op het gebied van kunst, met beroemde kunstenaars als Rembrandt, Mondriaan en Van Gogh, "Jan van der Lubbe, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "Daarom, kunsthistorisch onderzoek en onderzoek naar het behoud van cultureel erfgoed spelen in Nederland een belangrijke rol."

In recente jaren, een groeiend aantal onderzoekers heeft geprobeerd machine learning-technieken te ontwikkelen, zoals CNN's, voor de analyse van kunstwerken. Tot dusver, deze tools zijn voornamelijk gebruikt om de kunstenaar te identificeren die specifieke kunstwerken heeft gemaakt of om te bepalen of schilderijen echt of nep zijn.

In tegenstelling tot eerder onderzoek, van der Lubbe en zijn collega's gingen op zoek naar het gebruik van machine learning-technieken voor de pixelgewijze reconstructie van verslechterde schilderijen. Als het gaat om kunstbehoud, de verslechtering van schilderijen en tekeningen is een belangrijke uitdaging, dus tools die automatisch onvolledige of geruïneerde kunstwerken kunnen reconstrueren, zouden het werk van kunsthistorici aanzienlijk vereenvoudigen.

Het team van onderzoekers van de TU Delft trainde hun op CNN gebaseerde model op reproducties van verslechterde tekeningen van de post-impressionistische schilder Van Gogh. In feite, sommige inkttekeningen van Van Gogh zijn de afgelopen eeuw aanzienlijk verslechterd, en kunsthistorici hebben vaak geprobeerd ze te reproduceren.

Deze tekeningen kunnen momenteel niet worden tentoongesteld, en in een paar decennia kunnen ze volledig verslechteren. Met dit in gedachten, Van der Lubbe en zijn collega's wilden een model ontwikkelen dat deze onschatbare kunstwerken automatisch kan reconstrueren om ze te behouden en toegankelijk te maken voor het publiek.

"Een van de belangrijkste doelen van ons onderzoek was om het origineel te voorspellen, vroegere en toekomstige verschijningen van kunstwerken op papier door middel van machinale leermethoden die de resultaten van zowel diepgaande studies van de gebruikte kleuren als hun verkleuring in de tijd integreren, Van der Lubbe zei. "Dit zou kunnen helpen om te bedenken hoe, bijvoorbeeld, een tekening van Van Gogh kan hebben gekeken naar de tijd van zijn creatie."

De aanpak van Van der Lubbe en zijn collega's combineert technieken voor beeldanalyse met meerdere resoluties en diepe CNN's om het uiterlijk van tekeningen in het verleden pixelgewijs te voorspellen. CNN's zijn algoritmen die zijn geïnspireerd op biologische neurale netwerken, zoals die in het menselijk brein, die kunnen worden getraind om specifieke taken uit te voeren door grote hoeveelheden gegevens te analyseren.

"Voor zover wij weten, er zijn geen of zeer weinig eerdere studies over het gebruik van machine learning-methoden voor de digitale reconstructie van kunstwerken, Van der Lubbe zei. "Dat is de kerngedachte achter ons onderzoek en het gebruik van machine learning om kunstwerken te reconstrueren. Uit eerdere onderzoeken waarin we verschillende algoritmen voor machine learning hebben overwogen, Convolutionele neurale netwerkbenaderingen (CNN) leken het meest veelbelovend."

In hun studie hebben de onderzoekers trainden specifiek een CNN om vervaagde Van Gogh-tekeningen digitaal op papier te reconstrueren. Het algoritme is getraind op een dataset met reproducties van de originele tekeningen van wisselende kwaliteit, gemaakt op verschillende tijdstippen in de afgelopen eeuw.

"De voorbeelden die we in ons onderzoek hebben gebruikt, zijn reproducties van Van Gogh-tekeningen waarbij de inhoud en kleur minder sterk zijn vervaagd, ze staan ​​dus dichter bij de originele tekening van Van Gogh, van der Lubbe. "We hebben de originele tekeningen en reproducties uit de collectie van het Van Gogh Museum verkregen."

Naast het onthullen hoe tekeningen er vroeger uitzagen, de door Van der Lubbe en zijn collega's voorgestelde aanpak zou kunsthistorici kunnen helpen bij het identificeren van geschikte conserverings- en restauratiestrategieën voor kunstwerken, evenals effectieve praktijken voor het behoud en de weergave van kunstwerken.

De onderzoekers evalueerden hun model in een reeks experimenten en ontdekten dat het opmerkelijke resultaten opleverde. Hun bevindingen benadrukken de haalbaarheid van het gebruik van machine learning voor de voorspellende reconstructie van gedegradeerde afbeeldingen, documenten en kunstwerken. Hoewel de onderzoekers hun model specifiek gebruikten om Van Goghs tekeningen te reconstrueren, het kan ook worden toegepast op andere verslechterende kunstwerken op papier of op manuscripten uit de 19e eeuw.

"We hebben betere resultaten behaald voor de digitale reconstructie van Van Gogh-tekeningen dan tot nu toe met andere methoden, zei van der Lubbe. "Natuurlijk, Van Gogh was slechts een test of een voorbeeld. Onze techniek zou ook verder kunnen gaan dan Van Goghs tekeningen tot tekeningen van andere kunstenaars, schilderijen en oude documenten."

In de toekomst, de tool ontwikkeld door van der Lubbe en zijn collega's zou kunsthistorici kunnen helpen om realistische reconstructies te maken van kunstwerken die anders volledig zouden verslechteren. In hun recente studie, de onderzoekers concentreerden zich op één tekening tegelijk, hun CNN trainen op een beperkt aantal reproducties. Echter, het model kon ook worden gebruikt om te voorspellen hoe de originele tekening eruit zag op basis van een veel groter aantal reproducties.

In aanvulling, deze techniek werkt momenteel door visuele informatie te analyseren. In hun volgende studies, de onderzoekers willen onderzoeken of het analyseren van zowel visuele als chemiegerelateerde informatie (bijv. de samenstelling van de inkt en de degradatiesnelheid) kunnen de prestaties van het model verbeteren.

"In de huidige studie, we hadden een gedegradeerde hedendaagse tekening, " van der Lubbe. "We denken dat het ook een grote uitdaging zou zijn om de originele tekening te reconstrueren, met name in gevallen waarin het origineel niet beschikbaar is of is verdwenen, dus we hebben alleen reproducties uit het verleden."

© 2019 Wetenschap X Netwerk