De lege lijsten die in het Isabella Stewart Gardner Museum hangen, dienen als een concrete herinnering aan 's werelds grootste onopgeloste kunstroof. Hoewel we die originele meesterwerken misschien nooit zullen ontdekken, een team van MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) kan misschien helpen, met een nieuw systeem gericht op het ontwerpen van reproducties van schilderijen.

"RePaint" maakt gebruik van een combinatie van 3D-printen en diepgaand leren om uw favoriete schilderijen op authentieke wijze na te bootsen, ongeacht verschillende lichtomstandigheden of plaatsing. RePaint kan worden gebruikt om kunstwerken voor uw huis opnieuw te maken, originelen beschermen tegen slijtage in musea, of zelfs bedrijven helpen bij het maken van prints en ansichtkaarten van historische stukken.

"Als je gewoon de kleur van een schilderij reproduceert zoals het eruit ziet in de galerij, het kan er bij jou thuis anders uitzien, " zegt Changil Kim, een van de auteurs van een nieuw artikel over het systeem, die in december wordt gepresenteerd op ACM SIGGRAPH Azië. "Ons systeem werkt onder alle lichtomstandigheden, die een veel grotere kleurreproductie laat zien dan bijna elk ander eerder werk."

Om RePaint te testen, het team heeft een aantal olieverfschilderijen gereproduceerd die zijn gemaakt door hun kunstenaar-medewerker. Het team ontdekte dat RePaint meer dan vier keer nauwkeuriger was dan state-of-the-art fysieke modellen bij het creëren van de exacte kleurnuances voor verschillende kunstwerken.

Op dit moment zijn de reproducties slechts ongeveer zo groot als een visitekaartje, vanwege de tijdrovende aard van het afdrukken. In de toekomst verwacht het team dat meer geavanceerde, commerciële 3D-printers kunnen helpen om grotere schilderijen efficiënter te maken.

Hoe het werktTerwijl 2D-printers het meest worden gebruikt voor het reproduceren van schilderijen, als je een blauwe lucht of een paarse jurk in je kunstwerk hebt, misschien heb je pech. Dat komt omdat 2D-printers een vaste set van slechts vier inkten hebben (cyaan, magenta, geel, en zwart).

De onderzoekers, echter, een betere manier gevonden om een ​​vollediger spectrum van Degas en Dali vast te leggen. Ze gebruikten een speciale techniek die ze ontwikkelden genaamd "color-contoning", waarbij een 3D-printer en 10 verschillende transparante inkten in zeer dunne lagen worden gebruikt, net als de wafels en chocolade in een Kit-Kat-reep. Ze combineerden hun methode met een decennia-oude techniek genaamd "halftoning", waar een afbeelding wordt gemaakt door tonnen kleine inktstippen, in plaats van continue tonen. Door deze te combineren, het team zegt, de nuances van de kleuren beter vastgelegd.

Met een groter kleurbereik om mee te werken, de vraag welke inkten we moesten gebruiken voor welke schilderijen bleven er nog over. In plaats van omslachtigere fysieke benaderingen te gebruiken, het team heeft een deep learning-model getraind om de optimale stapel verschillende inkten te voorspellen. Toen het systeem dat eenmaal onder controle had, ze voerden vervolgens afbeeldingen van schilderijen in, en gebruikte het model om te bepalen welke kleuren in welke gebieden voor specifieke schilderijen moeten worden gebruikt.

Ondanks de vorderingen tot nu toe, het team zegt dat ze een paar verbeteringen moeten aanbrengen voordat ze een oogverblindende dupe van 'Starry Night' kunnen maken. Volgens werktuigbouwkundig ingenieur Mike Foshey, ze konden bepaalde kleuren zoals kobaltblauw niet volledig reproduceren vanwege een beperkte inktbibliotheek.

In de toekomst zijn ze van plan om deze bibliotheek uit te breiden, evenals een schilderij-specifiek algoritme maken voor het selecteren van inkten. Ze kunnen ook hopen op betere details om rekening te houden met aspecten als oppervlaktetextuur en reflectie, zodat ze specifieke effecten kunnen bereiken, zoals glanzende en matte afwerkingen.

"De waarde van beeldende kunst is de afgelopen jaren snel gestegen, dus er is een verhoogde neiging om het op te sluiten in magazijnen, weg van het publieke oog, ", zegt Foshey. "We bouwen de technologie om deze trend te keren, en om goedkope en nauwkeurige reproducties te maken waar iedereen van kan genieten."

Kim en Foshey werkten aan het systeem samen met hoofdauteur Liang Shi, MIT-professor Wojciech Matusik, voormalig MIT-postdoc Vahid Babaei, nu groepsleider bij Max Planck Institute of Informatics, Szymon Rusinkiewicz, professor computerwetenschappen aan de Princeton University, en voormalig MIT-postdoc Pitchaya Sitthi-Amorn, nu docent aan de Chulalongkorn Universiteit in Bangkok, Thailand.