Onderzoekers van Google hebben onlangs een nieuwe techniek ontwikkeld voor het synthetiseren van een bewegingsonscherp beeld, met behulp van een paar niet-wazige beelden die achter elkaar zijn vastgelegd. In hun krant voorgepubliceerd op arXiv , de onderzoekers schetsten hun aanpak en evalueerden deze aan de hand van verschillende basislijnmethoden.

Bewegingsonscherpte treedt van nature op wanneer de objecten in een scène of de camera zelf bewegen terwijl een afbeelding wordt gemaakt. Dit heeft tot gevolg dat het (de) bewegende object(en) of het hele beeld wazig lijkt. In sommige gevallen, bewegingsonscherpte kan worden gebruikt om de snelheid van een gefotografeerd onderwerp aan te geven of om het van de achtergrond te scheiden.

"Bewegingsonscherpte is een waardevolle aanwijzing in de context van beeldbegrip, "Tim Brooks en Jonathan Barron, de onderzoekers die het onderzoek hebben uitgevoerd, schreven in hun krant. "Gezien een enkele afbeelding met bewegingsonscherpte, men kan de relatieve richting en grootte van de scènebeweging schatten die resulteerde in de waargenomen onscherpte. Deze bewegingsschatting kan semantisch zinvol zijn, of kan worden gebruikt door een de-blurring-algoritme om een ​​scherp beeld te synthetiseren."

Recent onderzoek heeft het gebruik van deep learning-algoritmen onderzocht om ongewenste bewegingsonscherpte uit afbeeldingen te verwijderen of om de bewegingsdynamiek van een bepaalde scène af te leiden. Om deze algoritmen te trainen, echter, onderzoekers hebben een aanzienlijke hoeveelheid gegevens nodig, die typisch wordt gegenereerd door synthetisch vervaging van scherpe beelden. uiteindelijk, de mate waarin een deep learning-algoritme bewegingsonscherpte in echte beelden effectief kan verwijderen, hangt sterk af van het realisme van de synthetische gegevens die worden gebruikt om het te trainen.

"In deze krant, we behandelen het omgekeerde van deze goed bestudeerde taak voor het schatten/verwijderen van onscherpte als een eersteklas probleem, Brooks en Barron schreven in hun paper. "We presenteren een snelle en effectieve manier om de trainingsgegevens te synthetiseren die nodig zijn om een ​​motion de-blurring-algoritme te trainen, en we tonen kwantitatief aan dat onze techniek generaliseert van onze synthetische trainingsgegevens naar echte bewegingswazige beelden."

De neurale netwerkarchitectuur die door Brooks en Barron is bedacht, omvat een nieuwe "lijnvoorspellingslaag", die een systeem leert om terug te gaan van beeldparen van achtereenvolgens genomen beelden naar een bewegingsonscherp beeld dat de opnametijd van deze twee invoerbeelden overspant. Hun model vereist een enorme hoeveelheid trainingsgegevens, dus ontwierpen en voerden de onderzoekers een strategie uit die frame-interpolatietechnieken gebruikt om een ​​grote synthetische dataset van bewegende wazige beelden te genereren, samen met hun respectievelijke ingangen.

Brooks en Barron legden ook een hoogwaardige testset vast van echt bewegende wazige beelden, gesynthetiseerd uit slow motion-video's, en gebruikten deze om hun model te evalueren aan de hand van basislijntechnieken. Hun model behaalde veelbelovende resultaten, beter presteren dan bestaande benaderingen in zowel nauwkeurigheid als snelheid.

"Onze aanpak is snel, nauwkeurig, en gebruikt direct beschikbare beelden van video's of 'bursts' als input, en biedt zo een pad voor het mogelijk maken van bewegingsonscherptemanipulatie in toepassingen voor consumentenfotografie, en voor het synthetiseren van de realistische trainingsgegevens die nodig zijn door onscherpte- of bewegingsschattingsalgoritmen, ’ schreven de onderzoekers in hun paper.

Terwijl ervaren fotografen en cinematografen vaak bewegingsonscherpte gebruiken als artistiek effect, het maken van effectieve bewegingswazige foto's kan een hele uitdaging zijn. In de meeste gevallen, deze afbeeldingen zijn het product van een lang proces van vallen en opstaan, die geavanceerde vaardigheden en apparatuur vereisen.

Vanwege de moeilijkheden bij het bereiken van hoogwaardige bewegingsonscherpte-effecten, de meeste consumentencamera's zijn ontworpen om beelden te maken met zo min mogelijk bewegingsonscherpte. Dit betekent dat amateurfotografen heel weinig ruimte hebben om te experimenteren met bewegingsonscherpte in hun foto's.

"Door bewegingsonscherpte beelden te laten synthetiseren uit de conventionele niet-wazige beelden die worden vastgelegd door standaard consumentencamera's, onze techniek stelt niet-experts in staat om bewegingsonscherpte beelden te creëren in een post-capture setting, " legden de onderzoekers uit in hun paper.

uiteindelijk, de aanpak van Brooks en Barron zou een aantal interessante toepassingen kunnen hebben. Bijvoorbeeld, it could make artistic motion blur accessible to casual photographers, while also generating more realistic motion blurred images to train deep learning algorithms.

© 2018 Wetenschap X Netwerk