Videomakers:wil je van achtergrond wisselen? Schakel jezelf uit. Google-onderzoekers hebben gewerkt aan een manier om je video-achtergronden uit te wisselen met behulp van een neuraal netwerk - geen groen scherm vereist.
Het wordt in beperkte mate uitgerold naar YouTube Stories op mobiel, zei TechCrunch .

John Ann, Android-koppen , zei dat YouTube-videomakers de achtergrond kunnen veranderen om boeiendere video's te maken.

Valentin Bazarevsky en Andrei Tkachenka, software-ingenieurs, Google-onderzoek, deed de aankondiging, met de titel 'Mobiele realtime videosegmentatie'.

Makers van videocontent weten dat de achtergrond van een scène kan worden gescheiden van de achtergrond die als twee verschillende lagen wordt behandeld. De manoeuvre wordt gedaan om een ​​stemming te bereiken, of voeg een leuke locatie toe of versterk de impact van het bericht.

De operatie, zeiden de twee op de Google Research-site, is "een tijdrovend handmatig proces (bijvoorbeeld een artiest die elk frame rotoscoopt) of vereist een studio-omgeving met een groen scherm voor realtime achtergrondverwijdering (een techniek die chroma keying wordt genoemd)."

Vertaling:Hillary Grigonis in Digitale trends zei, "Het vervangen van de achtergrond van een video vereist doorgaans geavanceerde desktopsoftware en veel vrije tijd, of een volwaardige studio met een groen scherm."

Nu hebben de twee een nieuwe techniek aangekondigd, en het zal werken op mobiele telefoons.

Hun techniek stelt makers in staat om achtergronden te vervangen en aan te passen zonder gespecialiseerde apparatuur.

Ze noemden het YouTube's nieuwe lichtgewicht videoformaat, speciaal ontworpen voor YouTube-videomakers.

Ze gaven op 1 maart een aankondiging uit van een "precieze, echte tijd, mobiele videosegmentatie op het apparaat naar de YouTube-app door deze technologie te integreren in verhalen."

Hoe hebben ze dit gedaan? Anon zei:"de kern van dit alles is machine learning."

Bazarevsky en Tkachenka zeiden dat ze "machine learning" gebruikten om een ​​semantische segmentatietaak op te lossen met behulp van convolutionele neurale netwerken.

Vertaling:"Google ontwikkelt een alternatief voor kunstmatige intelligentie dat in realtime werkt, van een smartphonecamera, ’ schreef Grigonis.

De twee ingenieurs beschreven een architectuur- en trainingsprocedure die geschikt is voor mobiele telefoons. Ze hielden in gedachten dat "een mobiele oplossing lichtgewicht moet zijn en minstens 10-30 keer sneller moet werken dan bestaande ultramoderne fotosegmentatiemodellen."

Wat een dataset betreft, ze "annoteerden tienduizenden afbeeldingen." Deze legden een breed spectrum van voorgrondhoudingen en achtergrondinstellingen vast.

"Met die dataset de groep trainde het programma om de achtergrond van de voorgrond te scheiden, ' zei Grigonis.

Devin Coldewey in TechCrunch :"Het netwerk leerde de gemeenschappelijke kenmerken van een kop en schouders en een reeks optimalisaties verminderde de hoeveelheid gegevens die nodig was om dit te doen."

Digitale trends legde uit hoe het werkt:"Zodra de software de achtergrond op de eerste afbeelding maskeert, het programma gebruikt datzelfde masker om de achtergrond in het volgende frame te voorspellen. Wanneer dat volgende frame slechts kleine aanpassingen heeft ten opzichte van het eerste... zal het programma kleine aanpassingen aan het masker maken. Wanneer het volgende frame veel verschilt van het vorige ... zal de software die maskervoorspelling volledig negeren en een nieuw masker maken."

Een eindresultaat van hun werk, zoals gezegd op de Google Research-blog, is dat "ons netwerk opmerkelijk snel werkt op mobiele apparaten, 100+ FPS behalen op iPhone 7 en 40+ FPS op Pixel 2 met hoge nauwkeurigheid (waarbij 94,8% IOU wordt gerealiseerd op onze validatiedataset), het leveren van een verscheidenheid aan soepele en responsieve effecten in YouTube-verhalen."

Wat is het volgende?

Het is in beperkte bèta. "Ons directe doel is om de beperkte uitrol in YouTube-verhalen te gebruiken om onze technologie te testen op deze eerste reeks effecten. Naarmate we onze segmentatietechnologie verbeteren en uitbreiden naar meer labels, we zijn van plan het te integreren in de bredere Augmented Reality-services van Google."

© 2018 Tech Xplore