In een wereld van beginnende fotografen en videografen, een stortvloed aan inhoud vastleggen via hun smartphones en handheld-apparaten, er is behoefte aan een intelligente, gebruiksvriendelijke tool voor het automatiseren van het maken van films en videomontages. Daten, veel kwaliteitsvideo's zijn nog steeds afhankelijk van professionele, op frames gebaseerde bewerkingstools om onbewerkte beelden te manipuleren en een coherente video met een boeiende verhaallijn te produceren.

Een wereldwijd team van computerwetenschappers, van de Tsinghua- en Beihang-universiteiten in China, Harvard University in de VS en IDC Herzliya in Israël, hebben "Write-A-Video, " een nieuwe tool die video's genereert van thematische tekst. Met behulp van woorden en tekstbewerking, de tool bepaalt automatisch welke scènes of shots uit een repository worden gekozen om de gewenste verhaallijn te illustreren. De tool stelt beginnende gebruikers in staat om op een eenvoudige en gebruiksvriendelijke manier hoogwaardige videomontages te maken waarvoor geen professionele videoproductie- en bewerkingsvaardigheden nodig zijn.

Het team zal hun werk presenteren op ACM SIGGRAPH Azië, gehouden van 17 tot 20 november in Brisbane, Australië. SIGGRAAF Azië, nu in zijn 12e jaar, trekt de meest gerespecteerde technische en creatieve mensen van over de hele wereld in computergraphics, animatie, interactiviteit, gamen, en opkomende technologieën.

Hoewel bestaande videobewerkingstools nog steeds kennis vereisen op het gebied van videoverwerking en -bewerking, Met de nieuwe methode van de onderzoekers kunnen beginners video's maken die verhalen natuurlijker vertellen. Schrijf-een-video, zeggen de onderzoekers, stelt gebruikers in staat om een ​​videomontage te maken door simpelweg de tekst te bewerken die bij de video hoort. Bijvoorbeeld, tekst toevoegen of verwijderen, en bewegende zinnen converteren naar videobewerkingsbewerkingen, zoals het vinden van bijbehorende opnamen, opnames knippen en herschikken, en het creëren van een definitief videomontageresultaat.

"Write-A-Video maakt gebruik van de huidige ontwikkelingen op het gebied van automatisch video-begrip en een unieke gebruikersinterface om meer natuurlijke en eenvoudigere videocreatie mogelijk te maken, " zegt professor Ariel Shamir, Decaan van de Efi Arazi School of Computer Science bij IDC Herzliya. "Met ons instrument de gebruiker geeft input meestal in de vorm van het bewerken van tekst. De tool zoekt automatisch naar semantisch overeenkomende kandidaat-opnames uit een video-archief, en gebruikt vervolgens een optimalisatiemethode om de videomontage samen te stellen door de opnamen automatisch te knippen en opnieuw te ordenen."

"Write-A-Video stelt gebruikers ook in staat om visuele stijlen voor elke scène te verkennen met behulp van cinematografische idiomen die, bijvoorbeeld, snellere of langzamere films, minder of meer inhoudsbewegingen, enz." legt Dr. Miao Wang van de Beihang University uit.

Bij het selecteren van kandidaat-opnames uit de videorepository, de methode houdt ook rekening met de esthetische aantrekkingskracht van de opnamen, het kiezen van degenen die ideaal verlicht zijn, die goed gefocust zijn en niet wazig of onstabiel zijn. "Op elk punt, de gebruiker kan de film renderen en een voorbeeld van het resultaat van de videomontage bekijken met een begeleidende gesproken tekst", zegt professor Shi-Min Hu van de Tsinghua University.

Het onderzoek van het team toont aan dat intelligente digitale tools die de mogelijkheden van mensen en algoritmen combineren, gebruikers kunnen helpen bij het creatieve proces. "Ons werk demonstreert het potentieel van automatische visueel-semantische matching in op idioom gebaseerde computationele bewerking, een intelligente manier bieden om videocreatie toegankelijker te maken voor niet-professionals, ' zegt Shamir.

Voor de studie, de aanpak werd getest op verschillende stukken thematische tekst- en videorepository's, met kwantitatieve evaluatie en gebruikersonderzoeken. Gebruikers zonder enige ervaring met videobewerking kunnen bevredigende video's maken met behulp van de Write-A-Video-tool, soms zelfs sneller dan professionals die op frames gebaseerde bewerkingssoftware gebruiken. Bij SIGGRAPH Azië, het team zal de Write-A-Video-toepassing demonstreren en een verscheidenheid aan voorbeelden van tekst-naar-video-producties laten zien.