"Dus, we krijgen ook een volledig vertaalde video met lipsynchronisatie, ' legt Prajwal uit.

"LipGAN is de belangrijkste nieuwe bijdrage van ons artikel. Dit is wat de visuele modaliteit in beeld brengt. Het is het belangrijkste omdat het de lipsynchronisatie in de uiteindelijke video corrigeert, wat de gebruikerservaring aanzienlijk verbetert."

De bedoeling is geen bedrog, Maar kennis delen

Een artikel, gepubliceerd op 24 januari 2020 in Nieuwe Wetenschapper, beschreef de doorbraak als een "deepfake, " een term voor video's waarin gezichten zijn verwisseld of digitaal gewijzigd met behulp van kunstmatige intelligentie, vaak om een ​​misleidende indruk te wekken, zoals dit BBC-verhaal heeft uitgelegd. Maar Prajwal beweert dat dit een onjuiste weergave is van face-to-face vertalen, die niet bedoeld is om te misleiden, maar eerder om vertaalde spraak gemakkelijker te volgen te maken.

"Ons werk is voornamelijk gericht op het verbreden van de reikwijdte van de bestaande vertaalsystemen om video-inhoud te verwerken, " legt hij uit. "Dit is software die is gemaakt met de motivatie om de gebruikerservaring te verbeteren en taalbarrières in video-inhoud te slechten. Het opent een zeer breed scala aan toepassingen en verbetert de toegankelijkheid van miljoenen video's online."

De grootste uitdaging bij het maken van face-to-face vertaalwerk was de module voor het genereren van gezichten. "De huidige methoden om video's met lipsynchronisatie te maken, waren niet in staat om gezichten met de gewenste poses te genereren, waardoor het moeilijk wordt om het gegenereerde gezicht in de doelvideo te plakken, " zegt Prajwal. "We hebben een 'pose prior' opgenomen als input voor ons LipGAN-model, en als een resultaat, we kunnen een nauwkeurig lip-gesynchroniseerd gezicht genereren in de gewenste doelhouding die naadloos kan worden opgenomen in de doelvideo."

De onderzoekers stellen zich voor dat Face-to-Face Translation wordt gebruikt bij het vertalen van films en videogesprekken tussen twee mensen die elk een andere taal spreken. "Het laten zingen/spreken van digitale karakters in animatiefilms wordt ook gedemonstreerd in onze video, ’ merkt Prajwal op.

In aanvulling, hij voorziet dat het systeem wordt gebruikt om studenten over de hele wereld te helpen online collegevideo's in andere talen te begrijpen. "Miljoenen anderstalige studenten over de hele wereld begrijpen de uitstekende educatieve inhoud die online beschikbaar is niet, omdat ze in het Engels zijn, " hij legt uit.

"Verder, in een land als India met 22 officiële talen, ons systeem kan in de toekomst, vertaal tv-nieuwsinhoud in verschillende lokale talen met nauwkeurige lipsynchronisatie van de nieuwsankers. De lijst met toepassingen is dus van toepassing op elk soort video-inhoud met pratende gezichten, dat moet in alle talen toegankelijker worden gemaakt."

Hoewel Prajwal en zijn collega's van plan zijn om hun doorbraak op een positieve manier te gebruiken, het vermogen om buitenlandse woorden in de mond van een spreker te leggen, betreft een prominente Amerikaanse cyberbeveiligingsexpert, die vreest dat gewijzigde video's steeds moeilijker te detecteren zullen worden.

"Als je naar de video kijkt, je kunt het zien als je goed kijkt, de mond is wat wazig, " zegt Anne Toomey McKenna, een Distinguished Scholar of Cyberlaw and Policy aan de Dickinson Law van Penn State University, en een professor aan het Institute for Computational and Data Sciences van de universiteit, in een e-mailgesprek. "Dat zal verder worden geminimaliseerd naarmate de algoritmen blijven verbeteren. Dat zal steeds minder waarneembaar worden voor het menselijk oog."

McKenna bijvoorbeeld, stelt zich voor hoe een gewijzigde video van MSNBC-commentator Rachel Maddow kan worden gebruikt om verkiezingen in andere landen te beïnvloeden, door "informatie door te geven die onnauwkeurig is en het tegenovergestelde is van wat ze zei."

Prajwal maakt zich ook zorgen over mogelijk misbruik van gewijzigde video's, maar denkt dat er voorzorgsmaatregelen kunnen worden genomen om dergelijke scenario's te voorkomen, en dat het positieve potentieel voor een groter internationaal begrip opweegt tegen de risico's van automatische face-to-face vertaling. (Aan de gunstige kant, deze blogpost wil de toespraak van Greta Thunberg op de VN-klimaattop in september 2019 vertalen in verschillende talen die in India worden gebruikt.)

"Elk krachtig stukje technologie kan worden gebruikt voor een enorme hoeveelheid goede, en ook nadelige gevolgen hebben, " merkt Prajwal op. "Ons werk is, in feite, een vertaalsysteem dat video-inhoud aankan. Inhoud vertaald door een algoritme is absoluut 'niet echt, ' maar deze vertaalde inhoud is essentieel voor mensen die een bepaalde taal niet begrijpen. Verder, in het huidige stadium, dergelijke automatisch vertaalde inhoud is gemakkelijk herkenbaar voor algoritmen en kijkers. Tegelijkertijd, er wordt actief onderzoek gedaan om dergelijke gewijzigde inhoud te herkennen. Wij zijn van mening dat de collectieve inspanning van verantwoord gebruik, strikte regels, en onderzoeksvooruitgang bij het opsporen van misbruik kan zorgen voor een positieve toekomst voor deze technologie."

Volgens Taalinzicht, een studie door Britse onderzoekers heeft vastgesteld dat de voorkeur van bioscoopbezoekers voor nagesynchroniseerde versus ondertitelde buitenlandse films van invloed is op het type film waar ze naar worden aangetrokken. Degenen die van mainstream blockbusters houden, zien eerder een nagesynchroniseerde versie van een film, terwijl degenen die de voorkeur geven aan ondertitels, eerder fans zijn van arthouse-import.