Vooruitgang in door de computer gegenereerde beelden hebben geleid tot levendige, realistische animaties tot leven, maar de geluiden die horen bij wat we zien gesimuleerd op het scherm, zoals twee objecten die botsen, zijn vaak opnames. Nu hebben onderzoekers van Stanford University een systeem ontwikkeld dat automatisch nauwkeurige geluiden weergeeft voor een breed scala aan geanimeerde verschijnselen.

"Er is een heilige graal in het berekenen van de mogelijkheid om de realiteit voor mensen te simuleren. We kunnen scènes animeren en visueel weergeven met natuurkunde en computergraphics, maar, wat betreft geluiden, ze zijn meestal verzonnen, " zei Doug James, hoogleraar informatica aan de Stanford University. "Momenteel bestaat er geen manier om realistische gesynchroniseerde geluiden te genereren voor complexe geanimeerde inhoud, zoals opspattend water of botsende voorwerpen, automatisch. Dit vult die leegte."

De onderzoekers zullen hun werk aan dit geluidssynthesesysteem presenteren als onderdeel van ACM SIGGRAPH 2018, de toonaangevende conferentie over computergraphics en interactieve technieken. Naast het verlevendigen van films en virtual reality-werelden, dit systeem kan ingenieursbedrijven ook helpen prototypen te maken van hoe producten zouden klinken voordat ze fysiek worden geproduceerd, en hopelijk stimuleren ze ontwerpen die stiller en minder irritant zijn, aldus de onderzoekers.

"Ik heb jarenlang geprobeerd om partiële differentiaalvergelijkingen - die bepalen hoe geluid zich voortplant - met de hand op te lossen, " zei Jui-Hsien Wang, een afgestudeerde student in James' lab en in het Institute for Computational and Mathematical Engineering (ICME), en hoofdauteur van het artikel. "Dit is eigenlijk een plek waar je niet alleen de vergelijking oplost, maar je kunt het ook echt horen als je het eenmaal hebt gedaan. Dat is echt spannend voor mij en het is leuk."

Geluid voorspellen

Geïnformeerd door geometrie en fysieke beweging, het systeem berekent de trillingen van elk object en hoe, als een luidspreker, die trillingen wekken geluidsgolven op. Het berekent de drukgolven die worden veroorzaakt door snel bewegende en trillende oppervlakken, maar repliceert de ruimteakoestiek niet. Dus, hoewel het niet de echo's in een grote kathedraal nabootst, het kan gedetailleerde geluiden oplossen uit scenario's zoals een crashend bekken, een ondersteboven draaiende kom die tot stilstand komt, een glas dat zich vult met water of een virtueel personage dat in een megafoon praat.

De meeste geluiden die bij animaties horen, zijn gebaseerd op vooraf opgenomen clips, die enorme handmatige inspanning vereisen om te synchroniseren met de actie op het scherm. Deze clips zijn ook beperkt tot bestaande geluiden - ze kunnen niets nieuws voorspellen. Andere systemen die geluiden produceren en voorspellen die zo nauwkeurig zijn als die van James en zijn team, werken alleen in speciale gevallen, of neem aan dat de geometrie niet erg vervormt. Ze vereisen ook een lange pre-berekeningsfase voor elk afzonderlijk object.

"De onze is in wezen slechts een renderknop met minimale voorbewerking die alle objecten samen behandelt in één akoestische golfsimulatie, " zei Ante Qu, een afgestudeerde student in James' lab en co-auteur van het artikel.

Het gesimuleerde geluid dat het resultaat is van deze methode is zeer gedetailleerd. Het houdt rekening met de geluidsgolven die door elk object in een animatie worden geproduceerd, maar voorspelt ook hoe die golven buigen, stuiteren of dempen op basis van hun interacties met andere objecten en geluidsgolven in de scène.

Uitdagingen die komen

In zijn huidige vorm, het proces van de groep duurt een tijdje om het eindproduct te maken. Maar, nu ze het potentieel van deze techniek hebben bewezen, ze kunnen zich richten op prestatie-optimalisaties, zoals het implementeren van hun methode op parallelle GPU-hardware, dat zou het drastisch sneller moeten maken.

En, zelfs in de huidige staat, de resultaten zijn het wachten waard.

"De eerste watergeluiden die we met het systeem produceerden, behoorden tot de beste die we hadden gesimuleerd - en water is een enorme uitdaging in computergegenereerd geluid, "zei James. "We dachten dat we misschien een beetje verbetering zouden krijgen, maar het is dramatisch beter dan eerdere benaderingen, zelfs direct uit de doos. Het was echt opvallend."

Hoewel het werk van de groep getrouw de geluiden van verschillende draaiende objecten heeft weergegeven, vallen en botsen tegen elkaar, complexere objecten en interacties – zoals de weergalmende tonen van een Stradivarius-viool – blijven moeilijk realistisch te modelleren. Dat, zei de groep, zal moeten wachten op een toekomstige oplossing.