Computerwetenschappers van de Universiteit van Bonn hebben software ontwikkeld die een paar minuten in de toekomst kan kijken. Het programma leert eerst de typische volgorde van acties, zoals koken, uit videofragmenten. Op basis van deze kennis, hij kan dan in nieuwe situaties nauwkeurig voorspellen wat de chef op welk moment gaat doen. Onderzoekers zullen hun bevindingen presenteren op 's werelds grootste conferentie over computervisie en patroonherkenning, die zal worden gehouden van 19-21 juni in Salt Lake City, VS.

De perfecte butler, zoals elke fan van Brits sociaal drama weet, heeft een speciaal vermogen:hij voelt de wensen van zijn werkgever aan voordat ze zelfs maar zijn geuit. De werkgroep van prof. dr. Jürgen Gall wil computers iets soortgelijks leren:"We willen de timing en duur van activiteiten voorspellen - minuten of zelfs uren voordat ze plaatsvinden, " hij legt uit.

Een keukenrobot, bijvoorbeeld, kan dan de ingrediënten doorgeven zodra ze nodig zijn, verwarm de oven op tijd voor - en waarschuw ondertussen de chef-kok als hij op het punt staat een voorbereidingsstap te vergeten. De automatische stofzuiger weet ondertussen dat hij op dat moment niets in de keuken te zoeken heeft, en zorgt in plaats daarvan voor de woonkamer.

Wij mensen zijn erg goed in het anticiperen op de acties van anderen. Voor computers echter deze discipline staat nog in de kinderschoenen. De onderzoekers van het Instituut voor Computerwetenschappen van de Universiteit van Bonn kunnen nu een eerste succes aankondigen:ze hebben zelflerende software ontwikkeld die de timing en duur van toekomstige activiteiten met verbazingwekkende nauwkeurigheid kan schatten voor perioden van enkele minuten.

Trainingsgegevens:vier uur aan saladevideo's

De trainingsgegevens die de wetenschappers gebruikten, omvatten 40 video's waarin artiesten verschillende salades bereiden. Elk van de opnames was ongeveer 6 minuten lang en bevatte gemiddeld 20 verschillende acties. De video's bevatten ook precieze details over hoe laat de actie begon en hoe lang het duurde.

De computer "bekeek" deze saladevideo's in totaal ongeveer vier uur. Op deze manier, het algoritme leerde welke acties elkaar typisch opvolgen tijdens deze taak en hoe lang ze duren. Dit is zeker niet triviaal:elke chef heeft zijn eigen aanpak. Aanvullend, de volgorde kan variëren afhankelijk van het recept.

"Vervolgens hebben we getest hoe succesvol het leerproces was, " legt Gall uit. "Hiervoor confronteerden we de software met video's die het nog niet eerder had gezien." De nieuwe korte films passen in ieder geval in de context:ze toonden ook de bereiding van een salade. Voor de test, de computer kreeg te horen wat er in de eerste 20 of 30 procent van een van de nieuwe video's wordt getoond. Op basis hiervan moest het vervolgens voorspellen wat er tijdens de rest van de film zou gebeuren.

Dat werkte wonderbaarlijk goed. Gall:"Nauwkeurigheid was meer dan 40 procent voor korte prognoseperiodes, maar viel toen weg naarmate het algoritme meer in de toekomst moest kijken." Voor activiteiten die meer dan drie minuten in de toekomst lagen, de computer had in 15 procent van de gevallen nog gelijk. Echter, de prognose werd alleen als correct beschouwd als zowel de activiteit als de timing correct waren voorspeld.

Gall en zijn collega's willen dat de studie alleen wordt begrepen als een eerste stap in het nieuwe veld van activiteitsvoorspelling. Vooral omdat het algoritme merkbaar slechter presteert als het zelf moet herkennen wat er in het eerste deel van de video gebeurt, in plaats van verteld te worden. Omdat deze analyse nooit 100 procent correct is, heeft Gall het over 'lawaaierige' gegevens. "Ons proces werkt ermee, "zegt hij. "Maar helaas ook lang niet in de buurt."