Mensen hebben een vroeg begrip van de wetten van de fysieke realiteit. zuigelingen, bijvoorbeeld, verwachtingen koesteren over hoe objecten moeten bewegen en met elkaar moeten omgaan, en zullen verrast zijn als ze iets onverwachts doen, zoals verdwijnen in een goocheltruc.

Nu hebben MIT-onderzoekers een model ontworpen dat een begrip aantoont van een aantal fundamentele "intuïtieve fysica" over hoe objecten zich zouden moeten gedragen. Het model kan worden gebruikt om slimmere kunstmatige intelligentie te bouwen en, beurtelings, informatie verstrekken om wetenschappers te helpen de cognitie van baby's te begrijpen.

Het model, genaamd ADEPT, observeert objecten die rond een scène bewegen en doet voorspellingen over hoe de objecten zich zouden moeten gedragen, gebaseerd op hun onderliggende fysica. Tijdens het volgen van de objecten, het model geeft bij elk videoframe een signaal af dat overeenkomt met een "verrassingsniveau" - hoe groter het signaal, hoe groter de verrassing. Als een object ooit dramatisch niet overeenkomt met de voorspellingen van het model - door, zeggen, verdwijnen of teleporteren door een scène - de verrassingsniveaus zullen stijgen.

In reactie op video's die objecten laten zien die op fysiek plausibele en onwaarschijnlijke manieren bewegen, het model registreerde niveaus van verrassing die overeenkwamen met niveaus die werden gerapporteerd door mensen die dezelfde video's hadden bekeken.

"Tegen de tijd dat baby's 3 maanden oud zijn, ze hebben het idee dat objecten niet in en uit het bestaan ​​knipogen, en kunnen niet door elkaar heen bewegen of teleporteren, " zegt eerste auteur Kevin A. Smith, een onderzoekswetenschapper in het Departement Hersenen en Cognitieve Wetenschappen (BCS) en een lid van het Centrum voor Hersenen, geesten, en Machines (CBMM). "We wilden die kennis vastleggen en formaliseren om kinderkennis om te bouwen tot kunstmatige intelligentie-agenten. We komen nu in de buurt van mensachtig in de manier waarop modellen elementaire onwaarschijnlijke of plausibele scènes kunnen onderscheiden."

Samen met Smith op het papier zijn co-eerste auteurs Lingjie Mei, een undergraduate in de afdeling Elektrotechniek en Informatica, en BCS-onderzoeker Shunyu Yao; Jiajun Wu Ph.D. '19; CBMM-onderzoeker Elizabeth Spelke; Joshua B. Tenenbaum, een professor in de computationele cognitieve wetenschap, en onderzoeker bij CBMM, BCS, en het Computer Science and Artificial Intelligence Laboratory (CSAIL); en CBMM-onderzoeker Tomer D. Ullman Ph.D. '15.

Niet-overeenkomende realiteit

ADEPT vertrouwt op twee modules:een "inverse grafische" module die objectrepresentaties van onbewerkte afbeeldingen vastlegt, en een "physics engine" die de toekomstige representaties van de objecten voorspelt op basis van een verdeling van mogelijkheden.

Inverse graphics extraheren in feite informatie van objecten, zoals vorm, houding, en snelheid - van pixelinvoer. Deze module legt videoframes vast als afbeeldingen en gebruikt inverse graphics om deze informatie uit objecten in de scène te extraheren. Maar het verzandt niet in de details. ADEPT vereist slechts een benadering van de geometrie van elke vorm om te kunnen functioneren. Gedeeltelijk, dit helpt het model voorspellingen te generaliseren naar nieuwe objecten, niet alleen die waarop het is getraind.

"Het maakt niet uit of een object rechthoek of cirkel is, of als het een vrachtwagen of een eend is. ADEPT ziet gewoon dat er een object is met een bepaalde positie, op een bepaalde manier bewegen, voorspellingen doen, "zegt Smith. "Evenzo, jonge baby's lijken ook niet veel om bepaalde eigenschappen zoals vorm te geven bij het maken van fysieke voorspellingen."

Deze grove objectbeschrijvingen worden ingevoerd in een physics-engine - software die het gedrag van fysieke systemen simuleert, zoals starre of vloeibare lichamen, en wordt vaak gebruikt voor films, videospelletjes, en computergraphics. De physics engine van de onderzoekers "duwt de objecten vooruit in de tijd, ", zegt Ullman. Dit creëert een reeks voorspellingen, of een "geloofsverdeling, " voor wat er in het volgende frame met die objecten zal gebeuren.

Volgende, het model observeert het daadwerkelijke volgende frame. Alweer, het vangt de objectrepresentaties, die het vervolgens uitlijnt met een van de voorspelde objectrepresentaties van zijn geloofsverdeling. Als het object de wetten van de fysica gehoorzaamde, er zal niet veel mismatch zijn tussen de twee representaties. Anderzijds, als het object iets ongeloofwaardigs deed - zeg, het verdween van achter een muur - er zal een grote mismatch zijn.

ADEPT herbemonstert vervolgens van zijn geloofsverdeling en merkt een zeer lage waarschijnlijkheid op dat het object gewoon was verdwenen. Als de kans klein genoeg is, het model registreert grote "verrassing" als signaalpiek. In principe, verrassing is omgekeerd evenredig met de kans dat een gebeurtenis plaatsvindt. Als de kans erg klein is, de signaalpiek is erg hoog.

"Als een object achter een muur gaat, je physics-engine blijft geloven dat het object zich nog steeds achter de muur bevindt. Als de muur naar beneden gaat, en er is niets, er is een mismatch, " zegt Ullman. "Dan, het model zegt, 'Er is een object in mijn voorspelling, maar ik zie niets. De enige verklaring is dat het verdwenen is, dus dat is verrassend.'"

Schending van de verwachtingen

In de ontwikkelingspsychologie onderzoekers voeren "schending van verwachtingen" -tests uit waarbij baby's paren video's te zien krijgen. Een video toont een plausibele gebeurtenis, met objecten die vasthouden aan hun verwachte opvattingen over hoe de wereld werkt. De andere video is in alle opzichten hetzelfde, behalve dat objecten zich gedragen op een manier die de verwachtingen op de een of andere manier schendt. Onderzoekers zullen deze tests vaak gebruiken om te meten hoe lang het kind naar een scène kijkt nadat een onwaarschijnlijke actie heeft plaatsgevonden. Hoe langer ze staren, onderzoekers veronderstellen, hoe meer ze verrast of geïnteresseerd zijn in wat er net is gebeurd.

Voor hun experimenten, de onderzoekers creëerden verschillende scenario's op basis van klassiek ontwikkelingsonderzoek om de kernobjectkennis van het model te onderzoeken. Ze hadden 60 volwassenen in dienst om 64 video's te bekijken van bekende fysiek plausibele en fysiek onwaarschijnlijke scenario's. Voorwerpen, bijvoorbeeld, achter een muur zal bewegen en, als de muur valt, ze zullen er nog zijn of ze zullen weg zijn. De deelnemers beoordeelden hun verrassing op verschillende momenten op een oplopende schaal van 0 tot 100. de onderzoekers toonden dezelfde video's aan het model. specifiek, de scenario's onderzochten het vermogen van het model om noties van duurzaamheid vast te leggen (objecten verschijnen of verdwijnen niet zonder reden), continuïteit (objecten bewegen langs verbonden banen), en stevigheid (objecten kunnen niet door elkaar heen bewegen).

ADEPT kwam vooral goed overeen met mensen op video's waarin objecten achter muren bewogen en verdwenen toen de muur werd verwijderd. interessant, het model kwam ook overeen met verrassingsniveaus op video's waar mensen niet door verrast waren, maar misschien wel hadden moeten zijn. Bijvoorbeeld, in een video waarin een object dat met een bepaalde snelheid beweegt achter een muur verdwijnt en er aan de andere kant direct weer uitkomt, het object kan dramatisch zijn versneld toen het achter de muur ging of het is misschien naar de andere kant geteleporteerd. In het algemeen, mensen en ADEPT waren beide minder zeker of die gebeurtenis al dan niet verrassend was. De onderzoekers ontdekten ook dat traditionele neurale netwerken die natuurkunde leren van observaties - maar die niet expliciet objecten vertegenwoordigen - veel minder nauwkeurig zijn in het onderscheiden van verrassende van niet-verrassende scènes, en hun keuzes voor verrassende scènes komen niet vaak overeen met mensen.

Volgende, de onderzoekers zijn van plan om zich verder te verdiepen in hoe baby's de wereld observeren en leren, met als doel nieuwe bevindingen in hun model op te nemen. studies, bijvoorbeeld, laten zien dat baby's tot een bepaalde leeftijd eigenlijk niet erg verrast zijn als objecten op de een of andere manier volledig veranderen, bijvoorbeeld als een vrachtwagen achter een muur verdwijnt, maar duikt weer op als een eend.

"We willen zien wat er nog meer moet worden ingebouwd om de wereld meer als baby's te begrijpen, en formaliseren wat we weten over psychologie om betere AI-agenten te bouwen, "zegt Smit.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.