Brian Mitchell en Linda Petzold, twee onderzoekers van de Universiteit van Californië, hebben onlangs modelvrij diep versterkend leren toegepast op modellen van neurale dynamiek, het behalen van zeer veelbelovende resultaten.

Reinforcement learning is een gebied van machine learning, geïnspireerd door gedragspsychologie, dat algoritmen traint om bepaalde taken effectief uit te voeren, met behulp van een systeem gebaseerd op beloning en straf. Een prominente mijlpaal op dit gebied is de ontwikkeling van het Deep-Q-Network (DQN), die aanvankelijk werd gebruikt om een ​​computer te trainen om Atari-spellen te spelen.

Modelvrij versterkend leren is toegepast op een verscheidenheid aan problemen, maar DQN wordt over het algemeen niet gebruikt. De voornaamste reden hiervoor is dat DQN een beperkt aantal acties kan voorstellen, terwijl fysieke problemen over het algemeen een methode vereisen die een continuüm van acties kan voorstellen.

Bij het lezen van bestaande literatuur over neurale controle, Mitchell en Petzold merkten het wijdverbreide gebruik van een klassiek paradigma op voor het oplossen van neurale controleproblemen met machine learning-strategieën. Eerst, de ingenieur en experimentator zijn het eens over het doel en de opzet van hun onderzoek. Vervolgens, de laatste voert het experiment uit en verzamelt gegevens, die later door de ingenieur zal worden geanalyseerd en gebruikt om een ​​model van het betreffende systeem te bouwen. Eindelijk, de ingenieur ontwikkelt een controller voor het model en het apparaat implementeert deze controller.

"Deze workflow negeert recente ontwikkelingen in modelvrije besturing (bijv. AlphaGo AlphaGo Zero), die het ontwerp van controllers efficiënter zou kunnen maken, "Mitchell vertelde" Tech Xplore . "In een modelvrij kader, stappen b, C, en d worden gecombineerd in een enkele stap en er wordt nooit een expliciet model gebouwd. Liever, het modelvrije systeem interageert herhaaldelijk met het neurale systeem en leert in de loop van de tijd om het gewenste doel te bereiken. We wilden deze leemte opvullen om te zien of modelvrije besturing kan worden gebruikt om nieuwe problemen in neurale besturing snel op te lossen."

De onderzoekers pasten een modelvrije leermethode voor versterking aan, genaamd "diepe deterministische beleidsgradiënten" (DDPG) en pasten deze toe op modellen van neurale dynamiek op laag en hoog niveau. Ze kozen specifiek voor DDPG omdat het een zeer flexibel kader biedt, waarbij de gebruiker de systeemdynamiek niet hoeft te modelleren.

Recent onderzoek heeft uitgewezen dat modelvrije methoden over het algemeen te veel experimenten met de omgeving vergen, waardoor het moeilijker wordt om ze toe te passen op meer praktische problemen. Niettemin, de onderzoekers ontdekten dat hun modelvrije benadering beter presteerde dan de huidige modelgebaseerde methoden en in staat was om moeilijkere neurale dynamische problemen op te lossen, zoals de controle van trajecten door een latente faseruimte van een onderbekrachtigd netwerk van neuronen.

"Voor de problemen die we in dit artikel hebben besproken, modelvrije benaderingen waren behoorlijk efficiënt en vereisten helemaal niet veel experimenten, wat suggereert dat voor neurale problemen, state-of-the-art controllers zijn praktischer bruikbaar dan mensen misschien dachten, ' zei Mitchel.

Mitchell en Petzold voerden hun onderzoek uit als een simulatie, daarom moeten belangrijke praktische en veiligheidsaspecten in overweging worden genomen voordat hun methode in klinische omgevingen kan worden geïntroduceerd. Verder onderzoek dat modellen in modelvrije benaderingen opneemt, of dat grenzen stelt aan modelvrije controllers, zou kunnen helpen om de veiligheid te verbeteren voordat deze methoden klinische instellingen binnenkomen.

In de toekomst, de onderzoekers zijn ook van plan te onderzoeken hoe neurale systemen zich aanpassen aan controle. Menselijke hersenen zijn zeer dynamische organen die zich aanpassen aan hun omgeving en veranderen als reactie op externe stimulatie. Dit kan een competitie tussen de hersenen en de controller veroorzaken, vooral wanneer hun doelstellingen niet op elkaar zijn afgestemd.

"Vaak, we willen dat de controller wint en het ontwerp van controllers die altijd winnen is een belangrijk en interessant probleem, "zei Mitchell. "Bijvoorbeeld, in het geval dat het te controleren weefsel een ziek hersengebied is, deze regio kan een bepaalde progressie hebben die de controller probeert te corrigeren. Bij veel ziekten deze progressie kan behandeling weerstaan ​​(bijv. een tumor die zich aanpast om chemotherapie te verdrijven is een canoniek voorbeeld), maar de huidige modelvrije benaderingen passen zich niet goed aan dit soort veranderingen aan. Het verbeteren van modelvrije controllers om de aanpassing van de hersenen beter aan te kunnen, is een interessante richting die we onderzoeken."

Het onderzoek is gepubliceerd in Wetenschappelijke rapporten .

© 2018 Tech Xplore