science >> Wetenschap >  >> Elektronica

Voorspelling van toekomstige dynamiek uit korte tijdreeksen door geanticipeerde leermachine

(a) Het algemene principe van Anticipated Learning Machine (ALM). De waargenomen aantrekker, een delay-attractor en gesamplede non-delay-attractors zijn allemaal topologisch geconjugeerd met elkaar. Elke gesamplede nondelay-attractor bewaart de dynamische informatie van het systeem op verschillende manieren. Door de informatie in deze gesamplede non-delay-attractors te integreren, we konden zelfs onder geluidsverslechtering een nauwkeurige één-op-één-kaart vinden. (b) Anticipated Learning Machine. Voor elke toekomstige waarde, die kaarten zijn samen getraind in een uniforme kaart Ψ. Als de kaarten zijn getraind, de gewogen som wordt gebruikt als de voorspelling. De voorspelde waarde wordt vervolgens gebruikt als label bij het trainen van andere kaarten om het volgende tijdstip te voorspellen. Duidelijk, ALM Ψ transformeert ruimtelijke input X(tm) naar temporele output Z(tm) op elk punt tm. Krediet:©Science China Press

Het maken van een nauwkeurige voorspelling op basis van waargenomen gegevens, met name uit korte tijdreeksen, is van groot belang in verschillende disciplines - van moleculaire biologie, neurowetenschap, geowetenschap, en economie tot atmosferische wetenschappen - vanwege de beschikbaarheid van gegevens of tijdsvariante niet-stationariteit. Echter, de meeste bestaande methoden vereisen voldoende lange metingen van tijdreeksen of een groot aantal steekproeven, en vanwege een gebrek aan informatie is er geen effectieve methode beschikbaar voor voorspelling met korte termijn tijdreeksen.

Om dit probleem aan te pakken, Prof. Chen Luonan (Instituut voor Biochemie en Celbiologie, Chinese Academie van Wetenschappen) met Dr. Chen Chuan (Sun Yat-sen University), Prof. Ma Huanfei (Soochow University) en Prof. Aihara Kazuyuki (Universiteit van Tokio) stelden een nieuwe, op dynamiek gebaseerde, datagestuurde methode voor, geanticipeerde leermachine (ALM), voor het bereiken van nauwkeurige voorspellingen van de toekomstige toestand op basis van korte-termijn maar hoog-dimensionale gegevens. ALM is een meerlagig neuraal netwerk waarbij hoogdimensionale variabelen worden genomen als invoerneuronen (meerdere variabelen maar op een enkel tijdstip), maar een doelvariabele wordt genomen als uitvoerneuronen (één variabele maar op meerdere tijdstippen). Op deze manier, ALM is in staat om de recente correlatie/ruimtelijke informatie van hoog-dimensionale variabelen om te zetten in toekomstige dynamische/tijdelijke informatie van elke doelvariabele, d.w.z. door ruimtelijk-temporele informatietransformatie (STI) vergelijkingen.

specifiek, ALM kan goed worden getraind om de randomly distributed embedding (RDE)-kaart voor STI-vergelijkingen weer te geven door een groot aantal van de gegenereerde trainingsvoorbeelden met het Dropout-schema en het voorgestelde consistente-trainingsschema, waardoor de doelvariabele op een nauwkeurige en robuuste manier wordt voorspeld, zelfs uit kortetermijngegevens. Uitgebreide experimenten op de korte termijn hoog-dimensionale gegevens van zowel synthetische als real-world systemen toonden significant superieure prestaties van ALM ten opzichte van bestaande methoden.

Vergeleken met traditionele neurale netwerken (of andere machine learning-benaderingen) die de historische statistieken van het oorspronkelijke hoogdimensionale systeem opgraven en dus een groot aantal monsters vereisen, ALM reconstrueert op efficiënte en robuuste wijze zijn dynamiek, zelfs met een klein aantal monsters, door zich te beperken tot een ruimte met een lage dimensie, wat eigenlijk een inherente eigenschap is van een dergelijk dissipatief systeem. Gebaseerd op niet-lineaire dynamiek om de ruimtelijke informatie van alle gemeten hoogdimensionale variabelen om te zetten in de temporele evolutie van de doelvariabele door de STI-vergelijkingen te leren, ALM opent een nieuw pad voor op dynamiek gebaseerde machine learning of "intelligent" anticiperend leren.

"Hoe de sterke niet-lineariteit en/of stochasticiteit van de dynamische systemen te overwegen, ook met de waargenomen ruisgegevens, en verder hoe een meer diepgaande theoretische analyse kan worden gemaakt en een passend kader kan worden ontwikkeld, rekening houdend met deze kwesties, blijft in de toekomst een open en interessant probleem, ", stellen de auteurs.