science >> Wetenschap >  >> Fysica

Wetenschappers ontwikkelen de volgende generatie van reservoir computing

Krediet:Pixabay/CC0 publiek domein

Een relatief nieuw type computergebruik dat de manier waarop het menselijk brein werkt nabootst, transformeerde al de manier waarop wetenschappers enkele van de moeilijkste informatieverwerkingsproblemen konden aanpakken.

Nutsvoorzieningen, onderzoekers hebben een manier gevonden om de zogenaamde reservoir computing 33 tot een miljoen keer sneller te laten werken, met aanzienlijk minder computerbronnen en minder gegevensinvoer.

In feite, in één test van deze volgende generatie reservoircomputers, onderzoekers losten een complex computerprobleem op in minder dan een seconde op een desktopcomputer.

Met behulp van de nu huidige state-of-the-art technologie, hetzelfde probleem vereist een supercomputer om op te lossen en duurt nog steeds veel langer, zei Daniël Gauthier, hoofdauteur van de studie en hoogleraar natuurkunde aan de Ohio State University.

"We kunnen zeer complexe informatieverwerkingstaken in een fractie van de tijd uitvoeren met veel minder computerbronnen in vergelijking met wat reservoircomputing momenteel kan doen, ' zei Gauthier.

"En reservoir computing was al een aanzienlijke verbetering ten opzichte van wat eerder mogelijk was."

De studie is vandaag gepubliceerd in het tijdschrift Natuurcommunicatie .

Reservoir computing is een machine learning-algoritme dat in het begin van de jaren 2000 is ontwikkeld en dat wordt gebruikt om de "moeilijkste" computerproblemen op te lossen, zoals het voorspellen van de evolutie van dynamische systemen die in de loop van de tijd veranderen, zei Gauthier.

Dynamische systemen, zoals het weer, zijn moeilijk te voorspellen omdat slechts één kleine verandering in één aandoening enorme gevolgen kan hebben, hij zei.

Een bekend voorbeeld is het "vlindereffect, " waarin - in een metaforische illustratie - veranderingen die worden veroorzaakt door een vlinder die met zijn vleugels klappert, uiteindelijk weken later het weer kunnen beïnvloeden.

Eerder onderzoek heeft aangetoond dat reservoir computing zeer geschikt is voor het leren van dynamische systemen en nauwkeurige voorspellingen kan geven over hoe ze zich in de toekomst zullen gedragen, zei Gauthier.

Het doet dat door het gebruik van een kunstmatig neuraal netwerk, een beetje zoals een menselijk brein. Wetenschappers voeren gegevens over een dynamisch netwerk in een "reservoir" van willekeurig verbonden kunstmatige neuronen in een netwerk. Het netwerk produceert bruikbare output die de wetenschappers kunnen interpreteren en terugkoppelen naar het netwerk, het bouwen van een steeds nauwkeurigere voorspelling van hoe het systeem in de toekomst zal evolueren.

Hoe groter en complexer het systeem en hoe nauwkeuriger de wetenschappers willen dat de voorspelling is, hoe groter het netwerk van kunstmatige neuronen moet zijn en hoe meer computerbronnen en tijd er nodig zijn om de taak te voltooien.

Een probleem was dat het reservoir van kunstmatige neuronen een "zwarte doos, " Gauthier zei, en wetenschappers weten niet precies wat er binnenin gebeurt - ze weten alleen dat het werkt.

De kunstmatige neurale netwerken in het hart van reservoir computing zijn gebaseerd op wiskunde, Gauthier legde uit.

"We lieten wiskundigen naar deze netwerken kijken en vroegen:'In hoeverre zijn al deze onderdelen van de machine echt nodig?'", zei hij.

In dit onderzoek, Gauthier en zijn collega's onderzochten die vraag en ontdekten dat het hele reservoircomputersysteem sterk vereenvoudigd kon worden, waardoor de behoefte aan computerbronnen drastisch wordt verminderd en veel tijd wordt bespaard.

Ze testten hun concept op een voorspellingstaak met een weersysteem ontwikkeld door Edward Lorenz, wiens werk leidde tot ons begrip van het vlindereffect.

Hun reservoirberekening van de volgende generatie was een duidelijke winnaar ten opzichte van de huidige stand van zaken bij deze Lorenz-voorspellingstaak. In een relatief eenvoudige simulatie gedaan op een desktopcomputer, het nieuwe systeem was 33 tot 163 keer sneller dan het huidige model.

Maar toen het doel was om grote nauwkeurigheid in de voorspelling, de volgende generatie reservoir computing was ongeveer 1 miljoen keer sneller. En de computer van de nieuwe generatie bereikte dezelfde nauwkeurigheid met het equivalent van slechts 28 neuronen, vergeleken met de 4, 000 nodig voor het huidige generatiemodel, zei Gauthier.

Een belangrijke reden voor de versnelling is dat het "brein" achter deze volgende generatie van reservoircomputing veel minder opwarming en training nodig heeft dan de huidige generatie om dezelfde resultaten te produceren.

Opwarmen is trainingsgegevens die moeten worden toegevoegd als invoer in de reservoircomputer om deze voor te bereiden op zijn eigenlijke taak.

"Voor onze volgende generatie reservoircomputers, er is bijna geen opwarmtijd nodig, ' zei Gauthier.

"Momenteel, wetenschappers moeten er 1, 000 of 10, 000 datapunten of meer om het op te warmen. En dat zijn alle gegevens die verloren gaan, dat is niet nodig voor het eigenlijke werk. We hoeven maar één of twee of drie datapunten in te voeren, " hij zei.

En zodra onderzoekers klaar zijn om de reservoircomputer te trainen om de voorspelling te maken, opnieuw, er zijn veel minder gegevens nodig in het systeem van de volgende generatie.

In hun test van de Lorenz-voorspellingstaak, de onderzoekers konden dezelfde resultaten krijgen met 400 datapunten als de huidige generatie met 5, 000 datapunten of meer, afhankelijk van de gewenste nauwkeurigheid.

"Wat opwindend is, is dat deze volgende generatie van reservoircomputing het al zeer goede neemt en het aanzienlijk efficiënter maakt, ' zei Gauthier.

Hij en zijn collega's zijn van plan dit werk uit te breiden om nog moeilijkere computerproblemen aan te pakken, zoals het voorspellen van vloeistofdynamica.

"Dat is een ongelooflijk uitdagend probleem om op te lossen. We willen kijken of we het proces van het oplossen van dat probleem kunnen versnellen met behulp van ons vereenvoudigde model van reservoir computing."

Co-auteurs van de studie waren Erik Bollt, hoogleraar elektrische en computertechniek aan de Clarkson University; Aaron Griffith, die zijn Ph.D. in natuurkunde aan de Ohio State; en Wendson Barbosa, een postdoctoraal onderzoeker in de natuurkunde aan de Ohio State.