In de afgelopen tien jaar of zo, deep learning-benaderingen zijn steeds efficiënter geworden in het verwerken van statische gegevens zoals afbeeldingen. Echter, deze technieken zijn iets minder effectief gebleken bij het analyseren van temporele gegevens, zoals video's, menselijke spraak en andere streaming-ingangen. Dit komt vooral omdat het verwerken van tijdelijke gegevens grotere kunstmatige neurale netwerken vereist, die duurder zijn om te trainen en uit te voeren.

Met dit in gedachten, een team van onderzoekers van de Universiteit van Michigan heeft onlangs een hardwaresysteem voor reservoircomputing ontwikkeld om temporele gegevens effectiever te verwerken. Reservoircomputersystemen bestaan ​​in wezen uit een reservoir dat invoer in kaart brengt in een hoogdimensionale ruimte en een uitlezing voor patroonanalyse op basis van de hoogdimensionale toestanden van het reservoir.

Deze systemen zijn bijzonder effectief gebleken voor tijdelijke of sequentiële gegevensverwerking. Het door de onderzoekers ontwikkelde systeem, die werd gepresenteerd in een paper gepubliceerd in Natuur Elektronica , is gebaseerd op dynamisch wolfraamoxide (WO _x ) memristors met interne kortetermijngeheugenmogelijkheden.

"Een belangrijke reden voor de grote netwerkomvang die nodig is voor het verwerken van tijdelijke gegevens, is het grote aantal mogelijke tijdelijke functies die door het netwerk moeten worden geleerd en opgeslagen, "Wei Lu, de senior auteur die de studie leidde, vertelde TechXplore. "Om dit probleem op te lossen, we gebruikten een 'reservoir computing'-concept, waarbij het 'reservoir' in het systeem invoer kan verwerken zonder de functies te hoeven leren. Dit wordt mogelijk gemaakt door de eigenschap 'kortetermijngeheugen' van het reservoir, zodat het kan reageren (opgewonden) op verschillende inputs zonder expliciet iets op te slaan."

De meeste eerder ontwikkelde reservoirs zijn gebouwd met behulp van digitale circuits die kortetermijngeheugeneffecten nabootsen. Dit maakt ze uiteindelijk moeilijk fysiek uit te voeren, en dus zeer onpraktisch.

Lu en zijn collega's, anderzijds, hebben hun reservoircomputersysteem gefabriceerd met behulp van WO _x memristor-apparaten met intrinsieke kortetermijngeheugeneigenschappen. Met andere woorden, elk afzonderlijk memristorapparaat is een dynamisch systeem op zich en kan een breed scala aan tijdelijke invoer verwerken.

Via deze memristors, het reservoirsysteem kan tijdelijke inputs niet-lineair in kaart brengen in reservoirtoestanden. Geprojecteerde kenmerken kunnen vervolgens eenvoudig worden verwerkt door een lineaire uitleesfunctie.

"Door gebruik te maken van de interne dynamiek van de apparaten om op natuurlijke wijze computergebruik uit te voeren, we zouden het reservoirnetwerk kunnen bouwen met slechts een klein aantal memristor-apparaten, wat leidt tot een veel kleinere voetafdruk, kosten, en stroomverbruik, ' legde Lu uit.

Lu en zijn collega's demonstreerden en evalueerden hun systeem op een standaard spraakherkenningstaak waarbij gesproken cijfers worden herkend. Hun systeem was in staat om door mensen gesproken cijfers te herkennen met een opmerkelijke nauwkeurigheid van 99,2 procent.

"Interessanter, aangezien het netwerk de temporele kenmerken van de invoer kan vastleggen, we hebben laten zien dat we het netwerk ook kunnen gebruiken om voorspellings-/voorspellingsfuncties uit te voeren, " zei Lu. "Bijvoorbeeld, bij spraakherkenning, we kunnen het bedoelde woord van de spreker voorspellen voordat de spreker het afmaakt. In een ander voorbeeld, we hebben het vermogen van het netwerk aangetoond om de complexe kenmerken van een chaotisch systeem vast te leggen en op betrouwbare wijze de evolutie van het chaotische systeem op lange termijn te voorspellen, dat is een zeer uitdagende taak."

In de toekomst, het reservoircomputersysteem voor het analyseren en voorspellen van tijdelijke inputs dat door dit team van onderzoekers is bedacht, zou tal van interessante toepassingen kunnen hebben. Bijvoorbeeld, het zou kunnen helpen om mens-machine-interfaces te verbeteren, autonome rijplatforms, en andere technologie die de verwerking of voorspelling van streaming-invoer vereist.

Bovendien, met behulp van deze nieuwe aanpak, de grootte en het stroomverbruik van kunstmatige neurale netwerken voor het verwerken van tijdelijke gegevens kunnen aanzienlijk worden verminderd. Dit zou het inbedden van deze netwerken in bestaande systemen eenvoudiger en goedkoper kunnen maken, waardoor onderzoekers uiteindelijk een grotere verscheidenheid aan apparaten kunnen uitrusten met realtime temporele data-analysemogelijkheden.

"We werken nu aan complexere systemen en aan het verder verbeteren van de netwerkprestaties, " voegde Lu toe.

© 2019 Wetenschap X Netwerk