Voor het eerst is met succes aangetoond dat een fysiek neuraal netwerk ‘on the fly’ leert en onthoudt, op een manier die geïnspireerd is op en vergelijkbaar is met de manier waarop de neuronen in de hersenen werken.

Het resultaat opent de weg voor de ontwikkeling van efficiënte en energiezuinige machine-intelligentie voor complexere leer- en geheugentaken in de praktijk.

Vandaag gepubliceerd in Nature Communications , het onderzoek is een samenwerking tussen wetenschappers van de Universiteit van Sydney en de Universiteit van Californië in Los Angeles.

Hoofdauteur Ruomin Zhu, een Ph.D. student van het Nano Institute en de School of Physics van de Universiteit van Sydney, zei:"De bevindingen laten zien hoe hersengeïnspireerde leer- en geheugenfuncties met behulp van nanodraadnetwerken kunnen worden ingezet om dynamische, streaming gegevens te verwerken."

Nanodraadnetwerken bestaan ​​uit kleine draadjes met een diameter van slechts een miljardste van een meter. De draden rangschikken zichzelf in patronen die doen denken aan het kinderspel 'Pick Up Sticks', waarbij neurale netwerken worden nagebootst, zoals die in onze hersenen. Deze netwerken kunnen worden gebruikt om specifieke informatieverwerkingstaken uit te voeren.

Geheugen- en leertaken worden bereikt met behulp van eenvoudige algoritmen die reageren op veranderingen in de elektronische weerstand op kruispunten waar de nanodraden elkaar overlappen. Deze functie staat bekend als 'resistieve geheugenschakeling' en wordt gecreëerd wanneer elektrische inputs te maken krijgen met veranderingen in de geleidbaarheid, vergelijkbaar met wat er gebeurt met synapsen in onze hersenen.

In deze studie gebruikten onderzoekers het netwerk om reeksen elektrische pulsen die overeenkomen met beelden te herkennen en te onthouden, geïnspireerd door de manier waarop het menselijk brein informatie verwerkt.

Begeleidend onderzoeker professor Zdenka Kuncic zei dat de geheugentaak vergelijkbaar was met het onthouden van een telefoonnummer. Het netwerk werd ook gebruikt om een ​​benchmarktaak voor beeldherkenning uit te voeren, waarbij toegang werd verkregen tot afbeeldingen in de MNIST-database met handgeschreven cijfers, een verzameling van 70.000 kleine grijswaardenafbeeldingen die worden gebruikt bij machinaal leren.

"Ons eerdere onderzoek heeft aangetoond dat nanodraadnetwerken eenvoudige taken kunnen onthouden. Dit werk heeft deze bevindingen uitgebreid door aan te tonen dat taken kunnen worden uitgevoerd met behulp van dynamische gegevens die online toegankelijk zijn", zei ze.

"Dit is een belangrijke stap voorwaarts, omdat het bereiken van online leermogelijkheden een uitdaging is als het gaat om grote hoeveelheden gegevens die voortdurend kunnen veranderen. Een standaardaanpak zou zijn om gegevens in het geheugen op te slaan en vervolgens een machinaal leermodel te trainen met behulp van die opgeslagen informatie. Maar dit zou te veel energie vergen voor wijdverbreide toepassing."

"Onze nieuwe aanpak maakt het mogelijk dat het neurale netwerk met nanodraden 'on the fly' leert en onthoudt, monster voor monster, waarbij gegevens online worden geëxtraheerd, waardoor zwaar geheugen- en energieverbruik wordt vermeden."

De heer Zhu zei dat er nog meer voordelen zijn bij het online verwerken van informatie.

"Als de gegevens continu worden gestreamd, zoals bijvoorbeeld van een sensor, zou machinaal leren dat afhankelijk is van kunstmatige neurale netwerken het vermogen moeten hebben om zich in realtime aan te passen, waarvoor ze momenteel niet zijn geoptimaliseerd", zegt hij. zei hij.

In deze studie vertoonde het neurale netwerk met nanodraden een benchmarkcapaciteit voor machinaal leren, met een score van 93,4 procent bij het correct identificeren van testbeelden. De geheugentaak omvatte het oproepen van reeksen van maximaal acht cijfers. Voor beide taken werden gegevens naar het netwerk gestreamd om de capaciteit voor online leren aan te tonen en om te laten zien hoe het geheugen dat leren verbetert.

Meer informatie: Online dynamisch leren en sequentiegeheugen met neuromorfe nanodraadnetwerken, Nature Communications (2023). DOI:10.1038/s41467-023-42470-5

Journaalinformatie: Natuurcommunicatie

Aangeboden door Universiteit van Sydney