Zoals blijkt uit doorbraken op verschillende gebieden van kunstmatige intelligentie (AI), zoals beeldverwerking, slimme gezondheidszorg, zelfrijdende voertuigen en slimme steden, is dit ongetwijfeld de gouden periode van diep leren. In de komende tien jaar zullen AI en computersystemen uiteindelijk worden uitgerust met het vermogen om te leren en te denken zoals mensen dat doen - om een ​​continue stroom van informatie te verwerken en te communiceren met de echte wereld.

De huidige AI-modellen lijden echter aan prestatieverlies wanneer ze achtereenvolgens worden getraind op nieuwe informatie. Dit komt omdat elke keer dat er nieuwe gegevens worden gegenereerd, deze bovenop bestaande gegevens worden geschreven, waardoor eerdere informatie wordt gewist. Dit effect staat bekend als 'catastrofaal vergeten'. Een probleem komt voort uit het stabiliteits-plasticiteitsprobleem, waarbij het AI-model zijn geheugen moet bijwerken om zich voortdurend aan te passen aan de nieuwe informatie en tegelijkertijd de stabiliteit van zijn huidige kennis te behouden. Dit probleem voorkomt dat geavanceerde AI voortdurend leert van informatie uit de echte wereld.

Met edge-computersystemen kan computergebruik worden verplaatst van de cloudopslag en datacenters naar de buurt van de oorspronkelijke bron, zoals apparaten die zijn verbonden met het Internet of Things (IoT's). Het efficiënt toepassen van continu leren op randcomputersystemen met beperkte middelen blijft een uitdaging, hoewel er veel modellen voor continu leren zijn voorgesteld om dit probleem op te lossen. Traditionele modellen vereisen een hoge rekenkracht en een grote geheugencapaciteit.

Een nieuw type code om een ​​energiezuinig continu leersysteem te realiseren is onlangs ontworpen door een team van onderzoekers van de Singapore University of Technology and Design (SUTD), waaronder Shao-Xiang Go, Qiang Wang, Bo Wang, Yu Jiang en Natasa Bajalovic. Het team werd geleid door hoofdonderzoeker, assistent-professor Desmond Loke van SUTD. De studie van deze onderzoekers, "Continual Learning Electrical Conduction in Resistive-Switching-Memory Materials", werd gepubliceerd in het tijdschrift Advanced Theory and Simulations .

Het team stelde Brain-Inspired Replay (BIR) voor, een model geïnspireerd op de hersenen, dat continu leren op natuurlijke wijze uitvoert. Het BIR-model, gebaseerd op het gebruik van een kunstmatig neuraal netwerk en een variabele auto-encoder, imiteert de functies van het menselijk brein en kan goed presteren in klassikale leersituaties zonder gegevens op te slaan. De onderzoekers gebruikten het BIR-model ook om de groei van geleidende filamenten weer te geven met behulp van elektrische stroom in digitale geheugensystemen.

"In dit model wordt kennis bewaard binnen getrainde modellen om prestatieverlies bij de introductie van extra taken tot een minimum te beperken, zonder de noodzaak om te verwijzen naar gegevens van eerdere werken", legt universitair docent Loke uit. "Dit bespaart ons dus een aanzienlijke hoeveelheid energie."

"Bovendien werd een ultramoderne nauwkeurigheid van 89% bereikt bij het uitdagen van de naleving van huidige leertaken zonder gegevens op te slaan, wat ongeveer twee keer hoger is dan die van traditionele modellen voor continu leren, evenals een hoge energie-efficiëntie,' " voegde hij eraan toe.

Om het model in staat te stellen onafhankelijk ter plaatse informatie in de echte wereld te verwerken, is het team van plan om de aanpasbare mogelijkheden van het model in de volgende fase van hun onderzoek uit te breiden.

"Op basis van kleinschalige demonstraties bevindt dit onderzoek zich nog in de beginfase", zegt universitair docent Loke. "De acceptatie van deze aanpak zal naar verwachting edge-AI-systemen in staat stellen om onafhankelijk te werken zonder menselijke controle." + Verder verkennen

Een kunstmatige synaps met ultralaag vermogen voor AI-systemen van de volgende generatie