Onderzoekers hebben een nieuw raamwerk ontwikkeld voor diepe neurale netwerken waarmee kunstmatige-intelligentiesystemen (AI) nieuwe taken beter kunnen leren, terwijl ze minder "vergeten" van wat het heeft geleerd met betrekking tot eerdere taken. De onderzoekers hebben ook aangetoond dat het gebruik van het raamwerk om een ​​nieuwe taak te leren, de AI beter kan maken in het uitvoeren van eerdere taken, een fenomeen dat achterwaartse overdracht wordt genoemd.

"Mensen zijn in staat om continu te leren; we leren voortdurend nieuwe taken, zonder te vergeten wat we al weten, " zegt Tianfu Wu, een assistent-professor in elektrische en computertechniek bij NC State en co-auteur van een paper over het werk. "Daten, AI-systemen die diepe neurale netwerken gebruiken, zijn hier niet erg goed in geweest."

"Diepe neurale netwerk-AI-systemen zijn ontworpen voor het leren van smalle taken, " zegt Xilai Li, een co-lead auteur van het papier en een Ph.D. kandidaat bij NC State. "Als resultaat, een van de verschillende dingen kan gebeuren bij het leren van nieuwe taken. Systemen kunnen oude taken vergeten bij het leren van nieuwe, wat catastrofaal vergeten wordt genoemd. Systemen kunnen sommige dingen vergeten die ze wisten over oude taken, terwijl je ook niet leert nieuwe te doen. Of systemen kunnen oude taken op hun plaats repareren terwijl nieuwe taken worden toegevoegd - wat de verbetering beperkt en snel leidt tot een AI-systeem dat te groot is om efficiënt te werken. Voortdurend leren, ook wel levenslang leren of leren leren genoemd, probeert het probleem aan te pakken."

"We hebben een nieuw kader voor continu leren voorgesteld, die het leren van netwerkstructuren en het leren van modelparameters loskoppelt, " zegt Yingbo Zhou, co-hoofdauteur van het artikel en een onderzoekswetenschapper bij Salesforce Research. "We noemen het het Learn to Grow-framework. Bij experimenteel testen, we hebben ontdekt dat het beter presteert dan eerdere benaderingen van continu leren."

Om het Learn to Grow-framework te begrijpen, denk aan diepe neurale netwerken als een pijp gevuld met meerdere lagen. Ruwe gegevens gaan naar de top van de pijp, en taakoutputs komen uit de bodem. Elke "laag" in de pijp is een berekening die de gegevens manipuleert om het netwerk te helpen zijn taak te volbrengen, zoals het identificeren van objecten in een digitaal beeld. Er zijn meerdere manieren om de lagen in de pijp te rangschikken, die overeenkomen met verschillende "architecturen" van het netwerk.

Wanneer je een diep neuraal netwerk vraagt ​​om een ​​nieuwe taak te leren, het Learn to Grow-framework begint met het uitvoeren van iets dat een expliciete neurale architectuuroptimalisatie wordt genoemd via zoeken. Wat dit betekent is dat als het netwerk naar elke laag in zijn systeem komt, het kan besluiten een van de volgende vier dingen te doen:de laag overslaan; gebruik de laag op dezelfde manier waarop eerdere taken hem gebruikten; bevestig een lichtgewicht adapter aan de laag, die het enigszins wijzigt; of maak een geheel nieuwe laag.

Deze architectuuroptimalisatie legt effectief de beste topologie, of reeksen lagen, nodig om de nieuwe taak te volbrengen. Zodra dit is voltooid, het netwerk gebruikt de nieuwe topologie om zichzelf te trainen in het uitvoeren van de taak - net als elk ander deep learning AI-systeem.

"We hebben experimenten uitgevoerd met verschillende datasets, en wat we hebben gevonden is dat hoe meer een nieuwe taak lijkt op eerdere taken, hoe meer overlap er is in termen van de bestaande lagen die behouden blijven om de nieuwe taak uit te voeren, " zegt Li. "Wat interessanter is, is dat, met de geoptimaliseerde - of "aangeleerde" topologie - vergeet een netwerk dat is getraind om nieuwe taken uit te voeren heel weinig van wat het nodig had om de oudere taken uit te voeren, zelfs als de oudere taken niet vergelijkbaar waren."

De onderzoekers voerden ook experimenten uit waarin het vermogen van het Learn to Grow-raamwerk om nieuwe taken te leren werd vergeleken met verschillende andere methoden voor continu leren, en ontdekte dat het Learn to Grow-raamwerk nauwkeuriger was bij het voltooien van nieuwe taken.

Om te testen hoeveel elk netwerk misschien is vergeten bij het leren van de nieuwe taak, de onderzoekers testten vervolgens de nauwkeurigheid van elk systeem bij het uitvoeren van de oudere taken - en het Learn to Grow-framework presteerde opnieuw beter dan de andere netwerken.

"In sommige gevallen, het Learn to Grow-framework is zelfs beter geworden in het uitvoeren van de oude taken, " zegt Caiming Xiong, de onderzoeksdirecteur van Salesforce Research en een co-auteur van het werk. "Dit wordt achterwaartse overdracht genoemd, en treedt op wanneer je merkt dat het leren van een nieuwe taak je beter maakt in een oude taak. We zien dit de hele tijd bij mensen; niet zozeer met AI."

De krant, "Leer te groeien:een leerkader voor continue structuur voor het overwinnen van catastrofaal vergeten, " zal worden gepresenteerd op de 36e Internationale Conferentie over Machine Learning, wordt gehouden van 9-15 juni in Long Beach, Californië.