Achter de meeste hedendaagse kunstmatige-intelligentietechnologieën van zelfrijdende auto's tot gezichtsherkenning en virtuele assistenten, liggen kunstmatige neurale netwerken. Hoewel losjes gebaseerd op de manier waarop neuronen in de hersenen communiceren, deze 'deep learning'-systemen zijn nog steeds niet in staat tot veel basisfuncties die essentieel zouden zijn voor primaten en andere organismen.

Echter, een nieuwe studie van neurowetenschappers van de Universiteit van Chicago ontdekte dat het aanpassen van een bekend hersenmechanisme het vermogen van kunstmatige neurale netwerken om meerdere taken te leren drastisch kan verbeteren en de aanhoudende AI-uitdaging van 'catastrofaal vergeten' kan vermijden. De studie, gepubliceerd in Proceedings van de National Academy of Sciences , biedt een uniek voorbeeld van hoe neurowetenschappelijk onderzoek nieuwe computerwetenschappelijke strategieën kan informeren, en, omgekeerd, hoe AI-technologie wetenschappers kan helpen het menselijk brein beter te begrijpen.

In combinatie met eerder gerapporteerde methoden voor het stabiliseren van synaptische verbindingen in kunstmatige neurale netwerken, het nieuwe algoritme liet enkele kunstmatige neurale netwerken toe om honderden taken te leren en uit te voeren met slechts minimaal verlies aan nauwkeurigheid, mogelijk krachtigere en efficiëntere AI-technologieën mogelijk maken.

"Intuïtief, je zou kunnen denken dat hoe meer taken je wilt dat een netwerk weet, hoe groter het netwerk zou moeten zijn, " zei David Freedman, hoogleraar neurobiologie aan UChicago. "Maar de hersenen suggereren dat er waarschijnlijk een efficiënte manier is om veel kennis in een vrij klein netwerk te verpakken. Als je kijkt naar delen van de hersenen die betrokken zijn bij hogere cognitieve functies, je hebt de neiging om dezelfde gebieden, zelfs dezelfde cellen, deelnemen aan veel verschillende functies. Het idee was om inspiratie te putten uit wat de hersenen doen om uitdagingen met neurale netwerken op te lossen."

In kunstmatige neurale netwerken, "catastrofaal vergeten" verwijst naar de moeilijkheid om het systeem te leren nieuwe vaardigheden uit te voeren zonder eerder geleerde functies te verliezen. Bijvoorbeeld, als een netwerk dat aanvankelijk was getraind om onderscheid te maken tussen foto's van honden en katten, vervolgens opnieuw wordt getraind om onderscheid te maken tussen honden en paarden, het zal zijn eerdere vermogen verliezen.

"Als je een getraind neuraal netwerk een nieuwe taak laat zien, het zal zijn vorige taak volledig vergeten, " zei Gregory Grant, AB'18, die nu onderzoeker is in het Freedman-lab. "Het zegt, 'Ik heb die informatie niet nodig, ' en overschrijft het. Dat is rampzalig vergeten. Het gebeurt heel snel; binnen slechts een paar iteraties, je vorige taak kan volkomen worden uitgewist."

Daarentegen, de hersenen zijn in staat om "voortdurend te leren, " nieuwe kennis opdoen zonder oude herinneringen te elimineren, zelfs wanneer dezelfde neuronen voor meerdere taken worden gebruikt. Een strategie die de hersenen gebruiken voor deze leeruitdaging is de selectieve activering van cellen of cellulaire componenten voor verschillende taken - in wezen inschakelen van kleinere, overlappende subnetwerken voor elke individuele vaardigheid, of in verschillende contexten.

De UChicago-onderzoekers hebben dit neurowetenschappelijke mechanisme aangepast aan kunstmatige neurale netwerken via een algoritme dat ze 'contextafhankelijke poorten' noemden. Voor elke nieuwe taak die wordt geleerd, slechts een willekeurige 20 procent van een neuraal netwerk wordt geactiveerd. Nadat het netwerk is getraind in honderden verschillende taken, een enkel knooppunt kan betrokken zijn bij tientallen bewerkingen, maar met een unieke set van peers voor elke individuele vaardigheid.

In combinatie met methoden die eerder zijn ontwikkeld door onderzoekers van Google en Stanford, contextafhankelijke gating stelde netwerken in staat om maar liefst 500 taken te leren met slechts een kleine afname in nauwkeurigheid.

"Het was een beetje verrassend dat zoiets eenvoudigs zo goed werkte, " zei Nicolas Masse, een postdoctoraal onderzoeker in het Freedman-lab. "Maar met deze methode een redelijk middelgroot netwerk kan op een hele reeks manieren worden opgedeeld om veel verschillende taken te leren als het goed wordt gedaan."

Als zodanig, de aanpak heeft waarschijnlijk een groot potentieel in de groeiende AI-industrie, waar bedrijven autonome voertuigen ontwikkelen, robotica en andere slimme technologieën moeten complexe leermogelijkheden in computers op consumentenniveau inpakken. Het UChicago-team werkt momenteel samen met het Polsky Center for Entrepreneurship and Innovation om de commercialiseringsopties voor het algoritme te onderzoeken.

Het computationele onderzoek komt ook ten goede aan de oorspronkelijke focus van het laboratorium op een beter begrip van de hersenen van primaten door de activiteit ervan vast te leggen terwijl dieren leren en zich gedragen. Het modelleren en testen van strategieën die leren, aandacht, sensorische verwerking en andere functies in een computer kunnen nieuwe biologische experimenten motiveren en suggereren die de mechanismen van intelligentie onderzoeken, zowel natuurlijke als kunstmatige, aldus de onderzoekers.

"Het toevoegen van dit onderdeel van onderzoek aan het laboratorium heeft echt veel deuren geopend om ons in staat te stellen na te denken over nieuwe soorten problemen, nieuwe soorten neurowetenschappelijke onderwerpen en problemen die we normaal gesproken niet echt kunnen aanpakken met behulp van de experimentele technieken die momenteel beschikbaar zijn in het laboratorium, " zei Freedman. "We hopen dat dit het startpunt is voor meer werk in het laboratorium om zowel die principes te identificeren als om kunstmatige netwerken te helpen creëren die blijven leren en voortbouwen op voorkennis."