(Phys.org)—Terwijl we onderzoeken hoe efficiënt de hersenen nieuwe informatie kunnen leren, natuurkundigen hebben ontdekt dat op neuronaal niveau, leerefficiëntie wordt uiteindelijk beperkt door de wetten van de thermodynamica - dezelfde principes die de efficiëntie van veel andere bekende processen beperken.

"Het grootste belang van ons werk is dat we de tweede wet van de thermodynamica toepassen bij de analyse van neurale netwerken, " Sebastian Goldt aan de Universiteit van Stuttgart, Duitsland, vertelde Phys.org . "De tweede wet is een zeer krachtige uitspraak over welke transformaties mogelijk zijn - en leren is slechts een transformatie van een neuraal netwerk ten koste van energie. Dit maakt onze resultaten vrij algemeen en brengt ons een stap in de richting van het begrijpen van de ultieme grenzen van de efficiëntie van neurale netwerken."

Goldt en co-auteur Udo Seifert hebben een artikel over hun werk gepubliceerd in een recent nummer van: Fysieke beoordelingsbrieven .

Omdat alle hersenactiviteit is gekoppeld aan het afvuren van miljarden neuronen, op neuronaal niveau, de vraag "hoe efficiënt kunnen we leren?" wordt de vraag "hoe efficiënt kan een neuron zijn uitgangssignaal aanpassen in reactie op de patronen van ingangssignalen die het van andere neuronen ontvangt?" Naarmate neuronen beter worden in het vuren als reactie op bepaalde patronen, de bijbehorende gedachten worden versterkt in onze hersenen, zoals geïmpliceerd door het adagium "vuur samen, met elkaar verbinden."

In de nieuwe studie de wetenschappers toonden aan dat leerefficiëntie wordt begrensd door de totale entropieproductie van een neuraal netwerk. Ze toonden aan dat, hoe langzamer een neuron leert, hoe minder warmte en entropie het produceert, het verhogen van de efficiëntie ervan. In het licht van deze bevinding, de wetenschappers introduceerden een nieuwe maatstaf voor leerefficiëntie op basis van energievereisten en thermodynamica.

Omdat de resultaten erg algemeen zijn, ze kunnen worden toegepast op elk leeralgoritme dat geen gebruik maakt van feedback, zoals die worden gebruikt in kunstmatige neurale netwerken.

"Het hebben van een thermodynamisch perspectief op neurale netwerken geeft ons een nieuw hulpmiddel om na te denken over hun efficiëntie en geeft ons een nieuwe manier om hun prestaties te beoordelen, Goldt zei. "Het vinden van het optimale kunstmatige neurale netwerk met betrekking tot die beoordeling is een opwindende mogelijkheid, en ook een hele uitdaging."

In de toekomst, de onderzoekers zijn van plan om de efficiëntie te analyseren van leeralgoritmen die gebruikmaken van feedback, evenals de mogelijkheid onderzoeken om het nieuwe model experimenteel te testen.

"Aan de ene kant, we onderzoeken momenteel wat thermodynamica ons kan leren over andere leerproblemen, " zei Goldt. "Tegelijkertijd, we zoeken naar manieren om onze modellen en dus onze resultaten algemener te maken. Het is een spannende tijd om aan neurale netwerken te werken!"

© 2017 Fys.org