Een team van onderzoekers van Queen's University, in Canada, hebben onlangs een nieuwe methode voorgesteld om willekeurige terugkerende neurale netwerken (rRNN) te verkleinen, een klasse van kunstmatige neurale netwerken die vaak wordt gebruikt om voorspellingen te doen op basis van gegevens. Hun aanpak, gepresenteerd in een paper dat vooraf is gepubliceerd op arXiv, stelt ontwikkelaars in staat om het aantal neuronen in de verborgen laag van een rRNN te minimaliseren, waardoor de voorspellingsprestaties worden verbeterd.

"Ons lab richt zich op het ontwerpen van hardware voor kunstmatige intelligentie-toepassingen, "Bicky Márquez, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "In dit onderzoek, we waren op zoek naar strategieën om de werkingsprincipes van neurale netwerken te begrijpen, en op hetzelfde moment, proberen het aantal neuronen in netwerken die we wilden bouwen te verminderen zonder hun prestaties bij het oplossen van een taak negatief te beïnvloeden. De belangrijkste taak die we wilden aanpakken was voorspelling, omdat dit altijd van groot belang is geweest voor de wetenschappelijke gemeenschap en de samenleving in het algemeen."

Het ontwikkelen van tools voor machine learning die toekomstige patronen uit gegevens kunnen voorspellen, is de belangrijkste focus geworden van tal van onderzoeksgroepen over de hele wereld. Dit is verre van verrassend, aangezien het voorspellen van toekomstige gebeurtenissen belangrijke toepassingen kan hebben op verschillende gebieden, bijvoorbeeld, het weer voorspellen, het voorspellen van voorraadbewegingen, of het in kaart brengen van de evolutie van sommige menselijke pathologieën.

Het onderzoek van Marquez en haar collega's is interdisciplinair van aard, omdat het theorieën met betrekking tot niet-lineaire dynamische systemen samenvoegt, tijdreeksanalyse, en machinaal leren. De primaire doelstellingen van de onderzoekers waren het uitbreiden van de toolkit die voorheen beschikbaar was voor neurale netwerkanalyse, minimaliseer het aantal neuronen in de verborgen laag van rRNN's, en de blackbox-eigenschap van deze netwerken gedeeltelijk verwijderen.

Om dit te behalen, ze introduceerden een nieuwe methodologie die voorspellingstheorie en machine learning samenvoegt in één raamwerk. Hun techniek kan worden gebruikt om relevante kenmerken van de invoergegevens van een rNN te extraheren en te gebruiken en het inkrimpingsproces van zijn verborgen lagen te begeleiden, uiteindelijk het verbeteren van de voorspellingsprestaties.

De onderzoekers gebruikten de inzichten die in hun onderzoek werden verzameld om een ​​nieuw kunstmatig neuraal netwerkmodel te ontwikkelen, een Takens-geïnspireerde processor. Dit model, samengesteld uit zowel echte als virtuele neuronen, bereikte state-of-the-art prestaties op uitdagende problemen zoals hoge kwaliteit, langetermijnvoorspelling van chaotische signalen.

"Het belangrijkste voordeel van ons model is dat het de problemen aanpakt die worden veroorzaakt door de enorme hoeveelheid neuronen die deel uitmaken van typische kunstmatige neurale netwerken, " legde Marquez uit. "De overmaat aan neuronen in deze modellen vertaalt zich gewoonlijk in rekenkundige dure problemen bij het overwegen van de optimalisatie van dergelijke netwerken om een ​​taak op te lossen. De opname van het concept van virtuele neuronen in ons ontwerp is een zeer handige stap voor het verminderen van het aantal fysieke neuronen."

In hun studie hebben Marquez en haar collega's gebruikten hun hybride processor ook om een ​​aritmisch neuraal model van neuronale prikkelbaarheid, genaamd Fitz-Hugh-Nagumo, te stabiliseren. Dankzij hun methodologie konden ze de grootte van het stabiliserende neurale netwerk met een factor 15 verkleinen in vergelijking met andere standaard neurale netwerken.

"Onze aanpak stelde ons in staat om enkele relevante functies te ontdekken die binnen de netwerkruimte worden gecreëerd, en die de fundamentele agenten zijn van succesvolle voorspellingen, Marquez zei. "Als we de ruis rond die belangrijke functies kunnen identificeren en verwijderen, we zouden ze kunnen gebruiken om de prestaties van onze netwerken te verbeteren."

De door Marquez en haar collega's bedachte methodiek is een belangrijke aanvulling op de eerder beschikbare tools voor rRNN-ontwikkeling en -analyse. In de toekomst, hun aanpak zou kunnen bijdragen aan het ontwerp van effectievere neurale netwerken voor voorspelling, vermindering van het aantal knooppunten en verbindingen daarin. Hun techniek zou rRNN's ook transparanter kunnen maken, waardoor gebruikers toegang krijgen tot belangrijke inzichten over hoe een systeem tot een bepaalde conclusie is gekomen.

"We zijn gefocust op neuromorfe hardware, "Zei Marquez. "Daarom, onze volgende stappen zullen betrekking hebben op de fysieke implementatie van dergelijke willekeurige terugkerende netwerken. Ons uiteindelijke doel is om op het brein geïnspireerde computers te ontwerpen die kunstmatige-intelligentieproblemen zeer efficiënt kunnen oplossen:ultrasnel en met een laag energieverbruik."

© 2019 Wetenschap X Netwerk