Onderzoekers van het Institute of Cyber ​​Intelligence Systems van de National Research Nuclear University MEPhI (Rusland) hebben onlangs een nieuw leermodel ontwikkeld voor de beperkte Boltzmann-machine (een neuraal netwerk), die de processen van semantische codering optimaliseert, visualisatie en gegevensherkenning. De resultaten van dit onderzoek zijn gepubliceerd in het tijdschrift Optisch geheugen en neurale netwerken .

Vandaag, diepe neurale netwerken met verschillende architecturen, zoals convolutionele, terugkerende en autoencoder-netwerken, worden een steeds populairder onderzoeksgebied. Een aantal hightechbedrijven, waaronder Microsoft en Google, gebruiken diepe neurale netwerken om intelligente systemen te ontwerpen.

In deep learning-systemen, de processen van functieselectie en configuratie zijn geautomatiseerd, wat betekent dat de netwerken zelf kunnen kiezen tussen de meest effectieve algoritmen voor hiërarchische functie-extractie. Deep learning wordt gekenmerkt door leren met behulp van grote steekproeven met behulp van een enkel optimalisatie-algoritme. Typische optimalisatiealgoritmen configureren de parameters van alle bewerkingen tegelijkertijd, en schat effectief het effect van elke neurale netwerkparameter op fouten met behulp van de zogenaamde backpropagation-methode.

"Het vermogen van neurale netwerken om zelfstandig te leren is een van hun meest intrigerende eigenschappen, " legde Vladimir Golovko uit, professor aan het MEPhI Institute of Cyber ​​Intelligence Systems. "Net als biologische systemen, neurale netwerken kunnen zichzelf modelleren, op zoek naar het best mogelijke gedragsmodel te ontwikkelen."

In 2006, het gebied van neurale netwerktraining zag een doorbraak toen Geoffrey Hinton een onderzoekspaper publiceerde over pre-training neurale netwerken. Hij verklaarde dat meerlagige neurale netwerken vooraf getraind konden worden door laag voor laag te trainen met behulp van de beperkte Boltzmann-machine en ze vervolgens te verfijnen met behulp van backpropagation. Deze netwerken werden diepe geloofsnetwerken genoemd, of DBN.

Golovko analyseerde de belangrijkste problemen en paradigma's van deep machine learning en stelde een nieuwe leermethode voor de beperkte Boltzmann-machine voor. De onderzoeker toonde aan dat de klassieke regel voor het trainen van dit neurale netwerk een specifiek geval is van de door hem ontwikkelde methode.

"Amerikaanse wetenschappers Minsky en Papert hebben eens aangetoond dat vanuit het oogpunt van patroonclassificatie, de enkellaagse perceptron met de drempelactiveringsfunctie vormt een lineair scheidingsoppervlak, wat de reden is waarom het het 'exclusieve of'-probleem niet kan oplossen, " merkte Golovko op. "Dit leidde tot pessimistische conclusies over de verdere ontwikkeling van neurale netwerken. Echter, de laatste verklaring is alleen waar voor een enkellaags perceptron met een drempelwaarde of een monotone continue activeringsfunctie, bijvoorbeeld, een sigmoïde functie. Wanneer men de signaalactiveringsfunctie gebruikt, de enkellaagse perceptron kan het 'exclusieve of'-probleem oplossen, omdat het het gebied van enen en nullen in klassen kan verdelen met behulp van twee rechte lijnen."

Het onderzoek omvatte ook een analyse van de vooruitzichten van het gebruik van diepe neurale netwerken voor compressie, visualisatie en herkenning van gegevens. Bovendien, Golovko suggereerde ook een nieuwe benadering voor de implementatie van semantische codering, of hashen, die is gebaseerd op het gebruik van diepe auto-associatieve neurale netwerken.

Deze deep learning-methode kan erg handig zijn voor het trainen van neurale netwerken van zoekmachines, de auteur stelt, omdat het de snelheid van het zoeken naar relevante afbeeldingen zal verbeteren.

Deze bevindingen hebben grote praktische waarde:ze zijn al toegepast op het gebied van computervisie, spraakherkenning en bio-informatica.