Neurale netwerken trainen om taken uit te voeren, zoals het herkennen van afbeeldingen of het navigeren door zelfrijdende auto's, zou ooit minder rekenkracht en hardware nodig kunnen hebben dankzij een nieuw kunstmatig neuronapparaat dat is ontwikkeld door onderzoekers van de Universiteit van Californië in San Diego. Het apparaat kan neurale netwerkberekeningen uitvoeren met 100 tot 1000 keer minder energie en oppervlakte dan bestaande op CMOS gebaseerde hardware.

Onderzoekers rapporteren hun werk in een paper gepubliceerd op 18 maart in Natuur Nanotechnologie .

Neurale netwerken zijn een reeks verbonden lagen van kunstmatige neuronen, waarbij de uitvoer van de ene laag de invoer voor de volgende levert. Het genereren van die invoer wordt gedaan door een wiskundige berekening toe te passen die een niet-lineaire activeringsfunctie wordt genoemd. Dit is een cruciaal onderdeel van het runnen van een neuraal netwerk. Maar het toepassen van deze functie vereist veel rekenkracht en circuits, omdat het gaat om het heen en weer overbrengen van gegevens tussen twee afzonderlijke eenheden:het geheugen en een externe processor.

Nutsvoorzieningen, Onderzoekers van UC San Diego hebben een apparaat ter grootte van een nanometer ontwikkeld dat de activeringsfunctie efficiënt kan uitvoeren.

"Neurale netwerkberekeningen in hardware worden steeds inefficiënter naarmate de neurale netwerkmodellen groter en complexer worden, " zei Duygu Kuzum, een professor in elektrische en computertechniek aan de UC San Diego Jacobs School of Engineering. "We hebben een enkel kunstmatig neuronapparaat op nanoschaal ontwikkeld dat deze berekeningen op een zeer gebieds- en energie-efficiënte manier in hardware implementeert."

De nieuwe studie, geleid door Kuzum en haar Ph.D. student Sangheon Oh, werd uitgevoerd in samenwerking met een DOE Energy Frontier Research Center onder leiding van UC San Diego natuurkundeprofessor Ivan Schuller, die zich richt op het ontwikkelen van hardware-implementaties van energie-efficiënte kunstmatige neurale netwerken.

Het apparaat implementeert een van de meest gebruikte activeringsfuncties in neurale netwerktraining, een gerectificeerde lineaire eenheid. Het bijzondere aan deze functie is dat het hardware nodig heeft die een geleidelijke verandering in weerstand kan ondergaan om te kunnen werken. En dat is precies waar de onderzoekers van UC San Diego hun apparaat voor ontwikkelden:het kan geleidelijk overschakelen van een isolerende naar een geleidende toestand, en dat doet hij met behulp van een beetje warmte.

Deze schakelaar is een zogenaamde Mott-overgang. Het vindt plaats in een nanometer dun laagje vanadiumdioxide. Boven deze laag bevindt zich een nanodraadverwarmer gemaakt van titanium en goud. Als er stroom door de nanodraad loopt, de vanadiumdioxidelaag warmt langzaam op, waardoor een langzame, gecontroleerde omschakeling van isolerend naar geleidend.

"Deze apparaatarchitectuur is erg interessant en innovatief, " zei o, wie is de eerste auteur van de studie. Typisch, materialen in een Mott-overgang ervaren een abrupte omschakeling van isolerend naar geleidend omdat de stroom direct door het materiaal vloeit, hij legde uit. "In dit geval, we stromen stroom door een nanodraad bovenop het materiaal om het te verwarmen en een zeer geleidelijke weerstandsverandering teweeg te brengen."

Om het apparaat te implementeren, de onderzoekers fabriceerden eerst een reeks van deze zogenaamde activerings- (of neuron) apparaten, samen met een synaptische apparaatarray. Vervolgens integreerden ze de twee arrays op een aangepaste printplaat en verbonden ze met elkaar om een ​​hardwareversie van een neuraal netwerk te creëren.

De onderzoekers gebruikten het netwerk om een ​​afbeelding te verwerken - in dit geval een foto van de Geisel Library aan de UC San Diego. Het netwerk voerde een soort beeldverwerking uit, randdetectie genaamd, die de contouren of randen van objecten in een afbeelding identificeert. Dit experiment toonde aan dat het geïntegreerde hardwaresysteem convolutiebewerkingen kan uitvoeren die essentieel zijn voor veel soorten diepe neurale netwerken.

De onderzoekers zeggen dat de technologie verder kan worden opgeschaald om complexere taken uit te voeren, zoals gezichts- en objectherkenning in zelfrijdende auto's. Met belangstelling en medewerking van de industrie, dit kan gebeuren, merkte Kuzum op.

"Direct, dit is een proof of concept, " zei Kuzum. "Het is een klein systeem waarin we slechts één synapslaag met één activeringslaag hebben gestapeld. Door meer van deze op elkaar te stapelen, je zou een complexer systeem kunnen maken voor verschillende toepassingen."