Het brein en al zijn geweldige mogelijkheden worden aangedreven door minder dan 20 watt. Sta daar even bij stil. Terwijl ik deze blog schrijf, verbruikt mijn laptop ongeveer 80 watt, maar met slechts een vierde van het vermogen, ons brein presteert verschillende ordes van grootte beter dan ultramoderne supercomputers als het gaat om energie-efficiëntie en volume. De natuur is echt opmerkelijk.

Om deze reden zou het niet moeten verbazen dat wetenschappers over de hele wereld inspiratie zoeken in het menselijk brein als een veelbelovende weg naar de ontwikkeling van de volgende generatie AI-computersystemen en hoewel de IT-industrie de afgelopen jaren aanzienlijke vooruitgang heeft geboekt, met name bij het gebruik van machine learning voor computervisie en spraakherkenning, de huidige technologie stuit op een muur als het gaat om diepe neurale netwerken die overeenkomen met de energie-efficiëntie van hun biologische tegenhanger, maar dit zou op het punt staan ​​te veranderen.

Zoals vorige week gemeld in Natuurcommunicatie , mijn collega's en ik bij IBM Research en medewerkers bij EPFL en het New Jersey Institute of Technology hebben een kunstmatige synapsarchitectuur ontwikkeld en experimenteel getest met behulp van 1 miljoen apparaten - een belangrijke stap in de richting van het realiseren van grootschalige en energiezuinige neuromorfische computertechnologie.

Toen de briljante wetenschapper John von Neumann de computerarchitectuur van vandaag bouwde, die bijna 100 procent van 's werelds computers van stroom voorziet, hij hield het geheugen en de verwerking apart. Dit betekent dat gegevens constant heen en weer moeten pendelen, warmte opwekken en veel energie verbruiken – het is een efficiëntieknelpunt. De hersenen hebben natuurlijk geen verschillende compartimenten, daarom is het zo efficiënt. Maar dit weerhield teams er niet van om vast te houden aan het ontwerp van Von Neumann om een ​​neuraal netwerk te bouwen en hoewel ze enig succes hebben, de efficiëntie van deze systemen blijft laag - je kunt de natuur gewoon niet verslaan.

Recenter, wetenschappers, inclusief die bij IBM, hebben een andere benadering gekozen op basis van een nieuwe klasse van apparaten op nanoschaal die bekend staan ​​​​als memristieve apparaten, die veelbelovend zijn gebleken bij het aanpakken van dit knelpunt. Ons apparaatontwerp is gebaseerd op iets dat Phase Change Memory (PCM) wordt genoemd, misschien wel de meest geavanceerde opkomende niet-vluchtige geheugentechnologie. Er wordt een elektrische puls op het materiaal aangebracht, die de geleiding van het apparaat verandert door zijn fysieke eigenschappen.

Zoals uitgelegd in ons artikel:"Memristieve apparaten zoals PCM-apparaten slaan informatie op in hun weerstand / geleidingstoestanden en vertonen geleidbaarheidsmodulatie op basis van de programmeergeschiedenis. Het centrale idee bij het bouwen van cognitieve hardware op basis van memristieve apparaten is om de synaptische gewichten op te slaan als hun geleidbaarheidstoestanden en om de bijbehorende rekentaken uit te voeren. nauwkeurige modulatie van de apparaatgeleiding over een breed dynamisch bereik, nodig om een ​​hoge netwerknauwkeurigheid te behouden, blijkt een uitdaging te zijn."

Onze doorbraak zit in ons ontwerp, die we een multi-memristieve synaptische architectuur noemen. Deze architectuur stelt ons in staat om de synaptische precisie te vergroten zonder de vermogensdichtheid te vergroten, ook al gebruiken we verschillende memristieve apparaten om één synaps weer te geven. De truc is dat we een mooi selectiemechanisme hebben, gebaseerd op een globale teller, die het apparaat vertelt dat het moet worden vervangen en wanneer. De enige boete of kosten zijn de vereiste voor meer onroerend goed voor de extra PCM-apparaten.

Om onze architectuur te testen, we hebben zowel spiking- als niet-spiking neurale netwerken getraind. Onze geselecteerde gegevens zijn populair - de MNIST-gegevensset van handgeschreven cijfers en onze taak is handgeschreven cijferherkenning - in wezen moet ons netwerk herkennen welk nummer uit de handgeschreven afbeeldingen verschijnt. In beide gevallen, we zien dat de multi-memristieve synaps aanzienlijk beter presteert dan de conventionele differentiële architecturen met twee apparaten, duidelijk de effectiviteit van de voorgestelde architectuur illustreren. Een hoogtepunt van het werk is een experimentele demonstratie van de multi-memristieve synaptische architectuur in een spiking neuraal netwerk met behulp van meer dan 1 miljoen phase-change geheugenapparaten.

De architectuur is toepasbaar op een breed scala aan neurale netwerken en memristieve technologieën en is crossbar-compatibel. De voorgestelde architectuur en de experimentele demonstratie zijn een belangrijke stap in de richting van de realisatie van zeer efficiënte, grootschalige neurale netwerken op basis van memristieve apparaten met typische, experimenteel waargenomen niet-ideale kenmerken. Dat gezegd te hebben, we zijn ook gericht op het verbeteren van het memristive-apparaat zelf, het is nauwkeurigheid en dynamisch bereik en dan denken we dat we kunnen streven naar de heilige graal - drijvende-kommaprestaties.