Kunstmatige intelligentie vormt een grote uitdaging voor de conventionele computerarchitectuur. In standaardmodellen vinden geheugenopslag en computergebruik plaats in verschillende delen van de machine en moeten gegevens voor verwerking van het opslaggebied naar een CPU of GPU worden verplaatst.

Het probleem met dit ontwerp is dat beweging tijd kost. Te veel tijd. U kunt de krachtigste verwerkingseenheid op de markt hebben, maar de prestaties zullen beperkt zijn omdat het stationair wacht op gegevens, een probleem dat bekend staat als de "geheugenmuur" of "bottleneck".

Wanneer computing beter presteert dan geheugenoverdracht, is latentie onvermijdelijk. Deze vertragingen worden serieuze problemen bij het omgaan met de enorme hoeveelheden gegevens die essentieel zijn voor machine learning en AI-toepassingen.

Terwijl AI-software zich steeds verder ontwikkelt en de opkomst van het sensor-zware Internet of Things steeds grotere datasets produceert, hebben onderzoekers zich gericht op het herontwerp van hardware om de vereiste verbeteringen in snelheid, wendbaarheid en energieverbruik te realiseren.

Een team van onderzoekers van de School of Engineering and Applied Science van de University of Pennsylvania heeft in samenwerking met wetenschappers van Sandia National Laboratories en Brookhaven National Laboratory een computerarchitectuur geïntroduceerd die ideaal is voor AI.

Mede geleid door Deep Jariwala, universitair docent bij de afdeling Electrical and Systems Engineering (ESE), Troy Olsson, universitair hoofddocent ESE, en Xiwen Liu, een Ph.D. kandidaat in het Device Research and Engineering Laboratory van Jarawala, vertrouwde de onderzoeksgroep op een benadering die bekend staat als compute-in-memory (CIM).

In CIM-architecturen vinden verwerking en opslag plaats op dezelfde plaats, waardoor overdrachtstijd wordt geëlimineerd en het energieverbruik wordt geminimaliseerd. Het nieuwe CIM-ontwerp van het team, het onderwerp van een recente studie gepubliceerd in Nano Letters , is opmerkelijk omdat het volledig transistorvrij is. Dit ontwerp is uniek afgestemd op de manier waarop Big Data-toepassingen de aard van computing hebben veranderd.

"Zelfs wanneer ze worden gebruikt in een compute-in-memory-architectuur, brengen transistors de toegangstijd tot gegevens in gevaar", zegt Jariwala. "Ze vereisen veel bedrading in het algehele circuit van een chip en gebruiken dus meer tijd, ruimte en energie dan we zouden willen voor AI-toepassingen. Het mooie van ons transistorvrije ontwerp is dat het eenvoudig, klein en snel is en het vereist heel weinig energie."

De vooruitgang zit niet alleen in het ontwerp op circuitniveau. Deze nieuwe computerarchitectuur bouwt voort op het eerdere werk van het team op het gebied van materiaalwetenschap, gericht op een halfgeleider die bekend staat als scandium-gelegeerd aluminiumnitride (AlScN). AlScN maakt ferro-elektrisch schakelen mogelijk, waarvan de fysica sneller en energiezuiniger is dan alternatieve niet-vluchtige geheugenelementen.

"Een van de belangrijkste kenmerken van dit materiaal is dat het kan worden afgezet bij temperaturen die laag genoeg zijn om compatibel te zijn met siliciumgieterijen", zegt Olsson. "De meeste ferro-elektrische materialen vereisen veel hogere temperaturen. De speciale eigenschappen van AlScN betekenen dat onze gedemonstreerde geheugenapparaten bovenop de siliciumlaag kunnen gaan in een verticale hetero-geïntegreerde stapel. Denk aan het verschil tussen een parkeerplaats met meerdere verdiepingen met een capaciteit van honderd auto's en een honderd individuele parkeerplaatsen verspreid over een enkel perceel. Wat is efficiënter in termen van ruimte? Hetzelfde geldt voor informatie en apparaten in een sterk geminiaturiseerde chip als de onze. Deze efficiëntie is net zo belangrijk voor toepassingen die beperkte middelen vereisen, zoals als mobiele of draagbare apparaten, net als voor toepassingen die extreem energie-intensief zijn, zoals datacenters."

In 2021 heeft het team de levensvatbaarheid van de AlScN als een compute-in-memory krachtpatser vastgesteld. Zijn capaciteit voor miniaturisatie, lage kosten, efficiënt gebruik van hulpbronnen, gemakkelijke fabricage en commerciële haalbaarheid toonden serieuze vooruitgang in de ogen van onderzoek en industrie.

In de meest recente studie waarin het transistorvrije ontwerp debuteerde, merkte het team op dat hun CIM-ferrodiode mogelijk tot 100 keer sneller kan presteren dan een conventionele computerarchitectuur.

Ander onderzoek in het veld heeft met succes compute-in-memory-architecturen gebruikt om de prestaties van AI-toepassingen te verbeteren. Deze oplossingen zijn echter beperkt en niet in staat om de tegenstrijdige afweging tussen prestaties en flexibiliteit te overwinnen. Computerarchitectuur met behulp van memristor crossbar-arrays, een ontwerp dat de structuur van het menselijk brein nabootst om prestaties op hoog niveau in neurale netwerkoperaties te ondersteunen, heeft ook bewonderenswaardige snelheden laten zien.

Toch zijn neurale netwerkoperaties, die lagen van algoritmen gebruiken om gegevens te interpreteren en patronen te herkennen, slechts een van de vele belangrijke categorieën gegevenstaken die nodig zijn voor functionele AI. Het ontwerp is niet aanpasbaar genoeg om adequate prestaties te bieden bij andere AI-gegevensbewerkingen.

Het ferrodiode-ontwerp van het Penn-team biedt baanbrekende flexibiliteit die andere compute-in-memory-architecturen niet bieden. Het bereikt superieure nauwkeurigheid en presteert even goed in niet één maar drie essentiële gegevensbewerkingen die de basis vormen van effectieve AI-toepassingen. Het ondersteunt opslag op de chip, oftewel de capaciteit om de enorme hoeveelheden gegevens te bewaren die nodig zijn voor diep leren, parallel zoeken, een functie die nauwkeurige gegevensfiltering en analyse mogelijk maakt, en versnelling van matrixvermenigvuldiging, het kernproces van neurale netwerkcomputing.

"Laten we zeggen," zegt Jariwala, "dat je een AI-toepassing hebt die een groot geheugen vereist voor opslag en de mogelijkheid om patroonherkenning en zoeken uit te voeren. Denk aan zelfrijdende auto's of autonome robots, die snel en nauwkeurig moeten reageren dynamische, onvoorspelbare omgevingen. Met conventionele architecturen zou je voor elke functie een ander deel van de chip nodig hebben en zou je snel door de beschikbaarheid en ruimte heen branden. Ons ferrodiode-ontwerp stelt je in staat om alles op één plek te doen door simpelweg de manier te veranderen je past spanningen toe om het te programmeren."

De winst van een CIM-chip die zich kan aanpassen aan meerdere gegevensbewerkingen is duidelijk:toen het team een ​​simulatie van een machine learning-taak via hun chip uitvoerde, presteerde het met een vergelijkbare mate van nauwkeurigheid als op AI gebaseerde software die op een conventionele CPU draaide.

"Dit onderzoek is van groot belang omdat het aantoont dat we kunnen vertrouwen op geheugentechnologie om chips te ontwikkelen die meerdere AI-gegevenstoepassingen integreren op een manier die conventionele computertechnologieën echt uitdaagt", zegt Liu, de eerste auteur van het onderzoek.

De ontwerpaanpak van het team houdt er rekening mee dat AI noch hardware noch software is, maar een essentiële samenwerking tussen beide.

"Het is belangrijk om te beseffen dat alle AI-computing die momenteel wordt gedaan, softwarematig is op een siliciumhardware-architectuur die decennia geleden is ontworpen", zegt Jariwala. "Dit is de reden waarom kunstmatige intelligentie als vakgebied wordt gedomineerd door computer- en software-ingenieurs. Het fundamenteel herontwerpen van hardware voor AI wordt de volgende grote game-changer in halfgeleiders en micro-elektronica. De richting die we nu inslaan is die van hardware en software co-design."

"We ontwerpen hardware die software beter laat werken", voegt Liu toe, "en met deze nieuwe architectuur zorgen we ervoor dat de technologie niet alleen snel, maar ook nauwkeurig is." + Verder verkennen

Een vier-megabit nvCIM-macro voor edge AI-apparaten