Een baanbrekende techniek met weinig geheugen door computerwetenschappers van Rice University zou een van de meest resource-intensieve vormen van kunstmatige intelligentie - deep-learning aanbevelingsmodellen (DLRM) - binnen het bereik van kleine bedrijven kunnen brengen.

DLRM-aanbevelingssystemen zijn een populaire vorm van AI die leert suggesties te doen die gebruikers relevant zullen vinden. Maar met de allerbeste trainingsmodellen die meer dan honderd terabytes aan geheugen en verwerking op supercomputerschaal vereisen, waren ze alleen beschikbaar voor een korte lijst van technologiereuzen met diepe zakken.

Rice's "random offset block embedding array", of ROBE Array, zou daar verandering in kunnen brengen. Het is een algoritmische benadering om de grootte van DLRM-geheugenstructuren, insluittabellen genaamd, te verkleinen, en het zal deze week worden gepresenteerd op de Conference on Machine Learning and Systems (MLSys 2022) in Santa Clara, Californië, waar het de Outstanding Paper-onderscheidingen heeft verdiend.

"Met slechts 100 megabyte geheugen en een enkele GPU hebben we laten zien dat we de trainingstijden konden evenaren en de efficiëntie konden verdubbelen van de geavanceerde DLRM-trainingsmethoden die 100 gigabyte geheugen en meerdere processors vereisen", zegt Anshumali Shrivastava. , een universitair hoofddocent computerwetenschappen bij Rice, die het onderzoek presenteert op MLSys 2022 met mede-makers van ROBE Array Aditya Desai, een afgestudeerde Rice-student in de onderzoeksgroep van Shrivastava, en Li Chou, een voormalig postdoctoraal onderzoeker bij Rice die nu in West Texas zit A&M Universiteit.

"ROBE Array zet een nieuwe basis voor DLRM-compressie," zei Shrivastava. "En het brengt DLRM binnen het bereik van gemiddelde gebruikers die geen toegang hebben tot de high-end hardware of de technische expertise die nodig is om modellen te trainen die honderden terabytes groot zijn."

DLRM-systemen zijn machine learning-algoritmen die leren van gegevens. Een aanbevelingssysteem dat producten voor shoppers voorstelt, zou bijvoorbeeld worden getraind met gegevens van eerdere transacties, inclusief de zoektermen die gebruikers hebben opgegeven, welke producten ze zijn aangeboden en welke ze, indien van toepassing, hebben gekocht. Een manier om de nauwkeurigheid van aanbevelingen te verbeteren, is door trainingsgegevens in meer categorieën te sorteren. In plaats van alle shampoos in één categorie te plaatsen, zou een bedrijf bijvoorbeeld categorieën kunnen maken voor shampoos voor mannen, vrouwen en kinderen.

Voor training zijn deze categorische representaties georganiseerd in geheugenstructuren die inbeddingstabellen worden genoemd, en Desai zei dat de grootte van die tabellen "geëxplodeerd" is door de toegenomen categorisering.

"Inbeddingstabellen zijn nu goed voor meer dan 99,9% van de totale geheugenvoetafdruk van DLRM-modellen," zei Desai. "Dit leidt tot tal van problemen. Ze kunnen bijvoorbeeld niet puur parallel worden getraind, omdat het model in stukken moet worden gebroken en over meerdere trainingsknooppunten en GPU's moet worden verdeeld. En nadat ze zijn getraind en in productie zijn , is het opzoeken van informatie in ingesloten tabellen goed voor ongeveer 80% van de tijd die nodig is om een ​​suggestie terug te sturen naar een gebruiker."

Shrivastava zei dat ROBE Array de noodzaak voor het opslaan van insluittabellen wegneemt door gebruik te maken van een data-indexeringsmethode genaamd hashing om "een enkele reeks aangeleerde parameters te creëren die een gecomprimeerde weergave is van de insluittabel". Toegang tot inbeddingsinformatie uit de array kan vervolgens worden uitgevoerd "met behulp van GPU-vriendelijke universele hashing", zei hij.

Shrivastava, Desai en Chou hebben ROBE Array getest met behulp van de gewilde DLRM MLPerf-benchmark, die meet hoe snel een systeem modellen kan trainen tot een doelkwaliteitsmaatstaf. Met behulp van een aantal benchmarkgegevenssets ontdekten ze dat ROBE Array eerder gepubliceerde DLRM-technieken kon evenaren of verslaan op het gebied van trainingsnauwkeurigheid, zelfs na compressie van het model met drie ordes van grootte.

"Onze resultaten laten duidelijk zien dat de meeste benchmarks voor diepgaand leren volledig kunnen worden vernietigd door fundamentele algoritmen", zei Shrivastava. "Gezien het wereldwijde chiptekort is dit welkom nieuws voor de toekomst van AI."

ROBE Array is niet Shrivastava's eerste grote plons bij MLSys. Op MLSys 2020 onthulde zijn groep SLIDE, een "sublineaire deep learning-engine" die op standaard-CPU's draaide en beter zou kunnen presteren dan GPU-gebaseerde trainers. Ze volgden op MLSys 2021 en toonden aan dat versnellers voor vectorisatie en geheugenoptimalisatie de prestaties van SLIDE zouden kunnen verbeteren, waardoor het diepe neurale netwerken tot 15 keer sneller kan trainen dan top GPU-systemen. + Verder verkennen

CPU-algoritme traint diepe neurale netwerken tot 15 keer sneller dan top GPU-trainers