Een methode van Oak Ridge National Laboratory om de energie-efficiëntie van wetenschappelijke kunstmatige intelligentie te verbeteren, is veelbelovend in pogingen om inzichten uit hoeveelheden kankergegevens te ontleden.

Onderzoekers realiseren zich het potentieel van deep learning om de wetenschap snel vooruit te helpen, maar het "trainen" van de onderliggende neurale netwerken met grote hoeveelheden gegevens om de taak aan te pakken, kan grote hoeveelheden energie vergen. Deze netwerken vereisen ook complexe connectiviteit en enorme hoeveelheden opslag, die beide hun energie-efficiëntie en potentieel in reële toepassingen verder verminderen.

Om dit probleem aan te pakken, Mohammed Alawad van ORNL, Hong-jun Yoon, en Georgia Tourassi ontwikkelden een nieuwe methode voor de ontwikkeling van energie-efficiënte diepe neurale netwerken die in staat zijn om complexe wetenschappelijke problemen op te lossen. Ze presenteerden hun onderzoek op de IEEE Conference on Big Data 2017 in Boston.

De onderzoekers toonden aan dat door het omzetten van deep learning neurale netwerken (DNN's) naar "deep spiking" neurale netwerken (DSNN's), ze kunnen de energie-efficiëntie van netwerkontwerp en -realisatie verbeteren.

DSNN's imiteren neuronen in het menselijk brein via pulsen of "spikes" in plaats van werkelijke signalen, waarbij de individuele spikes aangeven waar de berekeningen moeten worden uitgevoerd. Dit proces minimaliseert de benodigde berekeningen en maximaliseert de energie-efficiëntie van het netwerk. Echter, energie-efficiëntie gaat ten koste van de taakuitvoering, en de nieuwe stochastische methode van de auteurs voor het implementeren van DSNN's overwint deze afweging.

De resultaten waren indrukwekkend:de aanpak van het team bereikte bijna dezelfde nauwkeurigheid als de originele DNN en presteerde beter dan een ultramodern neuraal netwerk met spikes. De op stochastiek gebaseerde DSNN van het team, die pieken gelijkmatig in de tijd verdeelt, verbruikte 38 keer minder energie dan de originele DNN en bijna 2 keer minder energie dan een conventionele DSNN, terwijl het duidelijk betere taakprestaties leverde.

De onderzoekers trainden hun netwerk op klinische tekstgegevens van Surveillance van het National Cancer Institute, Epidemiologie, en eindresultaten (SEER) programma, die kankerstatistieken biedt, zoals incidentie, prevalentie, en sterfte in de populatie geassocieerd met leeftijd, seks, ras, jaar van diagnose, en geografische gebieden.

Het ORNL-team paste de nieuw opgeleide netwerken toe op klinische pathologierapporten, de belangrijkste informatiebron voor het nationale kankersurveillanceprogramma. Deze rapporten bevatten grote hoeveelheden ongestructureerde tekst, zei Yoon, en onderzoekers ontwikkelen intelligente taalbegripsystemen om de meest relevante klinische concepten uit de zee van tekst te extraheren.

De klinische rapporten vertegenwoordigen een "schaarse" dataset, die typisch unieke uitdagingen vormen voor spiking-netwerken. De meeste DSNN-technieken zijn gericht op computervisietaken zoals de MNIST-dataset, die bestaan ​​uit een reeks handgeschreven cijfers om beeldverwerkingsnetwerken te trainen. Deze datasets zijn doorgaans "dicht, " wat betekent dat alle variabelen in de dataset zijn gevuld met waarden, een eigenschap die analyses vaak vereenvoudigt.

Traditionele technieken voor het verbeteren van de prestaties en energie-efficiëntie van spiking-netwerken behouden vaak de structuren van conventionele neurale netwerken, een praktijk die nauwkeurigheid en prestaties opoffert. Deze tekortkomingen dreven het team ertoe een nieuwe methodologie te ontwikkelen, die vertrouwt op eenvoudige circuithardware om complexe berekeningen uit te voeren.

"Door het netwerk te versterken, wordt het energieverbruik verlaagd omdat we geen rekening houden met onnodige berekeningen en alleen naar de relevante knooppunten van het netwerk kijken, " zei Yoon, "en dit is een manier waarop we energie-efficiëntieverbeteringen krijgen terwijl we belangrijke klinische informatie met hoge nauwkeurigheid identificeren."

De techniek van het team zal ORNL-onderzoekers in het CANcer Distributed Learning Environment (CANDLE)-project helpen, dat tot doel heeft de big data-expertise en computerfaciliteiten van wereldklasse van het laboratorium te gebruiken om miljoenen klinische rapporten te scannen op zoek naar inzichten over oorzaken van kanker, beste behandelingen, en verbeterde resultaten. Ze zullen binnenkort proberen het algoritme te parallelliseren voor meer rekenefficiëntie.

De spiking-netwerken zijn geoptimaliseerd op grafische verwerkingseenheden (GPU's), de processors bij uitstek voor kunstmatige intelligente toepassingen, vooral degenen die machine learning en deep learning gebruiken. Echter, de methodiek kan worden uitgebreid voor het trainen van spikingnetwerken, het verder verhogen van de energie-efficiëntie van deze nieuwe netwerken en het versnellen van wetenschappelijke ontdekkingen via deep learning.