science >> Wetenschap >  >> Elektronica

Onderzoekers tonen schittering van energieverbruik in naam van deep learning

Krediet:CC0 Publiek Domein

Wacht, wat? Het creëren van een AI kan veel erger zijn voor de planeet dan een auto? Denk aan CO2-voetafdruk. Dat deed een groep aan de University of Massachusetts Amherst. Ze gingen op zoek naar het energieverbruik dat nodig is om vier grote neurale netwerken te trainen.

Hun paper trekt momenteel de aandacht van tech-watching-sites. Het is getiteld "Energie- en beleidsoverwegingen voor diep leren in NLP, " door Emma Strubell, Ananya Ganesh en Andrew McCallum.

Dit, zei Karen Hao, artificiële intelligentie reporter voor MIT Technology Review , was een levenscyclusanalyse voor het trainen van verschillende veelvoorkomende grote AI-modellen.

"Recente vooruitgang in hardware en methodologie voor het trainen van neurale netwerken heeft geleid tot een nieuwe generatie grote netwerken die zijn getraind op overvloedige gegevens, ", aldus de onderzoekers.

Wat is uw gok? Dat het trainen van een AI-model zou resulteren in een "zware" voetafdruk? "Enigszins zwaar?" Hoe zit het met "vreselijk?" Dit laatste was het woord gekozen door MIT Technology Review op 6 juli, Donderdag, rapporteren over de bevindingen.

Deep learning omvat het verwerken van zeer grote hoeveelheden gegevens. (De paper onderzocht specifiek het modeltrainingsproces voor natuurlijke taalverwerking, het deelgebied van AI dat zich richt op het aanleren van machines om met menselijke taal om te gaan, zei Hao.) Donna Lu in nieuwe wetenschapper citeerde Strubell, wie zei, "Om iets zo complex als taal te leren, de modellen moeten groot zijn." Welke prijsmakende modellen behalen winst in nauwkeurigheid? Het gebruik van uitzonderlijk grote rekenbronnen om dit te doen is de prijs, aanzienlijk energieverbruik veroorzaken.

Hao rapporteerde hun bevindingen, dat "het proces meer dan 626 kan uitstoten, 000 pond koolstofdioxide-equivalent - bijna vijf keer de levensduuremissies van de gemiddelde Amerikaanse auto (en dat omvat de productie van de auto zelf)."

Deze modellen zijn duur om te trainen en te ontwikkelen - duur in financiële zin vanwege de kosten van hardware en elektriciteit of cloudcomputertijd, en kostbaar in de zin van het milieu. De milieukosten zijn te wijten aan de ecologische voetafdruk. Het artikel probeerde dit probleem onder de aandacht van NLP-onderzoekers te brengen "door de geschatte financiële en milieukosten te kwantificeren van het trainen van een verscheidenheid aan recentelijk succesvolle neurale netwerkmodellen voor NLP."

Hoe ze hebben getest:om de milieu-impact te meten, ze trainden vier AI's voor elk één dag, en bemonsterde het energieverbruik overal. Ze berekenden het totale vermogen dat nodig is om elke AI te trainen door dit te vermenigvuldigen met de totale trainingstijd die door de ontwikkelaars van elk model wordt gerapporteerd. Een koolstofvoetafdruk werd geschat op basis van de gemiddelde koolstofemissies die worden gebruikt bij de elektriciteitsproductie in de VS.

Wat hebben de auteurs aanbevolen? Ze gingen in de richting van aanbevelingen om de kosten te verlagen en "het eigen vermogen" in NLP-onderzoek te verbeteren. Eigen vermogen? De auteurs stellen het probleem aan de orde.

"Academische onderzoekers hebben gelijke toegang tot computerbronnen nodig. Recente ontwikkelingen op het gebied van beschikbare computers hebben een hoge prijs die niet haalbaar is voor iedereen die toegang wenst. De meeste modellen die in dit artikel worden bestudeerd, zijn ontwikkeld buiten de academische wereld; recente verbeteringen in de kunstnauwkeurigheid is mogelijk dankzij de toegang van de industrie tot grootschalige rekenkracht."

De auteurs wezen erop dat "het beperken van deze stijl van onderzoek tot industriële laboratoria de NLP-onderzoeksgemeenschap op veel manieren schaadt." Creativiteit wordt gesmoord. Goede ideeën zijn niet genoeg als het onderzoeksteam geen toegang heeft tot grootschalige rekenkracht.

"Tweede, het verbiedt bepaalde soorten onderzoek op basis van toegang tot financiële middelen. Dit bevordert nog dieper de toch al problematische 'rijk worden rijker'-cyclus van onderzoeksfinanciering, waar groepen die al succesvol zijn en dus goed gefinancierd zijn, de neiging hebben om meer financiering te ontvangen vanwege hun bestaande prestaties."

De auteurs zeiden, "Onderzoekers moeten prioriteit geven aan computerefficiënte hardware en algoritmen." In deze geest, de auteurs adviseerden een inspanning van de industrie en de academische wereld om onderzoek naar meer computerefficiënte algoritmen te bevorderen, en hardware die minder energie nodig heeft.

Wat is het volgende? Het onderzoek zal worden gepresenteerd op de jaarlijkse bijeenkomst van de Association for Computer Linguistics in Florence, Italië in juli.

© 2019 Wetenschap X Netwerk