In de toekomst zijn chatbots die nog spraakzamer en minder onnozel zijn. Ja, de dag zal komen waarop je gemakkelijk kunt nadenken over hoe ver de taalvaardigheden van AI zijn gekomen. En bij die reflectie, negeer de bijdragen van Nvidia in hun werk met BERT niet.

OKE, we zullen afzien van AI-taalvaardigheden stompzinnig te noemen. Nvidia formuleerde het tactischer in zijn aankondiging op 13 augustus. "Beperkte conversatie-AI-services" bestaan ​​al enkele jaren, maar het is extreem moeilijk voor chatbots, intelligente persoonlijke assistenten en zoekmachines om te werken met begrip op menselijk niveau vanwege het onvermogen om extreem grote AI-modellen in realtime in te zetten, aldus het bedrijf.

Dat is veranderd. Nvidia zei dat belangrijke optimalisaties die aan zijn AI-platform zijn toegevoegd, hebben bijgedragen aan het behalen van snelheidsrecords in AI-training en inferentie. HotHardware tot het uiterste bij het beoordelen van de impact van dit werk. "Nvdia heeft records gebroken voor AI-training voor gesprekken die mainstream-assistenten zoals Alexa en Siri zou kunnen "turbochargeren".

Terug naar BERT dat al een rechtmatige plaats heeft verdiend in de verwerking van natuurlijke taal. Een aankondiging van november 2018 van Google verscheen op zijn Google AI-blog:

"Een van de grootste uitdagingen bij natuurlijke taalverwerking (NLP) is het tekort aan trainingsgegevens... de meeste taakspecifieke datasets bevatten slechts een paar duizend of een paar honderdduizend door mensen gelabelde trainingsvoorbeelden... Om deze kloof te helpen dichten in gegevens, onderzoekers hebben een verscheidenheid aan technieken ontwikkeld voor het trainen van taalrepresentatiemodellen voor algemene doeleinden met behulp van de enorme hoeveelheid niet-geannoteerde tekst op het web (bekend als pre-training). Het vooraf getrainde model kan vervolgens worden verfijnd op kleine-data NLP-taken zoals het beantwoorden van vragen en sentimentanalyse, wat resulteert in substantiële verbeteringen in de nauwkeurigheid in vergelijking met het vanaf het begin trainen op deze datasets.

"Deze week, we open source een nieuwe techniek voor NLP pre-training genaamd Bidirectionele Encoder Representaties van Transformers, of BERT."

We zullen, dat was "deze week" in 2018 en nu is het deze week in 2019. Nvidia's ontwikkelaarsblog kondigde dinsdag aan dat Nvidia 's werelds snelste BERT-trainingstijd heeft geklokt. NVIDIA DGX SuperPOD trainde BERT-Large in slechts 53 minuten.

Zoals Darrell Etherington zei in TechCrunch , dit betekent dat "het uurteken" in training BERT werd gebroken (53 minuten). Etherington zei, "Nvidia's AI-platform was in staat om het model in minder dan een uur te trainen, een recordbrekende prestatie op slechts 53 minuten."

Shar Narasimhan van Nvidia blogde dat een belangrijk voordeel van BERT was dat het niet vooraf getraind hoeft te worden met gelabelde gegevens, dus het kan leren met elke platte tekst. Dit voordeel opent de deur naar enorme datasets. BERT's cijfers:Narasimhan zei dat het over het algemeen "vooraf getraind was op een aaneenschakeling van BooksCorpus (800 miljoen woorden) en de Engelse Wikipedia (2,5 miljard woorden), om een ​​totale dataset van 3,3 miljard woorden te vormen."

Nvidia's persbericht van 13 augustus zei dat Microsoft en startups als early adopters van de prestatieverbeteringen van het bedrijf zijn platform gebruiken om op taal gebaseerde services voor klanten te ontwikkelen. Microsoft Bing gebruikt zijn Azure AI-platform en Nvidia-technologie om BERT uit te voeren.

Rangan Majumde, programma manager groep, Microsoft Bing, zei dat Bing de inferentie van BERT verder heeft geoptimaliseerd. Hij zei dat ze "twee keer de latentiereductie en vijf keer de doorvoerverbetering bereikten tijdens inferentie met behulp van Azure NVIDIA GPU's in vergelijking met een CPU-gebaseerd platform."

David kardinaal in ExtremeTech had meer details over wat Nvidia naar de tafel bracht bij het bevorderen van BERT:"Nvidia heeft aangetoond dat het nu BERT (Google's referentietaalmodel) in minder dan een uur kan trainen op een DGX SuperPOD bestaande uit 1, 472 Tesla V100-SXM3-32GB GPU's, 92 DGX-2H-servers, en 10 Mellanox Infiniband per knooppunt."

Ook onderdeel van Nvidia's opschepperij op het AI-front is een taalmodel gebaseerd op Transformers, de technologiebouwsteen die voor BERT wordt gebruikt. Nvidia zei:"Met een focus op de steeds toenemende behoefte van ontwikkelaars aan grotere modellen, NVIDIA Research heeft 's werelds grootste taalmodel gebouwd en getraind op basis van Transformers, de technologische bouwsteen die wordt gebruikt voor BERT en een groeiend aantal andere natuurlijke taal AI-modellen. NVIDIA's aangepaste model, met 8,3 miljard parameters, is 24 keer zo groot als BERT-Large."

Volgens Nvidia, ze "bouwden 's werelds grootste op transformatoren gebaseerde taalmodel bovenop bestaande deep learning-hardware, software, en modellen. Daarbij, we hebben met succes de beperkingen van traditionele enkele GPU-training overtroffen door een eenvoudige en efficiënte parallelle modelaanpak te implementeren met slechts een paar gerichte aanpassingen aan de bestaande PyTorch-transformatorimplementaties."

© 2019 Wetenschap X Netwerk