Onderzoekers van de Hong Kong Baptist University (HKBU) werken samen met een team van Tencent Machine Learning om een ​​nieuwe techniek te ontwikkelen voor het sneller dan ooit tevoren trainen van kunstmatige intelligentie (AI)-machines met behoud van nauwkeurigheid.

Tijdens het experiment, het team trainde twee populaire diepe neurale netwerken genaamd AlexNet en ResNet-50 in respectievelijk slechts vier minuten en 6,6 minuten. Eerder, de snelste trainingstijd was 11 minuten voor AlexNet en 15 minuten voor ResNet-50.

AlexNet en ResNet-50 zijn diepe neurale netwerken gebouwd op ImageNet, een grootschalige dataset voor visuele herkenning. Eenmaal getraind, het systeem was in staat om een ​​object in een bepaalde foto te herkennen en te labelen. Het resultaat is aanzienlijk sneller dan eerdere records en presteert beter dan alle andere bestaande systemen.

Machine learning is een reeks wiskundige benaderingen waarmee computers kunnen leren van gegevens zonder expliciet door mensen te worden geprogrammeerd. De resulterende algoritmen kunnen vervolgens worden toegepast op een verscheidenheid aan gegevens en visuele herkenningstaken die in AI worden gebruikt.

Het HKBU-team bestaat uit professor Chu Xiaowen en Ph.D. student Shi Shaohuai van de afdeling Informatica. Professor Chu zei:"We hebben een nieuwe, geoptimaliseerde trainingsmethode voorgesteld die de beste output aanzienlijk verbetert zonder de nauwkeurigheid te verliezen. In AI-training, onderzoekers streven ernaar hun netwerken sneller te trainen, maar dit kan leiden tot een afname van de nauwkeurigheid. Als resultaat, het op hoge snelheid trainen van machine learning-modellen met behoud van nauwkeurigheid en precisie is een essentieel doel voor wetenschappers."

Professor Chu zei dat de tijd die nodig is om AI-machines te trainen, wordt beïnvloed door zowel rekentijd als communicatietijd. Het onderzoeksteam bereikte doorbraken in beide aspecten om deze recordbrekende prestatie te creëren.

Dit omvatte het aannemen van een eenvoudigere rekenmethode, bekend als FP16, om de meer traditionele te vervangen, FP32, waardoor de berekening veel sneller gaat zonder de nauwkeurigheid te verliezen. Omdat de communicatietijd wordt beïnvloed door de grootte van datablokken, bedacht het team een ​​communicatietechniek genaamd "tensorfusie, " die kleinere stukjes gegevens combineert tot grotere, het optimaliseren van het transmissiepatroon en daarmee het verbeteren van de efficiëntie van communicatie tijdens AI-trainingen.

Deze nieuwe techniek kan worden toegepast bij grootschalige beeldclassificatie, en het kan ook worden toegepast op andere AI-toepassingen, inclusief machinevertaling; natuurlijke taalverwerking (NLP) om de interactie tussen menselijke taal en computers te verbeteren; medische beeldvormingsanalyse; en online multiplayer-gevechtsspellen.