Onderzoekers van de North Carolina State University hebben een nieuw raamwerk ontwikkeld voor het bouwen van diepe neurale netwerken via grammatica-geleide netwerkgeneratoren. Bij experimentele testen, de nieuwe netwerken, AOGNets genaamd, hebben beter gepresteerd dan bestaande state-of-the-art frameworks, inclusief de veelgebruikte ResNet- en DenseNet-systemen, bij visuele herkenningstaken.

"AOGNets hebben een betere voorspellingsnauwkeurigheid dan alle netwerken waarmee we het hebben vergeleken, " zegt Tianfu Wu, een assistent-professor in elektrische en computertechniek bij NC State en corresponderende auteur van een paper over het werk. "AOGNets zijn ook beter interpreteerbaar, wat betekent dat gebruikers kunnen zien hoe het systeem tot zijn conclusies komt."

Het nieuwe raamwerk maakt gebruik van een compositorische grammaticale benadering van systeemarchitectuur die is gebaseerd op best practices van eerdere netwerksystemen om effectiever bruikbare informatie uit onbewerkte gegevens te extraheren.

"We ontdekten dat hiërarchische en compositorische grammatica ons een eenvoudige, elegante manier om de benaderingen van eerdere systeemarchitecturen te verenigen, en naar ons beste weten, het is het eerste werk dat grammatica gebruikt voor het genereren van netwerken, "zegt Wu.

Om hun nieuwe raamwerk te testen, de onderzoekers ontwikkelden AOGNets en testten ze tegen drie benchmarks voor beeldclassificatie:CIFAR-10, CIFAR-100 en ImageNet-1K.

"AOGNets behaalde significant betere prestaties dan alle state-of-the-art netwerken bij eerlijke vergelijkingen, inclusief ResNets, Dichte Netten, ResNeXts en DualPathNets, Wu zegt. "AOGNets behaalde ook de beste score voor de interpretatie van modellen met behulp van de netwerkdissectiemetriek in ImageNet. AOGNets tonen verder een groot potentieel in vijandige verdediging en platformonafhankelijke implementatie (mobiel versus cloud)."

De onderzoekers testten ook de prestaties van AOGNets bij objectdetectie en semantische segmentatie van instanties, op de Microsoft COCO-benchmark, met behulp van het vanillemasker R-CNN-systeem.

"AOGNets behaalde betere resultaten dan de ResNet- en ResNeXt-backbones met kleinere modelgroottes en vergelijkbare of iets betere inferentietijd, " zegt Wu. "De resultaten tonen de effectiviteit aan van AOGNets die betere functies leert in objectdetectie en segmentatietaken.

Deze tests zijn relevant omdat beeldclassificatie een van de belangrijkste basistaken is bij visuele herkenning, en ImageNet is de standaard grootschalige classificatiebenchmark. evenzo, objectdetectie en segmentatie zijn twee kerntaken op hoog niveau, en MS-COCO is een van de meest gebruikte benchmarks.

"Om nieuwe netwerkarchitecturen voor diepgaand leren in visuele herkenning te evalueren, zij zijn de gouden proefbanken, ", zegt Wu. "AOGNets zijn ontwikkeld volgens een principieel grammaticakader en zorgen voor een aanzienlijke verbetering in zowel ImageNet als MS-COCO, dus potentieel brede en diepe effecten voor het leren van representatie in tal van praktische toepassingen.

"We zijn enthousiast over het grammatica-geleide AOGNet-framework, en onderzoeken de prestaties ervan in andere deep learning-toepassingen, zoals diep begrip van natuurlijke taal, diep generatief leren en diep versterkend leren, "zegt Wu.

De krant, "AOGNets:Compositionele grammaticale architecturen voor diep leren, " zal worden gepresenteerd op de IEEE Computer Vision and Pattern Recognition Conference, wordt gehouden van 16-20 juni in Long Beach, Californië Eerste auteur van het artikel is Xilai Li, een doctoraat student aan NC State. Het papier was co-auteur van Xi Song, een onafhankelijk onderzoeker.