science >> Wetenschap >  >> Elektronica

AI-onderzoeker biedt inzicht in belofte, valkuilen van machine learning

MarineTraffic's Density Map-formaat dat de trajecten van schepen toont van miljarden datapunten uit 2017. De 'koele' gekleurde lijnen geven aan dat een route niet vaak is genomen, de 'warme' gekleurde lijnen geven aan waar routes vaak worden gebruikt. Het resultaat is een wereldwijde dataset van de volgdichtheid van schepen. Krediet:MarineTraffic

Tegenwoordig, de nieuwste ontwikkelingen in onderzoek naar kunstmatige intelligentie (AI) krijgen altijd volop aandacht, maar een AI-onderzoeker van het U.S. Naval Research Laboratory is van mening dat één AI-techniek misschien een beetje te veel wordt.

Ranjeev Mittu staat aan het hoofd van NRL's Information Management and Decision Architectures Branch en werkt al meer dan twee decennia op het gebied van AI.

"Ik denk dat mensen zich hebben gericht op een gebied van machine learning - deep learning (ook wel diepe netwerken genoemd) - en minder op de verscheidenheid aan andere kunstmatige-intelligentietechnieken, "Zei Mittu. "De grootste beperking van diepe netwerken is dat een volledig begrip van hoe deze netwerken tot een oplossing komen, nog verre van realiteit is."

Deep learning is een machine learning-techniek die kan worden gebruikt om patronen te herkennen, zoals het identificeren van een verzameling pixels als een afbeelding van een hond. De techniek omvat het samenvoegen van neuronen, waarbij elke laag gewijd is aan het leren van een ander abstractieniveau.

In het voorbeeld van de hondafbeelding, de onderste lagen van het neurale netwerk leren primitieve details zoals pixelwaarden. De volgende reeks lagen probeert randen te leren; hogere lagen leren een combinatie van randen als een neus. Met voldoende lagen, deze netwerken zijn in staat om beelden te herkennen met bijna mensachtige prestaties.

Maar de systemen kunnen gemakkelijk voor de gek gehouden worden door een klein aantal pixels te veranderen, volgens Mittu.

"Je kunt vijandige 'aanvallen' hebben waarbij je eenmaal een model hebt gemaakt om honden te herkennen door het miljoenen foto's van honden te laten zien, " zei hij. "... wijzigingen aanbrengen in een klein aantal pixels, het netwerk kan het verkeerd classificeren als een konijn, bijvoorbeeld."

De grootste fout in deze machine learning-techniek, volgens Mittu, is dat het een grote kunst is om dit soort netwerken te bouwen, wat betekent dat er maar heel weinig wetenschappelijke methoden zijn om te helpen begrijpen wanneer ze zullen falen.

De oplossing?

"Er zijn talloze AI-technieken waarvan machine learning een subset is, " zei hij. "Hoewel deep learning zeer succesvol is geweest, het is momenteel ook beperkt omdat er weinig inzicht is in de beslissingsgrondslag. Totdat we echt een punt bereiken waarop deze techniek volledig "verklaarbaar, " het kan mensen of andere automatisering niet informeren over hoe het tot een oplossing is gekomen, of waarom het niet lukte. We moeten ons realiseren dat diepe netwerken slechts één tool zijn in de AI-toolbox."

En, mensen moeten op de hoogte blijven.

"Stel je voor dat je een geautomatiseerd detectiesysteem voor bedreigingen hebt op de brug van je schip, en hij pikt een klein object op aan de horizon, " zei hij. "De classificatie van het diepe netwerk kan erop wijzen dat het een snel aanvalsvaartuig is dat op je afkomt, maar je weet dat een heel klein aantal onzekere pixels het algoritme kan misleiden. Geloof je het?

"Een mens zal het verder moeten onderzoeken. Het kan altijd nodig zijn om een ​​mens op de hoogte te houden voor situaties met een hoog risico. Er kan een hoge mate van onzekerheid zijn en de uitdaging is om de nauwkeurigheid van de classificatie te vergroten en tegelijkertijd het percentage valse alarmen laag te houden - het is soms erg moeilijk om de perfecte balans te vinden."

Integrated Data Environment en Global Transportation Network Convergence (IGC). Krediet:U.S. Transportation Command/Defense Logistics Agency

Het probleem met machine learning

Als het gaat om machine learning, de belangrijkste factor, simpel gezegd, zijn gegevens.

Kijk eens naar een van Mittu's eerdere projecten:een analyse van de bewegingen van commerciële schepen over de hele wereld. Het doel van het project was om machinaal leren te gebruiken om patronen in het scheepvaartverkeer te onderscheiden om schepen te identificeren die betrokken zijn bij illegale activiteiten. Het bleek een moeilijk probleem om te modelleren en te begrijpen met behulp van machine learning, zei Mittu.

"We kunnen geen globaal model hebben omdat het gedrag zal verschillen voor scheepsklassen, eigenaren, enz." legde hij uit. "Het is zelfs per seizoen anders, vanwege de toestand van de zee en weerpatronen."

Maar het grotere probleem Mittu gevonden, was de mogelijkheid om ten onrechte gegevens van slechte kwaliteit te gebruiken.

"Schepen geven hun locatie en andere informatie door, net als vliegtuigen. Maar wat ze uitzenden kan worden vervalst, "Zei Mittu. "Je weet niet of het goede of slechte informatie is. Het is als het veranderen van die kleine aantallen pixels op de afbeelding van de hond die ervoor zorgen dat het systeem faalt."

Ontbrekende gegevens is een ander probleem. Stelt u zich een geval voor waarin u regelmatig grote aantallen mensen en materialen moet verplaatsen om militaire operaties te ondersteunen, en u vertrouwt op onvolledige gegevens om te voorspellen hoe u efficiënter kunt handelen.

"De moeilijkheid komt wanneer je algoritmen voor machine learning gaat trainen op gegevens van slechte kwaliteit, "Zei Mittu. "Machineleren wordt op een gegeven moment onbetrouwbaar, en operators zullen de resultaten van de algoritmen niet vertrouwen."

Huidig ​​werk in AI

Tegenwoordig blijft het team van Mittu AI-innovaties nastreven op meerdere gebieden van het veld. Ze pleiten voor een interdisciplinaire benadering van het gebruik van AI-systemen om complexe problemen op te lossen.

"Er zijn veel manieren om de voorspellende capaciteiten te verbeteren, maar waarschijnlijk zal de best-of-breed een holistische benadering volgen en meerdere AI-technieken gebruiken en de menselijke beslisser strategisch integreren, " hij zei.

"Het samenvoegen van verschillende technieken (vergelijkbaar met 'boosting'), die algoritmen anders kunnen 'wegen', een beter antwoord zou kunnen geven, of leren gecombineerd met redeneren, etc. Door combinaties van AI-technieken toe te passen, het resulterende systeem kan robuuster zijn tegen slechte gegevenskwaliteit."

Een gebied waar Mittu enthousiast over is, zijn aanbevelingssystemen. Volgens hem, de meeste mensen zijn al bekend met deze systemen, die worden gebruikt in zoekmachines en entertainmenttoepassingen zoals Netflix. Hij is enthousiast over de mogelijke militaire toepassingen.

"Denk aan een militair commando- en controlesysteem, waar gebruikers goede informatie nodig hebben om goede beslissingen te nemen, " zei hij. "Door te kijken naar wat de gebruiker in een bepaalde context in het systeem doet, kunnen we anticiperen op wat de gebruiker vervolgens zou kunnen doen en de gegevens afleiden die ze mogelijk nodig hebben."

Hoewel het gebied van AI bijna onbeperkte mogelijkheden biedt voor innovatieve oplossingen voor de problemen van vandaag, Mittu zei, onderzoekers hebben duidelijk nog vele jaren werk voor de boeg.

"We moeten de juiste technieken bepalen, hun beperkingen, en de gegevens die nodig zijn om betrouwbare antwoorden te krijgen zodat de gebruikers het resulterende systeem kunnen vertrouwen, "Hij zei. "Het veld van AI heeft nog een lange weg te gaan in het volgen van een holistische benadering door de beslisser strategisch te integreren om de prestaties van het mens- en machinesysteem te verbeteren."