Tegenwoordig zijn microcontrollers te vinden in bijna elk technisch apparaat, van wasmachines tot bloeddrukmeters en wearables. Onderzoekers van het Fraunhofer Institute for Microelectronic Circuits and Systems IMS hebben AIfES ontwikkeld, een artificial intelligence (AI) concept voor microcontrollers en sensoren dat een volledig configureerbaar artificieel neuraal netwerk bevat. AIfES is een platformonafhankelijke machine learning-bibliotheek die kan worden gebruikt om zelflerende micro-elektronica te realiseren waarvoor geen verbinding met een cloud of met krachtige computers nodig is. Het sensorgerelateerde AI-systeem herkent handschrift en gebaren, waardoor bijvoorbeeld gebarenbesturing van invoer mogelijk is wanneer de bibliotheek op een wearable draait.

Er bestaat momenteel een grote verscheidenheid aan softwareoplossingen voor machine learning, maar in de regel zijn ze alleen beschikbaar voor de pc en zijn ze gebaseerd op de programmeertaal Python. Er is nog steeds geen oplossing die het mogelijk maakt om neurale netwerken op embedded systemen zoals microcontrollers uit te voeren en te trainen. Hoe dan ook, het kan handig zijn om de training direct in het embedded systeem uit te voeren, bijvoorbeeld wanneer een geïmplanteerde sensor zichzelf moet kalibreren. De visie is sensorgerelateerde AI die direct kan worden geïntegreerd in een sensorsysteem. Een team van onderzoekers van Fraunhofer IMS heeft deze visie werkelijkheid gemaakt in de vorm van AIfES (Artificial Intelligence for Embedded Systems), een machine learning-bibliotheek geprogrammeerd in C die op microcontrollers kan draaien, maar ook op andere platformen zoals pc's, Raspberry PI en Android. De bibliotheek bevat momenteel een volledig configureerbaar kunstmatig neuraal netwerk (ANN), die indien nodig ook diepe netwerken voor diep leren kan genereren. Een ANN is een poging om het menselijk brein wiskundig te simuleren met behulp van algoritmen om functionele contexten leerbaar te maken voor de algoritmen. AIfES is speciaal geoptimaliseerd voor embedded systemen.

"We hebben de broncode tot een minimum beperkt, wat betekent dat de ANN direct op de microcontroller of de sensor kan worden getraind, d.w.z. het ingebedde systeem. Bovendien is de broncode universeel geldig en voor vrijwel elk platform te compileren. Omdat altijd dezelfde algoritmen worden gebruikt, een ANN die bijvoorbeeld op een pc is gegenereerd, kan eenvoudig worden overgezet naar een microcontroller. Tot nu toe was dit in deze vorm onmogelijk met in de handel verkrijgbare softwareoplossingen, " zegt Dr. Pierre Gembaczka, onderzoeksmedewerker bij Fraunhofer IMS.

Bescherming van de privacy

Een ander uniek kenmerk van de sensorgerelateerde AI van Fraunhofer IMS:tot nu toe werden kunstmatige intelligentie en neurale netwerken voornamelijk gebruikt voor beeldverwerking en spraakherkenning, soms met de gegevens die de lokale systemen verlaten. Bijvoorbeeld, spraakprofielen worden in de cloud op externe servers verwerkt, aangezien de rekenkracht van het lokale systeem niet altijd toereikend is. "Het is moeilijk om de privacy in dit proces te beschermen, en enorme hoeveelheden data worden verzonden. Daarom hebben we voor een andere aanpak gekozen en keren we ons af van machine learning-processen in de cloud en kiezen we voor machine learning direct in het embedded systeem.

Aangezien er geen gevoelige gegevens het systeem verlaten, gegevensbescherming kan worden gegarandeerd en de hoeveelheden gegevens die moeten worden overgedragen aanzienlijk worden verminderd, " zegt Burkhard Heidemann, Groepsmanager "Embedded Systems" bij Fraunhofer IMS. "Natuurlijk is het niet mogelijk om gigantische deep learning-modellen op een embedded systeem te implementeren, dus we vergroten onze inspanningen om een ​​elegante functie-extractie te maken om ingangssignalen te verminderen." Door de AI rechtstreeks in de microcontroller in te bedden, de onderzoekers maken het mogelijk om een ​​apparaat uit te rusten met extra functies zonder dure hardwareaanpassingen.

Gegevens verminderen

AIfES richt zich niet op het verwerken van grote hoeveelheden data, in plaats daarvan worden alleen de gegevens overgedragen die nodig zijn om zeer kleine neurale netwerken te bouwen. "We volgen niet de trend naar het verwerken van big data; we houden het bij de absoluut noodzakelijke gegevens en creëren een soort micro-intelligentie in het embedded systeem die de betreffende taak kan oplossen. We ontwikkelen nieuwe feature-extracties en nieuwe data pre-processing strategieën voor elk probleem, zodat we de kleinst mogelijke ANN kunnen realiseren. Dit maakt later leren op de controller zelf mogelijk, " legt Gembaczka uit.

De aanpak is in de vorm van meerdere demonstrators al in de praktijk gebracht. Als het onderzoeksteam bijvoorbeeld de herkenning van handgeschreven nummers implementeerde op een goedkope 8-bits microcontroller (Arduino Uno). Dit werd technisch mogelijk gemaakt door een innovatieve methode voor het extraheren van kenmerken te ontwikkelen. Een andere demonstrator is in staat om complexe gebaren in de lucht te herkennen. Hier hebben de IMS-wetenschappers een systeem ontwikkeld dat bestaat uit een microcontroller en een absolute oriëntatiesensor die getallen herkent die in de lucht zijn geschreven. "Een mogelijke toepassing hier zou de bediening van een draagbare, ", merken de onderzoekers op. "Om dit soort communicatie te laten werken, verschillende personen schrijven de nummers één tot en met negen meerdere keren. Het neurale netwerk ontvangt deze trainingsgegevens, leert ervan en identificeert in de volgende stap de getallen zelfstandig. En bijna elk figuur kan worden getraind, niet alleen cijfers." Dit elimineert de noodzaak om het apparaat te bedienen met spraakherkenning:de wearable kan worden bediend met gebaren en de privacy van de gebruiker blijft beschermd.

Er zijn praktisch geen grenzen aan de mogelijke toepassingen van AIfES:een polsbandje met geïntegreerde gebarenherkenning zou kunnen worden gebruikt om de binnenverlichting te regelen. En niet alleen kan AIfES gebaren herkennen, het kan ook controleren hoe goed de gebaren zijn gemaakt. Oefeningen en bewegingen in fysiotherapie en fitness kunnen worden geëvalueerd zonder dat een coach of therapeut nodig is. Privacy wordt gehandhaafd omdat er geen camera of cloud wordt gebruikt. AIfES kan op verschillende gebieden worden gebruikt, zoals auto's, medicijn, Smart Home en Industrie 4.0.

Gedecentraliseerde AI

En er zijn meer voordelen aan AIfES:De bibliotheek maakt het mogelijk om rekenkracht te decentraliseren, bijvoorbeeld door kleine embedded systemen gegevens te laten ontvangen voordat ze worden verwerkt en de resultaten door te geven aan een hoger systeem. Dit vermindert de hoeveelheid gegevens die moet worden overgedragen aanzienlijk. In aanvulling, het is mogelijk om een ​​netwerk van kleine leersystemen te implementeren die taken onderling verdelen.

Diep leren

AIfES bevat momenteel een neuraal netwerk met een feedforward-structuur die ook diepe neurale netwerken ondersteunt. "We hebben onze oplossing zo geprogrammeerd dat we een compleet netwerk met één enkele functie kunnen beschrijven, ", zegt Gembaczka. De integratie van aanvullende netwerkvormen en -structuren is momenteel in ontwikkeling. Verder ontwikkelen de onderzoeker en zijn collega's naast andere leeralgoritmen en demonstrators hardwarecomponenten voor neurale netwerken. Fraunhofer IMS werkt momenteel aan een RISC-V-microprocessor die specifiek voor neurale netwerken een hardware-accelerator krijgt.Voor deze hardware wordt een speciale versie van AIfES geoptimaliseerd om de bron optimaal te benutten.