Fujitsu Laboratories Ltd. heeft vandaag de ontwikkeling aangekondigd van de Dynamically Reconfigurable Asynchronous Consistent EveNt-processing Architecture (Dracena), een streamverwerkingsarchitectuur die inhoud kan toevoegen of wijzigen terwijl grote hoeveelheden IoT-gegevens worden verwerkt, zonder stoppen. Met recente ontwikkelingen in IoT-technologieën, er wordt verwacht dat er veel realtime-services zullen worden gecreëerd om gebruik te maken van de grote hoeveelheden gegevens die vanaf verschillende apparaten in fabrieken naar de cloud stromen, huizen, en sociale infrastructuur. In de opmars naar autonoom rijden met geconnecteerde auto's, onderzoekers overwegen de analyse van de enorme hoeveelheden informatie, zoals snelheid en locatie, gegenereerd door voertuigen, die vervolgens aan de chauffeurs kunnen worden gepresenteerd, in de vorm van waarschuwingen, bijvoorbeeld.

Stroomverwerkingstechnologie, die effectief is bij de snelle verwerking van dit soort enorme hoeveelheden gegevens, heeft daar problemen mee, omdat de verwerking tijdelijk moet worden stopgezet bij het wijzigen of toevoegen van verwerkingsinhoud volgens toevoegingen of verbeteringen aan diensten, de dienstverlening kan vertraging oplopen. Nutsvoorzieningen, Fujitsu heeft een nieuwe stroomverwerkingsarchitectuur ontwikkeld die automatisch overschakelt naar een nieuw geleverd gegevensverwerkingsprogramma wanneer een parallelle gegevensverwerkingstaak is voltooid, door stroomverwerking te scheiden in gegevensontvangstverwerking en daadwerkelijke gegevensverwerking, zodat gegevensontvangstverwerking en huidige gegevensverwerking niet worden gestopt (patent aangevraagd).

Als resultaat, in een simulatie van de ontvangst van enkele tientallen bytes aan gegevens per seconde van een miljoen voertuigen, Fujitsu heeft bevestigd dat deze architectuur streaminggegevens kan blijven verwerken terwijl verwerkingsprogramma's worden toegevoegd of gewijzigd, met een gemiddelde vertraging het volume van vijf milliseconden of minder verhogen. Fujitsu Laboratories wil deze technologie tijdens fiscaal 2018 commercialiseren op het Mobility IoT Platform, aangeboden door Fujitsu Limited, en uitbreiden naar andere bedrijfstakken. Details van deze technologie werden gepresenteerd op DEIM2018 (het Forum on Data Engineering and Information Management), een conferentie die wordt gehouden in Awara, Prefectuur Fukui, Japan, vanaf 4 maart

Ontwikkelingsachtergrond

Met de recente ontwikkeling van IoT-technologieën, gegevens worden verzameld van allerlei soorten objecten en verzameld in datacenters, en verwacht wordt dat door dit te analyseren en te gebruiken, er komen allerlei nieuwe diensten bij. In het geval van geconnecteerde auto's, bijvoorbeeld, men denkt dat door te verzamelen, analyseren, en het gebruik van gegevens van auto's in realtime, het zal mogelijk zijn om de congestie te verlichten, chauffeurs assisteren, en de veiligheid van autonoom rijden te verbeteren (figuur 1).

Om gegevens snel te kunnen verwerken, zoals snelheid en locatie, die van seconde tot seconde worden gegenereerd door enorme aantallen rijdende auto's, de meest effectieve methode is om een ​​systeem te bouwen dat streamverwerking gebruikt om gegevens parallel te verwerken, zoals op een auto-per-auto basis. Om het verwerkingsprogramma aan te vullen of te wijzigen op basis van servicetoevoegingen en verbeteringen, de huidige methode houdt in dat twee systemen van dezelfde schaal vooraf worden voorbereid, gebruik er een voor operaties, wijzigingen aanbrengen in de andere, om ze dan snel om te wisselen. Bij deze methode moesten beide systemen tijdelijk worden stopgezet, echter, terwijl de gegevens, zoals de snelheid of positie van een auto, opgeslagen in het geheugen van het systeem dat in gebruik is, werd gekopieerd naar het herziene systeem. Dit maakte het moeilijk om diensten te produceren die echt continue operaties vereisten, zoals de realtime transmissie van waarschuwingen naar connected cars. In aanvulling, omdat er nieuwe verwerkingsprogramma's uit de database zijn gehaald, bekend als een opslagplaats, congestie was het gevolg van de talrijke vragen van grote hoeveelheden verwerkingseenheden, algehele verwerking vertragen.

Details van de nieuw ontwikkelde technologie

Nutsvoorzieningen, Fujitsu Laboratories heeft Dracena ontwikkeld, een architectuur die de verwerkingsprogramma's van een systeem kan wijzigen terwijl het in bedrijf is, zonder de operaties te staken. Met deze technologie, bij het wijzigen of toevoegen van gegevensverwerkingsinhoud, deze architectuur distribueert het nieuwe gegevensverwerkingsprogramma als een bericht, op dezelfde manier worden gegevens gedistribueerd, aan elke afzonderlijke verwerkingseenheid, een voorwerp genoemd, zoals de verwerkingseenheid voor elke auto. Dit elimineert de impact op de algehele verwerkingssnelheid vanwege de concentratie van query's op de repository. Bovendien, door het scheiden van intra-object berichtontvangstverwerking en gegevensverwerking in deze architectuur, het systeem kan het nieuwe gegevensverwerkingsprogramma toevoegen zonder de verwerking van de berichtontvangst of de bestaande gegevensverwerking te stoppen, en laat vervolgens alle objecten met dezelfde timing overschakelen naar het nieuwe gegevensverwerkingsprogramma. Hierdoor heeft Fujitsu Laboratories een streamverwerkingsarchitectuur kunnen creëren waarin het dataverwerkingsprogramma kan worden toegevoegd of gewijzigd zonder te stoppen, om door te gaan met parallelle verwerking zonder de stroom van enorme hoeveelheden gegevens voor het kopiëren tegen te houden (figuur 2).

De resultaten van een gesimuleerde evaluatie bevestigden dat, in een gebruikssituatie waarin enkele tientallen bytes aan gegevens eenmaal per seconde worden verzonden vanuit een miljoen voertuigen, deze architectuur was in staat om continu diensten te verlenen bij het toevoegen van een detectiedienst voor plotseling remmen in een situatie waarin het systeem al een dienst leverde om buitensporige rijtijden te detecteren, met een gemiddelde vertragingstoename van vijf milliseconden of minder. Deze architectuur zal de snelle levering van real-time diensten mogelijk maken die een ononderbroken werking vereisen en die kunnen reageren op problemen die zich voordoen in de samenleving, inclusief rijassistentie voor geconnecteerde auto's, het ondersteunen van energiebesparend gebruik van apparaten, het verstrekken van gezondheids- en veiligheidsmonitoring in huis, en het verstrekken van reisbegeleiding aan toeristen die smartphones gebruiken. Bovendien, deze architectuur stelt gebruikers in staat om een ​​bouwmethode toe te passen waarbij ze eerst een basissysteem bouwen dat gericht is op eenvoudige analyse en gebruik, en voeg dan geleidelijk nieuwe diensten toe. Met behulp van deze technologie in het geval van auto's, bijvoorbeeld, het zou mogelijk zijn om te beginnen met een systeem dat tekenen van rijden onder invloed leest op basis van stuurgegevens, en voeg vervolgens laag voor laag nieuwe services toe, zoals het combineren van dit met kaartgegevens om zijwind te detecteren bij tunneluitgangen, of combineren met beeldgegevens om de aanwezigheid van illegaal geparkeerde auto's te detecteren, die naar verwachting de efficiëntie van de ontwikkeling van diensten zullen verbeteren.

Fujitsu streeft ernaar deze technologie in het boekjaar 2018 op de markt te brengen als onderdeel van het Mobility IoT Platform dat wordt aangeboden door Fujitsu Limited. In aanvulling, Fujitsu wil deze technologie uitbreiden tot buiten het mobiliteitsveld naar zakelijke gebieden die realtime-services nodig hebben op basis van gegevens die voortdurend met een hoge frequentie worden gegenereerd, zoals het geven van aanwijzingen aan mensen tijdens evenementen of in rampsituaties.