Stelt u zich eens een voetganger voor die vastgelijmd is aan het scherm van een mobiele telefoon terwijl hij de straat oversteekt en niet veel aandacht schenkt aan het rode stoplicht. Een auto nadert, de bestuurder voelt zich misschien een beetje slaperig door gebrek aan slaap en kan niet onmiddellijk stoppen. Hoe voorkom je een ongeval in zo'n scene? Van geavanceerde rijhulpsystemen (ADAS's) die bestuurders helpen bij het navigeren door een voertuig, om drones te zoeken en te redden, tot medische röntgenbeeldvorming, embedded vision-technologieën worden in toenemende mate gebruikt in een breed scala aan toepassingen. Deze omvatten de integratie van computervisie in machines die algoritmen gebruiken om betekenis te ontcijferen door het observeren van pixelpatronen in afbeeldingen of video.

Om hun omgeving correct te kunnen interpreteren met behulp van complexe visuele inputs, embedded vision-systemen vereisen veel rekenkracht. Naast het stroomverbruik, ontwerpers van dergelijke embedded systemen moeten andere technische beperkingen overwinnen, zoals kosten, maat, gewicht en akoestisch geluid. Het door de EU gefinancierde TULIPP-project heeft deze uitdagingen aangepakt en een referentieplatform ontwikkeld voor op visie gebaseerde systeemontwerpers. De TULIPP-oplossing zal "computer vision-productontwerpers helpen om de gecombineerde uitdagingen van een laag stroomverbruik, lage latentie, hoge prestaties en realtime ontwerpbeperkingen voor beeldverwerking, ", zoals vermeld in een persbericht.

Echte gevallen

Het TULIPP-referentieplatform bestaat uit een volledige ontwikkelkit en praktijkvoorbeelden. De kit bevat "een op FPGA gebaseerde embedded, multicore gegevensverwerkingsraad, parallel realtime besturingssysteem en ontwikkeltoolketen met richtlijnen, " volgens hetzelfde persbericht. Veldprogrammeerbare poortarray (FPGA) verwijst naar een geïntegreerd circuit dat kan worden geprogrammeerd of geherprogrammeerd voor de vereiste functionaliteit of toepassing na productie. De use cases omvatten "medische röntgenbeeldvorming, automotive geavanceerde rijhulpsystemen (ADAS) en onbemande luchtvaartuigen (UAV's)."

De medische röntgenbeeldvormingstoepassing is gericht op het verbeteren van de chirurgische efficiëntie met de mobiele C-arm use case. Dit apparaat geeft tijdens een chirurgische ingreep in realtime een intern beeld van het lichaam van een patiënt weer, waardoor de arts minimale incisies met meer nauwkeurigheid kan maken. Dit leidt tot snellere hersteltijden en "verlaagt het risico op ziekenhuisziekten en vermindert met 75 % de stralingsdoses waaraan patiënten en personeel worden blootgesteld, " voegt het persbericht toe. Via de toepassing voor voetgangersdetectie, de ADAS use case "haalt een verwerkingstijd per frame van 66ms, wat betekent dat het algoritme het doel bereikt om op elke tweede afbeelding te draaien wanneer de camera op 30 Hz draait."

In het geval van UAV, TULIPP schat dieptebeelden van een stereocamera-opstelling die in de vliegrichting is georiënteerd. "Ook al hebben we het over autonome drones, de meeste huidige systemen worden nog steeds op afstand bestuurd door mensen. De Use Case maakt gebruik van dispariteitskaarten, die worden berekend uit de camerabeelden, om obstakels in de vliegroute te lokaliseren en de UAV er automatisch omheen te sturen. Dit is de noodzakelijke sleutel naar volledig autonome drones."

Het driejarige TULIPP-project (Towards Ubiquitous Low-power Image Processing Platforms) eindigde in januari 2019. Het was gericht op de ontwikkeling van hoogwaardige, energie-efficiënte embedded systemen voor de groeiende verscheidenheid aan steeds complexere beeldverwerkingstoepassingen die opduiken in een breed scala van industriële sectoren.