Hoe meet je de pose - dat is de 3D-rotatie en 3D-translatie - van een stuk ruimteafval, zodat een grijpende satelliet het in realtime kan vastleggen om het met succes uit de baan van de aarde te verwijderen? Welke rol zullen deep learning-algoritmen spelen? En, wat is realtime in de ruimte? Dit zijn enkele van de vragen die worden aangepakt in een baanbrekend project, geleid door EPFL spin-off, Vrije ruimte, om technologieën te ontwikkelen om ruimteschroot op te vangen en uit zijn baan te halen.

Met meer dan 34 000 stukken rommel die rond de aarde cirkelen, hun verwijdering wordt een kwestie van veiligheid. Eerder deze maand waren een oude Sovjet Parus-navigatiesatelliet en een Chinese ChangZheng-4c-raket betrokken bij een bijna-ongeluk en in september voerde het internationale ruimtestation een manoeuvre uit om een ​​mogelijke botsing met een onbekend stuk ruimteschroot te voorkomen, terwijl de bemanning van de ISS Expeditie 63 dichter bij hun Sojoez MS-16 ruimtevaartuig kwam om zich voor te bereiden op een mogelijke evacuatie. Met steeds meer rommel die zich opstapelt, satellietbotsingen kunnen gemeengoed worden, toegang tot de ruimte gevaarlijk maken.

ClearSpace-1, de eerste missie van het bedrijf voor 2025, omvat het herstellen van het nu verouderde Vespa-bovenstuk, een payload-adapter die 660 kilometer boven de aarde draait en ooit deel uitmaakte van de Vega-raket van de European Space Agency, om ervoor te zorgen dat het opnieuw in de atmosfeer terechtkomt en op een gecontroleerde manier verbrandt.

Een van de eerste uitdagingen is om de robotarmen van een capture-raket in staat te stellen de Vespa vanuit de juiste hoek te naderen. Hiertoe, het zal een bevestigde camera gebruiken - zijn ogen - om erachter te komen waar het ruimteafval is, zodat het de Vespa kan pakken en het vervolgens terug de atmosfeer in kan trekken. "Een centrale focus is het ontwikkelen van deep learning-algoritmen om op betrouwbare wijze de 6D-pose (3 rotaties en 3 vertalingen) van het doelwit uit videoreeksen te schatten, ook al zijn beelden die in de ruimte zijn genomen moeilijk. Ze kunnen over- of onderbelicht zijn met veel spiegelachtige oppervlakken, " zegt Mathieu Salzmann, een wetenschapper die leiding geeft aan het project binnen EPFL's Computer Vision Laboratory onder leiding van professor Pascal Fua, aan de School voor Computer- en Communicatiewetenschappen.

Echter, er is een vangst. Niemand heeft de Vespa in zeven jaar echt gezien terwijl hij in een vacuüm in de ruimte ronddraait. We weten dat het ongeveer 2 meter in diameter is, met koolstofvezels die donker en een beetje glanzend zijn, maar is dit nog steeds hoe het eruit ziet?

Realistische grafische Labis van EPFL simuleert hoe dit stuk ruimteafval eruitziet als het 'trainingsmateriaal' om de deep learning-algoritmen van Salzmann in de loop van de tijd te verbeteren. "We produceren een database met synthetische afbeeldingen van het doelobject, inclusief zowel de aardse achtergrond gereconstrueerd uit hyperspectrale satellietbeelden, en een gedetailleerd 3D-model van de Vespa-boventrap. Deze synthetische afbeeldingen zijn gebaseerd op metingen van echte materiaalmonsters van aluminium en koolstofvezelpanelen, verkregen met behulp van de goniofotometer van ons laboratorium. Dit is een groot robotapparaat dat rond een teststaal draait om het tegelijkertijd vanuit veel verschillende richtingen te verlichten en te observeren, ons voorzien van een schat aan informatie over het uiterlijk van het materiaal, " zegt universitair docent Wenzel Jakob, hoofd van het laboratorium. Zodra de missie van start gaat, onderzoekers zullen enkele levensechte foto's van buiten onze atmosfeer kunnen maken en de algoritmen kunnen verfijnen om ervoor te zorgen dat ze in situ werken.

Een derde uitdaging is de noodzaak om in de ruimte te werken, in realtime en met beperkte rekenkracht aan boord van de ClearSpace capture-satelliet. Dr. Miguel Peón, een senior postdoctoraal medewerker bij EPFL's Embedded Systems Lab leidt het werk van de overdracht van de deep learning-algoritmen naar een speciaal hardwareplatform. "Omdat beweging in de ruimte zich goed gedraagt, de pose-inschattingsalgoritmen kunnen de gaten opvullen tussen herkenningen met een tussenafstand van één seconde, het verlichten van de rekendruk. Echter, om ervoor te zorgen dat ze autonoom kunnen omgaan met alle onzekerheden in de missie, de algoritmen zijn zo complex dat hun implementatie vereist dat alle prestaties uit de platformbronnen worden geperst, " zegt professor David Atienza, hoofd van ESL.

Het is duidelijk dat het ontwerpen van algoritmen die 100% betrouwbaar zijn in zulke harde, en relatief onbekend, voorwaarden, en die in realtime presteren met beperkte rekenkracht, is een enorme uitdaging. Voor Salzmann, dit maakt deel uit van de aantrekkingskracht van het project, "we moeten absoluut betrouwbaar en robuust zijn. Vanuit een onderzoeksperspectief, je bent meestal blij met 90% succes, maar dit is iets dat we ons niet echt kunnen veroorloven in een echte missie. Maar misschien is het opwindender aspect van het project dat we een algoritme ontwikkelen dat uiteindelijk in de ruimte zal werken. Ik vind dit absoluut geweldig en dat is wat mij elke dag motiveert!"

Dit baanbrekende werk is uitgevoerd met ondersteuning van het team van Microsoft voor Startups, die de verwerkingskracht van Azure heeft geleverd.