"Denk maar eens aan wat een vlieg kan doen, " zegt professor Pavan Ramdya, wiens lab bij EPFL's Brain Mind Institute, met het laboratorium van professor Pascal Fua in EPFL's Institute for Computer Science, leidde de studie. "Een vlieg kan over terrein klimmen dat een robot op wielen niet zou kunnen."

Vliegen zijn niet bepaald vertederend voor mensen. We associëren ze terecht met minder dan smakelijke ervaringen in ons dagelijks leven. Maar er is een onverwachte weg naar verlossing:robots. Het blijkt dat vliegen een aantal functies en mogelijkheden hebben die een nieuw ontwerp voor robotsystemen kunnen informeren.

"In tegenstelling tot de meeste gewervelde dieren, vliegen kunnen bijna elk terrein beklimmen, " zegt Ramdya. "Ze kunnen aan muren en plafonds kleven omdat ze zelfklevende kussentjes en klauwen op de uiteinden van hun poten hebben. Hierdoor kunnen ze in principe overal naartoe. Dat is ook interessant, want als je op elk oppervlak kunt rusten, je kunt je energieverbruik beheersen door te wachten op het juiste moment om te handelen."

Het was deze visie om de principes te extraheren die het vlieggedrag bepalen om het ontwerp van robots te informeren die de ontwikkeling van DeepFly3D aandreven, een motion-capture systeem voor de vlieg Drosophila melanogaster, een modelorganisme dat bijna overal in de biologie wordt gebruikt.

In de experimentele opstelling van Ramdya, een vlieg loopt bovenop een kleine zwevende bal - als een miniatuurloopband - terwijl zeven camera's elke beweging registreren. De bovenzijde van de vlieg is vastgelijmd op een onbeweegbaar podium zodat deze altijd op zijn plaats blijft tijdens het lopen op de bal. Hoe dan ook, de vlieg "gelooft" dat hij vrij kan bewegen.

De verzamelde camerabeelden worden vervolgens verwerkt door DeepFly3D, een deep-learning software ontwikkeld door Semih Günel, een doctoraat student die met zowel Ramdya's als Fua's labs werkt. "Dit is een mooi voorbeeld van waar een interdisciplinaire samenwerking noodzakelijk en transformerend was, ", zegt Ramdya. "Door gebruik te maken van computerwetenschap en neurowetenschappen, we hebben een langdurige uitdaging aangepakt."

Het bijzondere aan DeepFly3D is dat het de 3D-houding van de vlieg - of zelfs andere dieren - kan afleiden, wat betekent dat het automatisch gedragsmetingen kan voorspellen en uitvoeren met een ongekende resolutie voor een verscheidenheid aan biologische toepassingen. De software hoeft niet handmatig te worden gekalibreerd en gebruikt camerabeelden om automatisch eventuele fouten in de berekeningen van de vlieghouding te detecteren en te corrigeren. Eindelijk, het gebruikt ook actief leren om zijn eigen prestaties te verbeteren.

DeepFly3D opent een manier om de bewegingen efficiënt en nauwkeurig te modelleren, poseert, en gezamenlijke hoeken van een fruitvlieg in drie dimensies. Dit kan inspireren tot een standaardmanier om 3D-poses ook in andere organismen automatisch te modelleren.

"De vlieg, als modelorganisme, brengt handelbaarheid en complexiteit zeer goed in evenwicht, " zegt Ramdya. "Als we leren hoe het doet wat het doet, we een belangrijke impact kunnen hebben op robotica en medicijnen en, misschien wel het belangrijkste, we kunnen deze inzichten in relatief korte tijd verkrijgen."