Twee duiven pikken granen in een park in Konstanz. Er vliegt een derde duif binnen. In de directe omgeving hangen vier camera's. Doctoraatsstudenten Alex Chan en Urs Waldmann van het Cluster of Excellence Collective Behavior aan de Universiteit van Konstanz filmen de scène. Na een uur keren ze met de beelden terug naar hun kantoor om deze te analyseren met een computer vision-framework voor houdingsschatting en identiteitsregistratie.

Het raamwerk detecteert en tekent een doos om alle duiven heen. Het registreert centrale lichaamsdelen en bepaalt hun houding, hun positie en hun interactie met de andere duiven om hen heen. Dit alles gebeurt zonder dat er markeringen aan de duiven zijn bevestigd of dat er een mens moet worden ingeschakeld om te helpen. Een paar jaar geleden zou dit niet mogelijk zijn geweest.

3D-MuPPET-framework

Markerloze methoden voor het volgen van de houding van dieren hebben zich de laatste tijd snel ontwikkeld, maar raamwerken en benchmarks voor het volgen van grote diergroepen in 3D ontbreken nog steeds. Om deze kloof te overbruggen presenteren onderzoeker Urs Waldmann van de Cluster of Excellence Collective Behavior aan de Universiteit van Konstanz en Alex Chan van het Max Planck Institute of Animal Behavior en hun collega’s 3D-MuPPET, een raamwerk om 3D-poses van maximaal 10 duiven op interactieve snelheid met behulp van meerdere camerabeelden.

Het onderzoek is onlangs gepubliceerd in het International Journal of Computer Vision .

3D-MuPPET, wat staat voor 3D Multi-Pigeon Pose Estimation and Tracking, is een computer vision-framework voor het schatten van de houding en het volgen van de identiteit van maximaal 10 individuele duiven vanuit vier camerabeelden, gebaseerd op gegevens verzameld in zowel gevangenschapsomgevingen als zelfs in de wild.

"We hebben een 2D keypoint-detector getraind en punten in 3D getrianguleerd, en laten ook zien dat modellen die zijn getraind op gegevens van individuele duiven goed werken met gegevens van meerdere duiven", legt Waldmann uit. Dit is een eerste voorbeeld van het 3D volgen van de houding van dieren voor een hele groep van maximaal 10 individuen.

Het nieuwe raamwerk biedt biologen dus een concrete methode om experimenten uit te voeren en de houding van dieren te meten voor automatische gedragsanalyse. "Dit raamwerk is een belangrijke mijlpaal in het volgen van de houding van dieren en de automatische gedragsanalyse", zegt Chan.

Framework kan in het wild worden gebruikt

Naast het volgen van duiven binnenshuis, wordt het raamwerk ook uitgebreid naar duiven in de vrije natuur. "Met behulp van een model dat de omtrek van elk object in een afbeelding kan identificeren, het Segment Anything Model genaamd, hebben we verder een 2D-keypointdetector met een gemaskerde duif getraind op basis van de gevangen gegevens, en vervolgens het model toegepast op duivenvideo's buitenshuis zonder enige extra modelafstemming. ”, zegt Chan.

3D-MuPPET presenteert een van de eerste casestudies over de overgang van het volgen van dieren in gevangenschap naar het volgen van dieren in het wild, waardoor het gedrag van dieren op kleine schaal in hun natuurlijke habitat kan worden gemeten. De ontwikkelde methoden kunnen in toekomstig werk mogelijk worden toegepast op andere soorten, met mogelijke toepassing voor grootschalig collectief gedragsonderzoek en soortenmonitoring op een niet-invasieve manier.

3D-MuPPET presenteert een krachtig en flexibel raamwerk voor onderzoekers die 3D-houdingsreconstructie voor meerdere individuen willen gebruiken om collectief gedrag in elke omgeving of soort te bestuderen. Zolang er een opstelling met meerdere camera's en een 2D-houdingsschatter beschikbaar is, kan het raamwerk worden toegepast om de 3D-houdingen van elk dier te volgen.

Meer informatie: Urs Waldmann et al, 3D-MuPPET:3D Multi-Pigeon Pose Estimation and Tracking, International Journal of Computer Vision (2024). DOI:10.1007/s11263-024-02074-y

Aangeboden door Universiteit van Konstanz