Onlangs zijn er pogingen gedaan om het gedrag van dieren nauwkeurig te analyseren met behulp van AI-technologie. Er zijn echter nog steeds beperkingen voor AI om intuïtief verschillend gedrag te herkennen, zoals menselijke waarnemers dat kunnen.
Bij traditioneel onderzoek naar diergedrag gaat het vooral om het filmen van dieren met één camera en het analyseren van laagdimensionale gegevens zoals de tijd en frequentie van specifieke bewegingen. De analysemethode leverde AI overeenkomstige resultaten op voor elk stukje trainingsgegevens, vergelijkbaar met het simpelweg voeden van AI met vragen samen met de antwoordsleutel.
Hoewel deze methode eenvoudig is, vereist het tijd en arbeidsintensief menselijk toezicht om de gegevens op te bouwen. Vooringenomenheid van de waarnemer speelt ook een rol, omdat de analyseresultaten kunnen worden vertekend door het subjectieve oordeel van de experimentator.
Om deze beperkingen te overwinnen heeft een gezamenlijk onderzoeksteam onder leiding van directeur C. Justin Lee van het Center for Cognition and Sociality binnen het Institute for Basic Science, en Cha Meeyoung, de Chief Investigator (CI) van de Data Science Group van het IBS Center for Wiskundige en computerwetenschappen (tevens professor aan de School of Computing bij KAIST), heeft een nieuw analytisch hulpmiddel ontwikkeld genaamd SUBTLE (Spectrogram-UMAP-Based Temporal-Link Embedding). SUBTLE classificeert en analyseert het gedrag van dieren door middel van AI-leren op basis van 3D-bewegingsinformatie.
Eerst registreerde het onderzoeksteam de bewegingen van muizen met behulp van meerdere camera's, waarbij de coördinaten van negen belangrijke punten, zoals het hoofd, de benen en de heupen, werden geëxtraheerd om 3D-actiegegevens van skeletbewegingen in de loop van de tijd te verkrijgen.
Vervolgens hebben ze deze tijdreeksgegevens teruggebracht tot twee dimensies voor inbedding, een proces dat een verzameling vectoren creëert die overeenkomen met elk stukje gegevens, waardoor complexe gegevens beknopter en betekenisvoller kunnen worden weergegeven.
Schematische weergave van het SUBTIELE raamwerk. (A) Het proces van het verkrijgen en analyseren van 3D-coördinaten van belangrijke punten uit de beweging van een muis. 1) Aan de linkerkant toont het het proces van het extraheren van ruwe 3D-coördinaten van de bewegingen van de muis met behulp van AVATAR3D, terwijl het aan de rechterkant het proces toont van het verwerken en analyseren van de 3D-coördinaatgegevens verkregen uit AVATAR3D. 2) Extraheer het 3D-actieskelet met behulp van de avatar. 3) Extraheer kinematische kenmerken en waveletspectrogrammen uit de sleutelpuntcoördinaten. 4) Niet-lineaire t-SNE- en UMAP-algoritmen uitvoeren; de inbedding met behulp van UMAP die in dit onderzoek is ontwikkeld, wordt SUBTLE genoemd. (B) Resultaten van niet-lineaire mapping. Het toont de inbeddingsresultaten met behulp van t-SNE en UMAP met een toenemend aantal clusters (k). t-SNE vertoont in de loop van de tijd een verwarde draadachtige vorm, terwijl UMAP tijdelijk een goed uitgelijnde rastervorm vertoont. Bovendien behaalt UMAP consequent hogere TPI-scores dan t-SNE voor alle clusternummers. Credit:International Journal of Computer Vision (2024). DOI:10.1007/s11263-024-02072-0
Vervolgens hebben de onderzoekers soortgelijke gedragstoestanden geclusterd in subclusters en deze subclusters gegroepeerd in superclusters die gestandaardiseerde gedragspatronen (repertoires) vertegenwoordigen, zoals lopen, staan, verzorging, enz.
Tijdens dit proces stelden ze een nieuwe metriek voor, de Temporal Proximity Index (TPI), om gedragsdataclusters te evalueren. Deze statistiek meet of elk cluster dezelfde gedragsstatus omvat en effectief temporele bewegingen vertegenwoordigt, vergelijkbaar met hoe mensen temporele informatie belangrijk vinden bij het classificeren van gedrag.
CI Cha Meeyoung verklaarde:"De introductie van nieuwe evaluatiestatistieken en benchmarkgegevens om te helpen bij de automatisering van de classificatie van diergedrag is het resultaat van de samenwerking tussen neurowetenschappen en datawetenschap. We verwachten dat dit algoritme nuttig zal zijn in verschillende industrieën die gedragspatroonherkenning vereisen. , inclusief de robotica-industrie, die tot doel heeft de bewegingen van dieren na te bootsen."
Directeur C. Justin Lee, die dit onderzoek leidde, zei:"We hebben een effectief raamwerk voor gedragsanalyse ontwikkeld dat menselijk ingrijpen minimaliseert en tegelijkertijd complex gedrag van dieren begrijpt door mechanismen voor het herkennen van menselijke gedragspatronen toe te passen. Dit raamwerk heeft belangrijke industriële toepassingen en kan ook worden gebruikt als een hulpmiddel om dieper inzicht te krijgen in de principes van gedragsherkenning in de hersenen."
Bovendien heeft het onderzoeksteam in april vorig jaar de SUBTLE-technologie overgedragen aan Actnova, een bedrijf dat gespecialiseerd is in op AI gebaseerde klinische en niet-klinische gedragstestanalyses. Het team gebruikte Actnova's analysesysteem voor diergedrag, AVATAR3D, om voor dit onderzoek 3D-bewegingsgegevens van dieren te verkrijgen.
Het onderzoeksteam heeft de code van SUBTLE ook open-source gemaakt, en een gebruiksvriendelijke grafische interface (GUI) om de analyse van diergedrag te vergemakkelijken is beschikbaar via de SUBTLE-webservice voor onderzoekers die niet bekend zijn met programmeren.