Je hebt misschien Hollywood-sterren in "motion capture"-pakken gezien, acteren in full-body kostuums doorspekt met sensoren waarmee een computer ze kan transformeren in een Hulk of een draak of een betoverd beest.

Nutsvoorzieningen, een samenwerking tussen de laboratoria van Princeton-hoogleraren Mala Murthy en Joshua Shaevitz is een stap verder gegaan, gebruikmakend van de nieuwste ontwikkelingen op het gebied van kunstmatige intelligentie (AI) om automatisch de individuele lichaamsdelen van dieren in bestaande video te volgen.

Hun nieuwe gereedschap, LEAP schat Animal Pose (LEAP), kan binnen enkele minuten worden getraind om automatisch de individuele lichaamsdelen van een dier te volgen over miljoenen videoframes met hoge nauwkeurigheid, zonder dat u fysieke markeringen of labels hoeft toe te voegen.

"De methode is breed inzetbaar, over diermodelsystemen, en het zal nuttig zijn om het gedrag van dieren met genetische mutaties of na medicamenteuze behandelingen te meten, " zei Murthy, een universitair hoofddocent moleculaire biologie en het Princeton Neuroscience Institute (PNI).

Het artikel waarin de nieuwe technologie wordt beschreven, zal worden gepubliceerd in het januari-nummer van het tijdschrift Natuurmethoden , maar de open-access versie, uitgebracht in mei, heeft er al toe geleid dat de software door een aantal andere labs is geadopteerd.

Wanneer de onderzoekers LEAP combineren met andere kwantitatieve hulpmiddelen die in hun laboratoria zijn ontwikkeld, ze kunnen bestuderen wat ze 'de taal van het gedrag' noemen door patronen te observeren in bewegingen van het lichaam van dieren, zei Shaevitz, een professor in de natuurkunde en het Lewis-Sigler Institute for Integrative Genomics.

"Dit is een flexibel hulpmiddel dat in principe op alle videogegevens kan worden gebruikt, " zei Talmo Pereira, een PNI-afgestudeerde student die de eerste auteur van het papier is. "De manier waarop het werkt, is om een ​​paar punten in een paar video's te labelen en dan doet het neurale netwerk de rest. We bieden een gebruiksvriendelijke interface waarmee iedereen LEAP op zijn eigen video's kan toepassen, zonder enige programmeerkennis."

Op de vraag of LEAP net zo goed werkte op grote zoogdieren als op de vliegen en muizen die de meeste van de eerste proefpersonen vormden, Pereira maakte prompt een motion-tagged video van een giraffe uit de live feed van het Mpala Research Center in Kenia, een veldonderzoeksstation waarvan Princeton managing partner is.

"We hebben een video gemaakt van een wandelende giraf van het Mpala-onderzoeksstation... en punten gelabeld in 30 videoframes, die minder dan een uur duurde, "Zei Pereira. "LEAP was toen in staat om beweging van de hele rest van de video (ongeveer 500 frames) in seconden te volgen."

Eerdere pogingen om AI-tools te ontwikkelen die menselijke bewegingen konden volgen, waren gebaseerd op grote trainingssets met handmatig geannoteerde gegevens. Hierdoor kon de software robuust werken met verschillende soorten gegevens, met enorm verschillende achtergronden of lichtomstandigheden.

"In ons geval, we hebben vergelijkbare methoden geoptimaliseerd om te werken met gegevens die in een laboratoriumomgeving zijn verzameld, waarin de omstandigheden consistent zijn tussen opnames, " zei Murthy. "We hebben een systeem gebouwd waarmee de gebruiker een neuraal netwerk kan kiezen dat geschikt is voor het soort gegevens dat de gebruiker heeft verzameld, in plaats van te worden beperkt door waar andere onderzoekers of bedrijven aan hebben gewerkt."

Dit project is ontstaan ​​uit een unieke samenwerking tussen een senior scriptiestudent in het Murthy lab, Diego Aldarondo van de Klasse van 2018, en zijn afgestudeerde studentmentor, Pereira, die gezamenlijk wordt geadviseerd door Murthy en Shaevitz.

"Diego onderzocht het gebruik van diepe neurale netwerken voor het annoteren van gedragsgegevens van dieren via een van zijn computerwetenschapslessen in Princeton, en tijdens nachtelijke gesprekken in het lab met Talmo, hij realiseerde zich dat deze methoden krachtig konden worden toegepast op hun eigen gegevens:video's van fruitvliegjes die met elkaar omgaan tijdens hun verkeringsritueel, "zei Murthy. "De samenwerking begon vanaf daar, en het was ongelooflijk leuk om samen te werken - Diego en Talmo lieten zien hoe effectief deze AI-methoden kunnen zijn."

Het werk heeft ook een groot potentieel buiten de neurowetenschappen, zei Monica Daley, een hoofddocent aan het Structure and Motion Laboratory van het Royal Veterinary College in het Verenigd Koninkrijk, die niet bij dit onderzoek betrokken was.

"Veel van mijn onderzoek is erop gericht te begrijpen hoe dieren effectief bewegen onder verschillende terrein- en omgevingsomstandigheden, " zei Daley. "Een van de grootste voortdurende uitdagingen in het veld is om zinvolle informatie over dierenbewegingen uit videobeelden te halen. We verwerken video's handmatig, veel uren van vermoeiend werk vergen, of focus op zeer simplistische en beperkte analyse die kan worden geautomatiseerd. De algoritmen die in dit artikel worden gepresenteerd, hebben het potentieel om het arbeidsintensieve deel van ons werk meer te automatiseren dan voorheen mogelijk was, waardoor we een grotere verscheidenheid aan bewegingsgedrag van dieren kunnen bestuderen."

Zodra ze een database met bewegingen en gedragingen hebben, de neurowetenschappers in het team kunnen verbanden leggen met de neurale processen die erachter zitten. Hierdoor zullen onderzoekers "niet alleen een beter begrip krijgen van hoe de hersenen gedrag produceren, " zei Shaevitz, "maar ook om toekomstige diagnostiek en therapieën te onderzoeken die afhankelijk zijn van een computer die iemands acties interpreteert."

Een soortgelijk hulpmiddel werd deze zomer gedeeld door een team van Harvard-onderzoekers, die de bestaande neurale netwerkarchitectuur gebruikten, terwijl het Princeton-team er zelf een heeft gemaakt. "Onze methode en die van hen hebben verschillende voordelen, "zei Murthy. "Dit is momenteel een ongelooflijk opwindend veld met veel activiteit in het ontwikkelen van AI-tools voor studies van gedrag en neurale activiteit."

“We hanteren een andere aanpak, waar kleiner, slankere netwerken kunnen een hoge nauwkeurigheid bereiken door zich snel te specialiseren in nieuwe datasets, "zei Pereira. "Wat nog belangrijker is, laten we zien dat er nu gebruiksvriendelijke opties zijn voor het volgen van poses van dieren via AI, en we hopen dat dit het veld aanmoedigt om meer kwantitatieve en precieze benaderingen te gebruiken voor het meten van gedrag."

"In de afgelopen vijf jaar neurowetenschap heeft enorme vooruitgang geboekt in de technologie die hersenactiviteit observeert en manipuleert, " zei co-auteur Samuel Wang, een professor in de moleculaire biologie en PNI. "Nutsvoorzieningen, automatische classificatie van gedrag voegt een kritische aanvulling toe aan die technologie. Princeton wordt een centraal knooppunt in het ontluikende veld van computationele neuro-ethologie."