George is een zebravis. Samen met Tom en 98 andere maten, George zwemt vrij in een laboratoriumtank in het Champalimaud Centre for the Unknown (CCU), in Lissabon, Portugal. Een camera neemt van bovenaf een video op van het komen en gaan van alle dieren.

Is het mogelijk om op elk moment individuele vissen te onderscheiden van de videobeelden? Ja, zegt Gonzalo de Polavieja, hoofdonderzoeker van het Collective Behaviour Lab, WHO, met zijn team, heeft een programma ontwikkeld met de naam idtracker.ai dat het werk snel en met extreme nauwkeurigheid kan doen. Hun resultaten werden gepubliceerd in het tijdschrift Natuurmethoden .

"Het uiteindelijke doel van ons team is het begrijpen van groepsgedrag, " zegt de Polavieja, wiens favoriete namen voor de vissen George en Tom zijn. We willen begrijpen hoe dieren in een groep samen beslissen en samen leren." De onderzoekers probeerden gegevens van zeer hoge kwaliteit uit de video's te halen, zoals de positie en vorm van elk van de dieren, evenals hun individuele paden, zonder fouten.

Het herkennen van elk individu onder tientallen vergelijkbare leeftijdsgenoten zou moeilijk zijn voor mensen - of, wat dat betreft, een conventioneel computerprogramma. "We zouden gewoon gek worden om te proberen, " zegt de Polavieja. Voor grote drukte, zonder kunstmatige intelligentie in de mix, zelfs een krachtige computer kan het programma jarenlang moeten uitvoeren om resultaten te krijgen. En deze zouden waarschijnlijk niet erg nauwkeurig zijn.

Dat is waar idtracker.ai om de hoek komt kijken. De nieuwe software, zegt de Polavieja, levert de kwaliteitsgegevens die nodig zijn voor een tweede fase die de regels analyseert die het collectieve gedrag van de dieren sturen.

Vier jaar geleden, voordat hij bij de CCU kwam, de Polavieja publiceerde de eerste versie van de software in Natuurmethoden , die niet afhankelijk waren van kunstmatige intelligentie. De resultaten waren veel bescheidener. "We konden toen 10 dieren volgen, " hij zegt.

De Polavieja en zijn co-auteurs, Francisco Romero Ferrero, Mattia Bergomi, Robert Hinz en Francisco Heras, hebben nu de nieuwe AI-versie getest met groepen van maximaal 100 zebravissen. "We hebben er niet meer dan 100 getest omdat onze tank daar niet groot genoeg voor is." Niettemin, een andere benadering gebruiken om de beelden op te nemen, ze toonden aan dat de software tot 150 individuele vissen kan identificeren met zeer weinig verlies aan nauwkeurigheid. "Ik geloofde niet dat we die aantallen zouden halen; het was een verrassing, " merkt de Polavieja op. "Ik dacht dat er niet genoeg informatie op de afbeeldingen zou staan."

Diep leren

Idtracker.ai bestaat uit twee zogenaamde deep-learning neurale netwerken en een paar meer conventionele algoritmen. Een deep-learning neuraal netwerk is een computersimulatie van echte netwerken van neuronen in de hersenen die kunnen leren van ervaringen.

Met behulp van de videobeelden van de zebravis in de tank, het eerste netwerk in de keten is getraind om te zien of elke zichtbare klodder in de afbeeldingen overeenkomt met een enkel dier of met meerdere.

Met deze uitgang, het tweede neurale netwerk wordt vervolgens getraind om een ​​naam (of nummer) toe te kennen aan elke klodder die slechts één vis bevat, met andere woorden, om elke individuele vis te identificeren. De herkenning is gebaseerd op de unieke kenmerken van elke zebravis. "Mensen denken dat zebravissen allemaal hetzelfde zijn, maar dit bewijst dat ze zijn, in feite, allemaal verschillend van elkaar, " merkt de Polavieja op.

als laatste, het programma past twee conventionele algoritmen toe. "Een daarvan is om enige zekerheid te krijgen over de weinige individuen wiens identiteit nog enigszins onzeker is, " zegt de Polavieja. "En de ander bepaalt welk dier dat is wanneer hun paden elkaar kruisen - dat wil zeggen, wanneer hun banen over de video heen verschijnen.

De resultaten spreken voor zich:het duurt ongeveer een uur voor idtracker.ai om elk van de 100 zebravissen in de video te allen tijde met bijna 100 procent nauwkeurigheid te identificeren. "Als je het netwerk een willekeurig deel van de video laat zien dat het nog nooit eerder heeft gezien en vraagt:'wie is dit?", het netwerk zal 99,997 procent van de tijd de juiste naam of het juiste nummer aan die vis toewijzen, " zegt de Polavieja. En als je vraagt ​​waar George, of Tom, of een andere zebravis is op een gegeven moment, het zal het in de menigte bijna zonder enige twijfel vinden.

Het team heeft de software ook getest met fruitvliegjes, medaka-vis (Japanse rijstvis), mieren en muizen. Het werkt ook, hoewel met kleinere aantallen individuen. Zebravissen zijn het beste voor deze studies, zegt de Polavieja. "Muizen zijn moeilijker omdat ze de neiging hebben om te clusteren en te vervormen."

"Dit is de eerste keer dat zulke hoogwaardige gegevens zijn verkregen voor 100 vissen, " zegt de Polavieja. Het team heeft nu idtracker.ai gebruikt, die vrij verkrijgbaar is, om een ​​reeks regels te extraheren die het gedrag van zebravissen in groepen verklaren. Ze beschrijven hun resultaten in een ander artikel, die ze hebben gepost op bioarxiv.org en ingediend voor publicatie in een wetenschappelijk tijdschrift.

Wat betreft mogelijke toepassingen, deze software kan het volgen van personen mogelijk maken, of om een ​​bepaalde persoon in een menigte te identificeren op basis van informatie over zijn of haar fysieke verschijning. "Er is nu een hele industrie voor dit soort software, ", zegt de Polavieja. "Mensen passen deze [AI]-technieken toe om andere vergelijkbare trackingtools te ontwikkelen. Maar voordat we bewezen dat we het bij dieren konden, het was moeilijk te geloven dat het zelfs maar in de verste verte mogelijk was."