Onderzoekers van de Carnegie Mellon University hebben een systeem ontwikkeld dat een schutter nauwkeurig kan lokaliseren op basis van video-opnames van slechts drie smartphones.

Toen gedemonstreerd met behulp van drie video-opnames van de massale schietpartij in 2017 in Las Vegas waarbij 58 doden en honderden gewonden vielen, het systeem schatte de werkelijke locatie van de schutter correct in:de noordvleugel van het Mandalay Bay-hotel. De schatting was gebaseerd op drie geweerschoten binnen de eerste minuut van wat een langdurig bloedbad zou worden.

Alexander Hauptmann, onderzoeksprofessor in CMU's Language Technologies Institute, zei het systeem, genaamd Video Event Reconstructie en Analyse (VERA), zal niet noodzakelijk de commerciële microfoonarrays vervangen voor het lokaliseren van schutters die openbare veiligheidsfunctionarissen al gebruiken, hoewel het een nuttige aanvulling kan zijn voor de openbare veiligheid wanneer commerciële arrays niet beschikbaar zijn.

Een belangrijke motivatie voor het samenstellen van VERA was het creëren van een instrument dat kan worden gebruikt door mensenrechtenwerkers en journalisten die oorlogsmisdaden onderzoeken, terroristische daden en mensenrechtenschendingen, aldus Hauptmann.

"Militaire en inlichtingendiensten ontwikkelen dit soort technologieën al, " zei collega-onderzoeker Jay D. Aronson, een professor in de geschiedenis aan de CMU en directeur van het Center for Human Rights Science. "We denken dat het cruciaal is dat de mensenrechtengemeenschap over hetzelfde soort instrumenten beschikt. Het zorgt voor een noodzakelijke controle op de staatsmacht."

De onderzoekers presenteerden VERA en gaven het vorige maand vrij als open-sourcecode op de Association for Computing Machinery's International Conference on Multimedia in Nice, Frankrijk.

Hauptmann zei dat hij zijn expertise op het gebied van video-analyse heeft gebruikt om onderzoekers te helpen bij het analyseren van gebeurtenissen zoals het bloedbad van Maidan in 2014 in Oekraïne, waarbij ten minste 50 anti-regeringsdemonstranten het leven lieten. Geïnspireerd door dat werk - en het inzicht van ballistische experts en architectuurcollega's van de firma SITU Research - Hauptmann, Aronson en Junwei Liang, een doctoraat student taal- en informatietechnologie, hebben verschillende technologieën samengebracht voor het verwerken van video, en het gebruik ervan zoveel mogelijk te automatiseren.

VERA gebruikt machine learning-technieken om de videofeeds te synchroniseren en de positie van elke camera te berekenen op basis van wat die camera ziet. Maar het is de audio van de videofeeds die cruciaal is bij het lokaliseren van de bron van de geweerschoten, aldus Hauptmann. specifiek, het systeem kijkt naar de tijdsvertraging tussen de scheur veroorzaakt door de schokgolf van een supersonische kogel en de mondingsstoot, die reist met de snelheid van het geluid. Het gebruikt ook audio om het gebruikte type wapen te identificeren, die de kogelsnelheid bepaalt. VERA kan dan de afstand van de schutter tot de smartphone berekenen.

"Toen we begonnen, we dachten dat je de scheur niet kon detecteren met een smartphone omdat hij erg kort is, "Zei Hauptmann. "Maar het blijkt dat de microfoons van mobiele telefoons tegenwoordig best goed zijn."

Door video van drie of meer smartphones te gebruiken, de richting van waaruit de schoten werden afgevuurd - en de locatie van de schutter - kan worden berekend op basis van de verschillen in hoe lang het duurt voordat de mondingsstoot elke camera bereikt.

Met de toename van massale protesten in plaatsen zoals Hong Kong, Egypte en Irak, identificeren waar een schot vandaan kwam, kan van cruciaal belang zijn om te bepalen of demonstranten, politie of andere groepen kunnen verantwoordelijk zijn wanneer een schietpartij plaatsvindt, zei Aronson.

Maar VERA beperkt zich niet tot het detecteren van geweerschoten. Het is een gebeurtenisanalysesysteem dat kan worden gebruikt om een ​​verscheidenheid aan andere geluiden te lokaliseren die relevant zijn voor onderzoeken naar mensenrechten en oorlogsmisdaden, hij zei. Hij en Hauptmann hopen dat andere groepen functionaliteiten gaan toevoegen aan de open source software.

"Als het eenmaal open source is, de journalistiek en mensenrechtengemeenschappen kunnen erop voortbouwen op manieren waar we geen verbeeldingskracht of tijd voor hebben, ", voegde Aronson eraan toe.