Wanneer er rampen gebeuren – of het nu gaat om een ​​natuurramp zoals een overstroming of aardbeving, of een door mensen veroorzaakte aanval, zoals een massale schietpartij of bomaanslag – het kan extreem gevaarlijk zijn om eerstehulpverleners naar binnen te sturen, ook al zijn er mensen die hulp hard nodig hebben.

Drones zijn handig, en helpen bij het herstel na de dodelijke tornado's in Alabama, maar de meeste vereisen individuele piloten, die het onbemande vliegtuig op afstand besturen. Dat beperkt hoe snel reddingswerkers een heel getroffen gebied kunnen bekijken, en kan ervoor zorgen dat daadwerkelijke hulp de slachtoffers niet bereikt.

Autonome drones kunnen sneller meer terrein bestrijken, maar zou alleen effectiever zijn als ze zelf in staat zouden zijn om reddingswerkers te helpen bij het identificeren van mensen in nood. Aan het Vision Lab van de Universiteit van Dayton, we werken aan de ontwikkeling van systemen die kunnen helpen mensen of dieren te spotten, vooral degenen die vast kunnen komen te zitten door gevallen puin. Onze technologie bootst het gedrag van een menselijke redder na, kort naar brede gebieden kijken en snel specifieke regio's kiezen om op te focussen, nader te onderzoeken.

Op zoek naar een object in een chaotische scene

Rampengebieden zijn vaak rommelig met omgevallen bomen, ingestorte gebouwen, verscheurde wegen en andere wanorde die het spotten van slachtoffers die redding nodig hebben erg moeilijk kunnen maken.

Mijn onderzoeksteam heeft een kunstmatig neuraal netwerksysteem ontwikkeld dat in een computer aan boord van een drone kan draaien. Dit systeem kan enkele van de uitstekende manieren waarop het menselijk zicht werkt nabootsen. Het analyseert beelden die zijn vastgelegd door de camera van de drone en communiceert opmerkelijke bevindingen met menselijke supervisors.

Eerst, ons systeem verwerkt de afbeeldingen om hun helderheid te verbeteren. Net zoals mensen hun ogen samenknijpen om hun focus aan te passen, onze technologieën maken gedetailleerde schattingen van donkere gebieden in een scène en maken de beelden rekenkundig lichter. Wanneer beelden te wazig of mistig zijn, het systeem herkent dat ze te helder zijn en vermindert de witheid van het beeld om de werkelijke scène duidelijker te zien.

In een regenachtige omgeving, menselijke hersenen gebruiken een briljante strategie om duidelijk te zien. Door de delen van een scène op te merken die niet veranderen - en degenen die dat wel doen, als de regendruppels vallen - mensen kunnen ondanks regen redelijk goed zien. Onze technologie gebruikt dezelfde strategie, continu de inhoud van elke locatie onderzoeken in een reeks afbeeldingen om duidelijke informatie te krijgen over de objecten op die locatie.

We hebben ook technologie ontwikkeld die beelden van een door een drone gedragen camera groter kan maken, helderder en duidelijker. Door de grootte van de afbeelding uit te breiden, zowel algoritmen als mensen kunnen de belangrijkste kenmerken duidelijker zien.

Bevestiging van interessante objecten

Ons systeem kan mensen in verschillende functies identificeren, zoals liggend of gekruld in de foetushouding, zelfs vanuit verschillende kijkhoeken en in wisselende lichtomstandigheden.

Het menselijk brein kan naar één weergave van een object kijken en zich voorstellen hoe het er vanuit andere hoeken uit zou zien. Wanneer de politie een waarschuwing afgeeft waarin het publiek wordt gevraagd naar iemand te zoeken, ze bevatten vaak een stilstaande foto - wetende dat de kijkers zich driedimensionale beelden zullen voorstellen van hoe die persoon eruit zou kunnen zien, en herken ze op straat, zelfs als ze niet exact dezelfde weergave krijgen als de aangeboden foto. We passen deze strategie toe door driedimensionale modellen van mensen te berekenen - ofwel algemene menselijke vormen of meer gedetailleerde projecties van specifieke mensen. Die modellen worden gebruikt om overeenkomsten te matchen wanneer een persoon in een scène verschijnt.

We hebben ook een manier ontwikkeld om delen van een object te detecteren, zonder het geheel te zien. Ons systeem kan worden getraind om een ​​been onder puin te detecteren en te lokaliseren, een hand die op afstand zwaait, of een hoofd dat opduikt boven een stapel houten blokken. Het kan een persoon of dier onderscheiden van een boom, struik of voertuig.

De stukjes in elkaar zetten

Tijdens de eerste scan van het landschap, ons systeem bootst de nadering van een luchtspotter na, de grond onderzoeken om mogelijke interessante objecten of regio's te vinden die nader onderzoek waard zijn, en dan beter kijken. Bijvoorbeeld, een vliegtuigpiloot die op zoek is naar een vrachtwagen op de grond, zou doorgaans minder aandacht besteden aan meren, vijvers, akkers en speeltuinen – omdat er minder vaak vrachtwagens in die gebieden zijn. Onze autonome technologie past dezelfde strategie toe om het zoekgebied te concentreren op de belangrijkste regio's in de scene.

Vervolgens onderzoekt ons systeem elke geselecteerde regio om informatie over de vorm te verkrijgen, structuur en textuur van objecten daar. Wanneer het een reeks kenmerken detecteert die overeenkomen met een mens of een deel van een mens, het markeert dat als een locatie van een slachtoffer.

De drone verzamelt ook GPS-gegevens over zijn locatie, en voelt hoe ver het is verwijderd van andere objecten die het fotografeert. Met die informatie kan het systeem precies de locatie berekenen van elke persoon die hulp nodig heeft, en waarschuw reddingswerkers.

Dit hele proces – het vastleggen van een afbeelding, het verwerken voor maximale zichtbaarheid en het analyseren om mensen te identificeren die mogelijk in de val zitten of verborgen zijn - duurt ongeveer een vijfde van een seconde op de normale laptop die de drone draagt, samen met zijn camera met hoge resolutie.

Het Amerikaanse leger is geïnteresseerd in deze technologie. We hebben samengewerkt met het U.S. Army Medical Research en Materiel Command om gewonden op een slagveld te vinden die gered moeten worden. We hebben dit werk aangepast om nutsbedrijven van dienst te zijn die op zoek zijn naar inbraken in pijpleidingpaden door bouwmachines of voertuigen die de pijpleidingen kunnen beschadigen. Nutsbedrijven zijn ook geïnteresseerd in het detecteren van eventuele nieuwe constructies van gebouwen in de buurt van de pijpleidingpaden. Al deze groepen – en nog veel meer – zijn geïnteresseerd in technologie die kan zien zoals mensen kunnen zien, vooral op plaatsen waar mensen niet kunnen zijn.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.