Kurt Luther, Virginia Tech assistent-professor informatica, heeft een gratis softwareplatform ontwikkeld dat crowdsourcing gebruikt om het vermogen van algoritmen om gezichten op foto's te identificeren aanzienlijk te vergroten.

Via het softwareplatform genaamd Photo Sleuth, Luther probeert de mysteries te ontrafelen van de bijna 4 miljoen foto's van afbeeldingen uit de burgeroorlog die mogelijk in het historische record voorkomen.

Luther zal zijn onderzoek rond het Photo Sleuth-platform op 19 maart presenteren op de Association for Computing Machinery's Intelligent User Interfaces-conferentie in Los Angeles, Californië. Hij zal ook Photo Sleuth demonstreren bij de grootse opening van het uitgebreide American Civil War Museum, in Richmond, Virginia, op 4 mei, 2019.

Luther, zelf een geschiedenisfanaat, werd in 2013 geïnspireerd om de software voor Civil War Photo Sleuth te ontwikkelen tijdens een bezoek aan de tentoonstelling van het Heinz History Center genaamd "Pennsylvania's Civil War" in Pittsburgh, Pennsylvania. Daar stuitte hij op een portret uit de burgeroorlog van Oliver Croxton, zijn bet-over-over-oom die diende in Company E van het 134th Pennsylvania, gekleed in een korporaalsuniform.

"Het zien van mijn verre familielid die naar me terugstaarde, was als reizen door de tijd, "Zei Luther. "Historische foto's kunnen ons veel vertellen over niet alleen onze eigen familiegeschiedenis, maar ook over het historische record van die tijd in bredere zin dan alleen het lezen over de gebeurtenis in een geschiedenisboek."

Het Civil War Photo Sleuth-project, voornamelijk gefinancierd door de National Science Foundation, werd officieel gelanceerd als een webgebaseerd platform bij het Nationaal Archief in Washington, gelijkstroom, op 1 augustus 2018, en stelt gebruikers in staat om foto's te uploaden, tag ze met visuele aanwijzingen, en verbind ze met profielen van soldaten uit de burgeroorlog met gedetailleerde verslagen van de militaire geschiedenis. De initiële referentiedatabase van Photo Sleuth bevatte meer dan 15, 000 geïdentificeerde portretten van soldaten uit de burgeroorlog uit bronnen in het publieke domein, zoals het U.S. Military History Institute en andere privécollecties.

Voorafgaand aan de officiële lancering van het project in augustus, het softwareplatform won de $ 25, 000 Microsoft Cloud AI Research Challenge en de Best Demo Award op de Human Computation and Crowdsourcing 2018-conferentie in Zürich, Zwitserland, voor Luther en zijn team, waaronder academische en historische medewerkers, het Virginia Centrum voor Burgeroorlogstudies, en het tijdschrift Military Images.

Volgens Luther, de sleutel tot het succes van de site na de lancering was het vermogen om een ​​sterke gebruikersgemeenschap op te bouwen. Meer dan 600 gebruikers hebben bijgedragen meer dan 2, 000 foto's van de burgeroorlog op de website in de eerste maand na de lancering, en ongeveer de helft van die foto's was niet geïdentificeerd. Meer dan 100 van deze onbekende foto's waren gekoppeld aan specifieke soldaten, en een deskundige analyse wees uit dat meer dan 85 procent van deze voorgestelde identificaties waarschijnlijk of zeker correct waren. momenteel, de database is gegroeid tot meer dan 4, 000 geregistreerde gebruikers en meer dan 8, 000 foto's.

"Typisch, crowdsourced onderzoek zoals dit is een uitdaging voor beginners als gebruikers geen specifieke kennis van het onderwerp hebben, "zei Luther. "Het stapsgewijze proces van het taggen van visuele aanwijzingen en het toepassen van zoekfilters gekoppeld aan militaire dienstrecords maakt dit detectivewerk toegankelijker, zelfs voor degenen die misschien geen diepere kennis hebben van de militaire geschiedenis van de burgeroorlog."

Taken voor persoonsidentificatie kunnen een uitdaging zijn in grotere kandidatenpools omdat er een groter risico is op valse positieven. De nieuwe benadering achter Civil War Photo Sleuth is gebaseerd op de analogie van het vinden van een speld in een hooiberg. De datapijplijn heeft drie hooiberggerelateerde componenten:het bouwen van de hooiberg, de hooiberg verkleinen, en de speld in de hooiberg vinden. Wanneer gecombineerd, ze stellen gebruikers in staat onbekende soldaten te identificeren terwijl het risico op valse positieven wordt verminderd.

Het bouwen van de hooiberg wordt gedaan door gebruikers te stimuleren gescande afbeeldingen van de voor- en achterkant van foto's van de Burgeroorlog te uploaden. Elke keer dat een gebruiker een foto uploadt om deze te identificeren, de foto wordt toegevoegd aan het digitale archief van de site of "hooiberg, " waardoor het beschikbaar is voor toekomstige zoekopdrachten.

Na het uploaden, de gebruiker tagt metadata met betrekking tot de foto, zoals fotoformaat of inscripties, evenals visuele aanwijzingen, zoals vachtkleur, punthaken, schouderbanden, kraag insignes, en hoedinsignes. Deze tags zijn gekoppeld aan zoekfilters om prioriteit te geven aan de meest waarschijnlijke overeenkomsten. Bijvoorbeeld, een soldaat getagd met het insigne van de "jachthoorn" zou mogelijke overeenkomsten suggereren die in de infanterie dienden, terwijl het verbergen van resultaten van de cavalerie of artillerie. Volgende, de site maakt gebruik van de modernste gezichtsherkenningstechnologie om zeer verschillend uitziende gezichten te elimineren en de overige op overeenkomst te sorteren. Zowel de tagging- als de gezichtsherkenningsstap verkleinen de hooiberg.

Eindelijk, gebruikers vinden de speld in de hooiberg door de meest waarschijnlijke overeenkomsten in meer detail te onderzoeken. Een vergelijkingstool met pan- en zoomregelaars helpt gebruikers een mogelijke match zorgvuldig te inspecteren en, als ze besluiten dat het een match is, koppel de voorheen onbekende foto aan zijn nieuwe identiteit en biografische details.

De militaire gegevens die door de filters worden gebruikt, zijn afkomstig uit talloze openbare bronnen, inclusief de National Park Service Soldiers and Sailors Database.

Het natrekken van historische foto's van de Burgeroorlog door middel van gezichtsherkenningssoftware zoals Photo Sleuth heeft brede toepassingen die verder gaan dan het identificeren van historische foto's, te. De software heeft het potentieel om nieuwe manieren te genereren om na te denken over het bouwen van persoonsidentificatiesystemen die verder kijken dan gezichtsherkenning en gebruikmaken van de complementaire sterke punten van zowel menselijke als kunstmatige intelligentie.