Met een echtgenoot die de evolutie van kunstmatige en natuurlijke intelligentie bestudeert en de andere die de taal onderzoekt, cultuur en geschiedenis van Duitsland, stel je de discussies voor aan onze eettafel. We ervaren vaak de stereotiepe botsing in opvattingen tussen de kwantificeerbare, meetgebaseerde benadering van de natuurwetenschappen en de meer kwalitatieve benadering van de geesteswetenschappen, waar het belangrijkste is hoe mensen iets voelen, of hoe ze het ervaren of interpreteren.

We besloten om een ​​pauze te nemen van dat patroon, om te zien in hoeverre de ene benadering de andere kan helpen. specifiek, we wilden zien of aspecten van kunstmatige intelligentie nieuwe manieren zouden kunnen opleveren om een ​​non-fictie graphic novel over de Holocaust te interpreteren. We kwamen tot de conclusie dat sommige AI-technologieën nog niet geavanceerd en robuust genoeg zijn om bruikbare inzichten te leveren, maar eenvoudigere methoden resulteerden in kwantificeerbare metingen die een nieuwe mogelijkheid voor interpretatie lieten zien.

Een tekst kiezen

Er is veel onderzoek beschikbaar dat grote hoeveelheden tekst analyseert, dus kozen we iets complexers voor onze AI-analyse:Reinhard Kleist's "The Boxer, " een graphic novel gebaseerd op het waargebeurde verhaal van hoe Hertzko "Harry" Haft de nazi-vernietigingskampen overleefde. We wilden emoties identificeren in de gezichtsuitdrukkingen van de hoofdpersoon die in de illustraties van het boek worden weergegeven, om erachter te komen of dat ons een nieuwe lens zou geven om het verhaal te begrijpen.

In deze zwart-wit cartoon, Haft vertelt zijn gruwelijke verhaal, waarin hij en andere gevangenen van het concentratiekamp elkaar tot de dood moesten boksen. Het verhaal is geschreven vanuit het perspectief van Haft; afgewisseld door het verhaal zijn panelen van flashbacks beeltenis van Haft's herinneringen aan belangrijke persoonlijke gebeurtenissen.

De geesteswetenschappelijke benadering zou zijn om elementen van het verhaal te analyseren en te contextualiseren, of het verhaal als geheel. De graphic novel van Kleist is een herinterpretatie van een biografische roman uit 2009 van Hafts zoon Allan, gebaseerd op wat Allan wist over de ervaringen van zijn vader. Het analyseren van deze complexe verzameling interpretaties en inzichten van auteurs kan alleen maar dienen om een ​​nieuwe subjectieve laag toe te voegen aan de bestaande.

Vanuit het perspectief van de wetenschapsfilosofie, dat niveau van analyse zou de zaken alleen maar ingewikkelder maken. Geleerden kunnen verschillende interpretaties hebben, maar zelfs als ze het er allemaal mee eens waren, ze zouden nog steeds niet weten of hun inzicht objectief waar was of dat iedereen aan dezelfde illusie leed. Het oplossen van het dilemma zou een experiment vereisen dat gericht is op het genereren van een meting die anderen onafhankelijk kunnen reproduceren.

Reproduceerbare interpretatie van afbeeldingen?

In plaats van de beelden zelf te interpreteren, hen onderwerpen aan onze eigen vooroordelen en vooroordelen, we hoopten dat AI een objectievere kijk zou kunnen bieden. We begonnen met het scannen van alle panelen in het boek. Vervolgens hebben we Google's vision AI en Microsoft AZURE's gezichtsherkenning en emotionele karakterannotatie gebruikt.

De algoritmen die we gebruikten om "The Boxer" te analyseren, zijn eerder door Google of Microsoft getraind op honderdduizenden afbeeldingen die al waren gelabeld met beschrijvingen van wat ze weergeven. In deze opleidingsfase de AI-systemen werden gevraagd om te identificeren wat de afbeeldingen lieten zien, en die antwoorden werden vergeleken met de bestaande beschrijvingen om te zien of het systeem dat werd getraind goed of fout was. Het trainingssysteem versterkte de elementen van de onderliggende diepe neurale netwerken die correcte antwoorden produceerden, en verzwakte de delen die bijdroegen aan verkeerde antwoorden. Zowel de methode als het trainingsmateriaal – de afbeeldingen en annotaties – zijn cruciaal voor de prestaties van het systeem.

Vervolgens, we hebben de AI losgelaten op de afbeeldingen van het boek. Net als op "Family Feud, " waar de producers van de show 100 vreemden een vraag stellen en optellen hoeveel elk mogelijk antwoord kiezen, onze methode vraagt ​​een AI om te bepalen welke emotie een gezicht laat zien. Deze benadering voegt een belangrijk element toe dat vaak ontbreekt bij het subjectief interpreteren van inhoud:reproduceerbaarheid. Elke onderzoeker die het wil controleren, kan het algoritme opnieuw uitvoeren en dezelfde resultaten krijgen als wij.

Helaas, we ontdekten dat deze AI-tools zijn geoptimaliseerd voor digitale foto's, geen scans van zwart-wit tekeningen. Dat betekende dat we niet veel betrouwbare gegevens kregen over de emoties op de foto's. We waren ook verontrust toen we ontdekten dat geen van de algoritmen een van de afbeeldingen identificeerde als gerelateerd aan de Holocaust of concentratiekampen - hoewel menselijke kijkers die thema's gemakkelijk zouden identificeren. Hopelijk, dat komt omdat de AI's problemen hadden met de zwart-witbeelden zelf, en niet vanwege nalatigheid of vooringenomenheid in hun trainingssets of annotaties.

Bias is een bekend fenomeen in machine learning, die echt aanstootgevende resultaten kunnen hebben. Een analyse van deze beelden uitsluitend gebaseerd op de gegevens die we hebben gekregen, zou de Holocaust niet hebben besproken of erkend, een omissie die in strijd is met de wet in Duitsland, onder andere landen. Deze tekortkomingen benadrukken het belang van het kritisch evalueren van nieuwe technologieën voordat ze op grotere schaal worden gebruikt.

Andere reproduceerbare resultaten vinden

Vastbesloten om een ​​alternatieve manier te vinden voor kwantitatieve benaderingen om de geesteswetenschappen te helpen, we hebben uiteindelijk de helderheid van de foto's geanalyseerd, flashback-scènes vergelijken met andere momenten in het leven van Haft. Daartoe, we hebben de helderheid van de gescande afbeeldingen gekwantificeerd met behulp van beeldanalysesoftware.

We ontdekten dat door het hele boek heen, emotioneel gelukkige en lichte fasen zoals zijn ontsnapping uit de gevangenis of het naoorlogse leven van Haft in de VS worden weergegeven met heldere beelden. Traumatiserende en verdrietige fasen, zoals zijn concentratiekampervaringen, worden weergegeven als donkere afbeeldingen. Dit sluit aan bij de kleurpsychologische identificaties van wit als een pure en vrolijke toon, en zwart als symbool voor verdriet en verdriet.

Na een algemeen begrip te hebben gekregen van hoe helderheid wordt gebruikt in de afbeeldingen van het boek, we hebben de flashback-scènes nader bekeken. Ze beelden allemaal emotioneel intense gebeurtenissen uit, en sommige waren donker, zoals herinneringen aan het cremeren van andere concentratiekampgevangenen en het verlaten van de liefde van zijn leven.

We waren verrast, echter, om te ontdekken dat de flashbacks die Haft op het punt stond zijn tegenstanders dood te slaan helder en duidelijk waren - wat suggereert dat hij een positieve emotie heeft over de aanstaande fatale ontmoeting. Dat is precies het tegenovergestelde van wat lezers zoals wij waarschijnlijk voelen als ze het verhaal volgen, misschien de tegenstander van Haft als zwak zien en beseffen dat hij op het punt staat te worden gedood. Als de lezer medelijden en empathie voelt, waarom voelt Haft zich positief?

Deze tegenstelling, gevonden door de helderheid van foto's te meten, kan een dieper inzicht onthullen in hoe de nazi-vernietigingskampen Haft emotioneel beïnvloedden. Voor ons, direct, het is onvoorstelbaar hoe positief iemand anders doodslaan in een bokswedstrijd zou zijn. Maar misschien bevond Haft zich in zo'n wanhopige situatie dat hij hoop op overleving zag toen hij het opnam tegen een tegenstander die nog meer uitgehongerd was dan hij.

Het gebruik van AI-tools om dit stuk literatuur te analyseren wierp een nieuw licht op de belangrijkste elementen van emotie en geheugen in het boek, maar ze vervingen niet de vaardigheden van een expert of geleerde bij het interpreteren van teksten of afbeeldingen. Als resultaat van ons experiment, we denken dat AI en andere computationele methoden een interessante kans bieden met het potentieel voor meer kwantificeerbare, reproduceerbaar en wellicht objectief onderzoek in de geesteswetenschappen.

Het zal een uitdaging zijn om manieren te vinden om AI op de juiste manier te gebruiken in de geesteswetenschappen - en te meer omdat de huidige AI-systemen nog niet geavanceerd genoeg zijn om in alle contexten betrouwbaar te werken. Geleerden moeten ook alert zijn op mogelijke vooroordelen in deze tools. Als het uiteindelijke doel van AI-onderzoek is om machines te ontwikkelen die wedijveren met menselijke cognitie, kunstmatige-intelligentiesystemen moeten zich misschien niet alleen gedragen als mensen, maar begrijp en interpreteer gevoelens als mensen, te.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.