Onderzoekers van EPFL's College of Humanities hebben machinaal leren gebruikt om te onthullen hoe mensen de vaak significante hiaten tussen signaal en betekenis in communicatie overbruggen.

Robert Lieck en Martin Rohrmeier van het Digital and Cognitive Musicology Laboratory (DCML) gebruikten machine learning en kunstmatige intelligentie om de afstemming en verkeerde afstemming tussen signalen - zoals woorden en gebaren - en betekenis in communicatie te onderzoeken. Hun bevindingen zijn onlangs gepubliceerd in Cognition , een tijdschrift voor cognitieve wetenschap.

Lieck, een postdoctoraal onderzoeker en hoofdauteur van het artikel, legt uit dat het onderzoek van de DCML een fundamenteel raadsel van communicatie en de evolutie van betekenis in taal aanpakt.

"Het probleem is dat woorden star zijn en altijd maar naar één idee kunnen verwijzen, terwijl gevoelens, kleuren, enz. continu en geleidelijk van aard zijn. In wezen betekent dit dat er tussen twee woorden oneindige betekenissen zijn die alleen woorden kan niet vastleggen."

Mensen zijn natuurlijk in staat om zulke 'vage' betekenissen precies uit te drukken; bijvoorbeeld via tone of voice of gebaren. Dus waarom zijn we eigenlijk begonnen met het opsplitsen van continue betekenissen om ze in discrete woorden te persen?

Communicatie als een spel

Lieck en Rohrmeier probeerden deze vraag empirisch te beantwoorden met behulp van computationele methoden om de evolutie van communicatie als een spel te simuleren. In hun machine learning-simulatie wisselden en interpreteerden twee virtuele agenten signalen uit en gebruikten ze feedback uit hun omgeving om hun communicatiestrategieën te verbeteren.

De onderzoekers ontdekten drie belangrijke bevindingen. Ten eerste ontwikkelden de virtuele agenten duidelijke signalen of 'woorden' voor de structurele componenten van hun omgeving. Ze hadden echter ook continue manieren om fijnere gradaties binnen elk van die componenten te communiceren - analoog aan verschillende uitspraken van hetzelfde woord.

Ten tweede, zelfs in gevallen waar volledig continue communicatie mogelijk was, konden de agenten niet altijd een optimale match vinden en creëerden ze soms mozaïeken van verschillende signaalfragmenten om alle betekenissen uit te drukken.

Ten slotte ontdekten de onderzoekers dat in gevallen waarin signalen en betekenissen continu zijn maar verschillende logische vormen hebben (bijvoorbeeld als signalen een cirkelvorm volgen en betekenissen lineair zijn), zeer verschillende betekenissen kunnen worden toegewezen aan zeer vergelijkbare signalen, waardoor de agenten worden gedwongen om hiaten tussen die signalen te laten om misverstanden te voorkomen.

Van dieren tot Zoom

Deze bevindingen hebben verstrekkende implicaties, niet alleen voor het begrijpen van menselijke taal, maar ook voor andere communicatiesystemen, waaronder communicatie met dieren en muziek.

"Ons onderzoek helpt om beter te begrijpen hoe betekeniskaarten evolueren in verschillende vormen van communicatie en hoe ze kunnen worden gebruikt om ideeën over een complexe wereld uit te drukken", zegt Rohrmeier.

Lieck voegt eraan toe dat het werk een uniforme analyse biedt van zowel de discrete, structurele aspecten van taal als de continue, geleidelijke aspecten:"We laten zien dat dit echt twee kanten van dezelfde medaille zijn, en de ene kan niet zonder de andere worden begrepen."

De studie benadrukt ook de fundamentele structurele rol die non-verbale communicatie speelt, die bijzonder relevant is tijdens een pandemie:als we nadenken over de toekomst van videoconferenties in het onderwijs en op het werk, worden we vaak geconfronteerd met minder dan optimale voorwaarden met betrekking tot respect naar non-verbale communicatie, maar we ontwikkelen ook nieuwe manieren om onszelf uit te drukken naarmate de communicatie blijft evolueren.