science >> Wetenschap >  >> Elektronica

Een nieuwe studie onderzoekt humor in woordinbedding

Vertegenwoordiging van de door de onderzoekers geïdentificeerde clusters. Krediet:Gultchin et al.

Vooruitgang op het gebied van AI heeft de ontwikkeling mogelijk gemaakt van tools die een verscheidenheid aan talen kunnen begrijpen en met mensen kunnen communiceren. Echter, er zijn nog steeds aspecten van menselijke communicatie waar AI-systemen mee worstelen, een daarvan is humor.

Een team van onderzoekers van de Universiteit van Oxford, Microsoft Research en TRASH hebben onlangs een onderzoek uitgevoerd naar humor in woordinbeddingen. Woordinbeddingen zijn een populaire AI-tool die woorden kan associëren met Euclidische vectoren.

"We waren geïnteresseerd in het bestuderen van hoe computers humor kunnen begrijpen, "Adam Kalai, Microsoft-onderzoeker die het onderzoek uitvoerde, vertelde TechXplore. "Hoewel AI behoorlijk krachtig is en zelfs van de ene taal naar de andere kan vertalen, AI heeft humor niet begrepen. We besloten te testen of AI humor kon begrijpen op het niveau van een individueel woord, omdat veel mensen sommige woorden als 'nincompoop' een beetje grappig vinden."

In hun studie hebben Kalai en zijn collega's beschouwden zes hoofdkenmerken van woordhumor, inspiratie putten uit bestaande theorieën en academische discussies over humor. Deze kenmerken omvatten:humoristische geluiden (ongeacht de betekenis), nevenschikkingen/onverwachte incongruentie, seksuele connotaties, scatologische connotaties, beledigende woorden en alledaagse woorden.

De onderzoekers onderzochten in hoeverre deze kenmerken correleren met humor en hoe goed een vooraf getrainde word2vec-inbedding in een corpus van Google Nieuws, genaamd GNEWS, kon elk van deze vastleggen. Een dataset die in hun onderzoek werd gebruikt, was de Engelthaler-Hill (EH) dataset, die bestaat uit gemiddelde humorscores voor 4, 997 woorden, die elk werden beoordeeld op een schaal van één tot vijf (door ongeveer 35 menselijke beoordelaars).

Om de verschillen in de perceptie van grappige woorden door mensen beter te begrijpen, de onderzoekers verzamelden ook een kleinere originele dataset van zeer humoristische woorden, het werven van Engelssprekende mensen om deze woorden te labelen via het Mechanical Turk-platform van Amazon. Ze voerden een reeks humorbeoordelingsstudies uit, deelnemers vragen om de woorden te selecteren die ze grappiger vonden, en om woorden te annoteren met de relevante humortheorieën voor elk.

Figuur die de relatie beschrijft tussen kenmerken met betrekking tot woordtheorieën in de woordinbedding en hun respectieve humorclassificaties. Krediet:Gultchin et al.

"We hebben meerdere mensen gevraagd om te beoordelen welke woorden ze het meest humoristisch vonden onder de Engelse woorden, " legde Kalai uit. "We ontwierpen een onderzoek waarbij mensen met minimale inspanning (de minste klikken) de woorden identificeerden die ze het grappigst vonden."

Vervolgens, de onderzoekers onderzochten hoe de kenmerken van humor die ze aanvankelijk hadden geïdentificeerd, correleerden met de humorclassificaties in hun dataset, om de effectiviteit van theoretische constructies te bepalen bij het vastleggen van beoordelingen die door mensen zijn gegeven. In aanvulling, ze testten de voorspelbaarheid van deze beoordelingen met behulp van woordinbeddingen, onderzoeken in hoeverre AI humor kan begrijpen.

"We ontdekten dat AI kon begrijpen waarom mensen sommige woorden grappiger vonden dan andere, en AI zou zelfs de verschillen tussen gevoel voor humor kunnen begrijpen, " zei Kalai. "AI begrijpt nog steeds geen humor in zinnen of langere teksten, maar we hopen dat ons werk een startpunt is."

Kalai en zijn collega's ontdekten dat woordinbedding aspecten van woordhumor effectief vastlegde zoals beoordeeld op de EH-dataset, evenals verschillen in humorclassificaties van hun nieuwe dataset. Hun bevindingen suggereren verder dat het gevoel voor humor van mensen kan worden ingebed met behulp van een handvol beoordelingen en dat de resulterende inbeddingen kunnen worden gebruikt om humorbeoordelingen te voorspellen voor voorheen niet-geclassificeerde woorden.

"Onze conclusies laten een interessante toepassing zien van woordinbeddingen en maken de weg vrij om deze te exploiteren om meer AI-humorwerk te doen, zoals het genereren of voorspellen van humoristische woorden die overeenkomen met individuele gevoel voor humor, en in totaal, "Limor Gultchin, een onderzoeker aan de Universiteit van Oxford die bij het onderzoek betrokken was, vertelde TechXplore. "Tegelijkertijd, we bieden ook verdere validatie aan intuïtieve noties van humor, en kennis verzameld op andere gebieden, zoals psychologie of filosofie."

Het onderzoek van Kalai, Gultchin en hun collega's laten zien dat het insluiten van woorden ons begrip van humor op verschillende manieren kan verbeteren. Ten eerste, vonden ze dat gevestigde theorieën over humor (bijv. de superioriteitstheorie, incongruentie theorie, enz.) worden in verschillende mate weergegeven in woordinbeddingen en kunnen dus worden gebruikt om humor te identificeren of te voorspellen, vastgelegd door menselijke beoordelingen.

Tabel met de verschillen tussen een meer 'vrouwelijk' gevoel voor humor versus 'mannelijk'. Krediet:Gultchin et al.

Met behulp van vectorrepresentaties van woorden, de onderzoekers waren ook in staat om een ​​individueel gevoel voor humor te definiëren als een gemiddelde vector, deze vectoren gebruiken om de humor van verschillende mensen te voorspellen (d.w.z. de humorclassificaties die ze aan bepaalde woorden zouden geven). Eindelijk, het clusteren van gevoel voor humor stelde hen in staat om clusters van humor te identificeren, zoals 'vrouwelijke humor, ' 'mannelijke humor, ' 'oudere humor, ' enzovoort.

Dit is een belangrijke bevinding, omdat het het idee bevestigt dat verschillende groepen mensen verschillende gevoel voor humor hebben. Bijvoorbeeld, ze merkten op dat seksuele woorden (bijvoorbeeld 'poppycock') grappiger waren voor mannen dan voor vrouwen, terwijl vrouwen meer reageerden op 'grappig klinkende' woorden (bijvoorbeeld 'gobbledegook').

"In het tijdperk van de heersende AI-systemen, zoals aanbevelingssystemen of geautomatiseerde assistenten, humor zou waarschijnlijk belangrijk blijken te zijn bij het faciliteren van een soepeler, meer naadloze interactie tussen gebruikers en geautomatiseerde systemen, "Zei Gultchin. "We hopen dat dit werk zal helpen als een proof of concept om aan te tonen dat bestaande NLP-tools ons al kunnen helpen dat doel te bereiken."

Kalain, Gultchin en hun collega's zullen de nieuwe datasets die in hun onderzoek worden gebruikt, openbaar maken, zodat andere onderzoekers ze kunnen gebruiken in hun onderzoek. Ze zijn van mening dat het verbeteren van het begrip van woordhumor door AI-systemen verschillende interessante mogelijkheden zou kunnen openen, bijvoorbeeld leidend tot de ontwikkeling van hulpmiddelen om comedians te helpen of de interactie tussen machines en mensen te verbeteren.

"We zijn nog aan het bekijken hoe dit werk zal worden geaccepteerd, maar er zijn meerdere toekomstige richtingen, "Gultchin zei. "Het zou echt interessant zijn om te zien of de concepten die hier worden uitgelegd inderdaad kunnen worden gebruikt in een interactief systeem dat 'grappige' aanpassingen aan zinnen produceert op basis van iemands gevoel voor humor, zoals weergegeven met behulp van woordinbeddingen. Een andere interessante richting is om te zien of we uiteindelijk kunnen leren om volledige humoristische zinnen te voorspellen en te genereren of, met recente ontwikkelingen, vol humoristische paragrafen."

© 2019 Wetenschap X Netwerk