Mensen met een visuele beperking gebruiken sociale media zoals iedereen, vaak met behulp van schermlezersoftware. Maar die technologie schiet tekort als ze memes tegenkomt, die geen alternatieve tekst bevatten, of alt-tekst, om te beschrijven wat er op de afbeelding wordt afgebeeld.

Om dit tegen te gaan, onderzoekers van Carnegie Mellon University hebben een methode ontwikkeld om automatisch memes te identificeren en vooraf geschreven sjablonen toe te passen om beschrijvende alt-tekst toe te voegen, begrijpelijk maken via bestaande ondersteunende technologieën.

Memes zijn afbeeldingen die worden gekopieerd en vervolgens worden bedekt met kleine variaties in tekst. Ze zijn vaak humoristisch en brengen een gedeelde ervaring over, maar "als je blind bent, je mist dat deel van het gesprek, " zei Cole Gleason, een doctoraat student in CMU's Human-Computer Interaction Institute (HCII.)

"Memes lijken misschien niet het belangrijkste probleem, maar een essentieel onderdeel van toegankelijkheid is niet voor mensen kiezen wat hun aandacht verdient, " zei Jeff Bigham, universitair hoofddocent in de HCII. "Veel mensen gebruiken memes, en dus moeten ze toegankelijk worden gemaakt."

Memes leven grotendeels binnen sociale-mediaplatforms die belemmeringen hebben voor het toevoegen van alt-tekst. Twitter, bijvoorbeeld, stelt mensen in staat om alt-tekst toe te voegen aan hun afbeeldingen, maar die functie is niet altijd gemakkelijk te vinden. Van de negen miljoen tweets die de CMU-onderzoekers hebben onderzocht, een miljoen opgenomen afbeeldingen en, van deze, slechts 0,1 procent bevatte alt-tekst.

Gleason zei dat basistechnieken voor computervisie het mogelijk maken om de afbeeldingen te beschrijven die ten grondslag liggen aan elke meme, of het nu een beroemdheid is, een huilende baby, een stripfiguur of een scène zoals een bus die ondersteboven in een zinkgat ligt. Optische tekenherkenningstechnieken worden gebruikt om de overlappende tekst te ontcijferen, die kan veranderen met elke iteratie van de meme. Voor elk memetype, het is alleen nodig om één sjabloon te maken die de afbeelding beschrijft, en de overlappende tekst kan worden toegevoegd voor elke iteratie van die meme.

Maar uitschrijven wat de meme moet overbrengen bleek moeilijk.

"Het hing van de meme af of de humor vertaald werd. Sommige beelden zijn genuanceerder, "Zei Gleason. "En soms is het expliciet en kun je het gewoon beschrijven." de volledige alt-tekst voor de zogenaamde "success kid"-meme luidt:"Peuter balde zijn vuist voor zelfvoldaan gezicht. Overlappende tekst bovenaan:Was een stoute jongen het hele jaar. Overlappende tekst onderaan:Nog steeds geweldige cadeaus van de kerstman."

Het team creëerde ook een platform om memes te vertalen in geluid in plaats van tekst. Gebruikers zoeken door een geluidsbibliotheek en slepen en neerzetten elementen in een sjabloon. Dit systeem is gemaakt om bestaande memes te vertalen en het sentiment over te brengen door middel van muziek en geluidseffecten.

"Een van de redenen waarom we de audiomemes probeerden, was omdat we dachten dat alt-tekst de grap zou doden, maar mensen gaven toch de voorkeur aan de tekst omdat ze er zo aan gewend waren, ' zei Gleason.

Het inzetten van de technologie zal een uitdaging zijn. Zelfs als het was geïntegreerd in een meme-generatorwebsite, dat alt-tekst niet automatisch zou worden gekopieerd wanneer de afbeelding op sociale media werd gedeeld.

"We zouden Twitter moeten overtuigen om een ​​nieuwe functie toe te voegen, " zei Gleason. Het kan iets zijn dat is toegevoegd aan een persoonlijke smartphone, maar hij merkte op dat dit de gebruiker zou belasten. CMU-onderzoekers werken momenteel aan gerelateerde projecten, inclusief een browserextensie voor Twitter die alt-tekst voor elke afbeelding probeert toe te voegen en een meme-systeem kan bevatten. Een ander project probeert alt-tekst te integreren in de metadata van afbeeldingen die bij de afbeelding zouden blijven, waar deze ook werd geplaatst.

Dit werk werd eerder dit jaar gepresenteerd op de ACCESS-conferentie in Pittsburgh. Andere onderzoekers die bij het onderzoek betrokken zijn, zijn onder meer HCII-postdoctoraal onderzoeker Amy Pavel, CMU-student Xingyu Liu, HCII-assistent-professor Patrick Carrington en Lydia Chilton van Columbia University.