Ook al zijn ze niet nodig om de specifieke geluiden te maken, delen van de gezichten van Mandarijn-Chinese sprekers - hun wenkbrauwen en lippen - bootsen de stijgende en dalende toonhoogte na die het ene woord onderscheidt dat precies hetzelfde gespeld is van het andere.

Met andere woorden, wenkbrauwen van sprekers volgen de geluiden die hun keel maakt.

Dit is de bevinding van een nieuwe studie mede geschreven door Allard Jongman en Joan Sereno, Hoogleraren taalkunde aan de Universiteit van Kansas.

Ze zeggen dat het de noodzaak impliceert om te onderzoeken of deze subtiele gezichtsbewegingen luisteraars helpen te begrijpen wat de sprekers proberen over te brengen.

Samen met Canadese universiteitscollega's Saurabh Garg, Ghassan Hamarneh en Yue Wang, Jongman en Sereno schreven "Computervisie-analyse onthult gezichtsbewegingen gemaakt tijdens de productie van Mandarijntonen in lijn met toonhoogtetrajecten" in de oktobereditie van het tijdschrift Spraakcommunicatie .

Ze zeggen dat het de eerste keer is dat de associatie van deze gezichtsbewegingen met de stemtoon is geïdentificeerd en gekwantificeerd.

In een recent interview, Jongman gaf het voorbeeld van het Chinese woord dat in het Engels fonetisch als "ma" zou worden gespeld. Zoals met velen, zo niet de meeste, Mandarijn woorden, het kan op vier manieren worden uitgesproken:niveau, stijgende lijn, onderdompelen of vallen. Afhankelijk, dan, bij intonatie, het woord kan betekenen "moeder, " " hennep, " "paard" of "schelden."

"Je moet dit goed doen, ' zei Jongman. 'Anders, je noemt je moeder een paard."

"Er zijn veel talen met dit soort toonhoogte die worden geassocieerd met verschillende woorden, ' zei Sereno.

"De meerderheid van de sprekers in de wereld zijn toontaalsprekers, "Zei Jongman. "En het komt allemaal door variaties in de snelheid van stemplooitrillingen."

Wijzend naar zijn keel, Jongman zei, "Op hoge toon de stemplooien hier beneden trillen in een zeer hoog tempo. En als je een lage toonhoogte hebt, ze trillen veel langzamer. Dus het komt allemaal van de actie hier beneden."

"Technisch gezien, " zei Sereno, wijzend naar haar gezicht, "Er zou hier niets moeten zijn dat 'ma' onderscheidt met een hoge toon versus 'ma' met een dalende toonhoogte."

En toch, hun studie vond, er is. De gezichtsstructuren van mensen bootsen de stijgende/dalende intonaties na die ze op hun woorden toepassen.

"Sommige van deze associaties tussen gezichtsbeweging en intonatie of toonhoogte waren voorlopig vastgesteld, zei Jongman. "We gingen nog een stap verder en zeiden:"OKE, laten we hier systematisch naar kijken.""

De onderzoekers namen de gezichten van de Chinese sprekers op terwijl ze spraken, onderwierp de bestanden vervolgens aan computeranalyse om de relatie tussen intonatie en gezichtsbewegingen te bepalen. Jongman zei dat het een grote verbetering is ten opzichte van eerdere methoden.

"Vroeger, " hij zei, "mensen hebben gebruik gemaakt van zogenaamde opto-track-analyse. Je plakt een paar lichtgevende sensoren op het gezicht, en dan volg je de beweging van die sensoren. En soms plak je zelfs dingen op de lippen. Dus je zit daar met deze sensoren, en u wordt gevraagd te spreken. Ik bedoel, hoe natuurlijk is dat? Dat beperkt wat mensen in normale omstandigheden zouden doen. Nummer twee, je moet een vooropgezet idee hebben van wat de belangrijke regio's op het gezicht zullen zijn, omdat je niets kunt meten waar je geen sensor op hebt gezet.

"Dat is een groot voordeel van onze aanpak. We hebben nu een paar kenmerken gekozen. Maar als later een andere groep vindt dat je oorlel echt belangrijk is, we kunnen teruggaan naar onze opnames en dat analyseren."

Nu ze hebben bewezen dat de gezichten van Mandarijnsprekers met hun intonatie volgen, Jongman en Sereno zeiden dat de volgende stap zal zijn om te bepalen in hoeverre deze visuele aanwijzingen de luisteraar helpen - hun 'linguïstische betekenis'.

"We gaan een gezicht met de computer genereren en dan die kenmerken manipuleren die we net hebben gevonden en kijken of het een verschil maakt. ' zei Jongman. 'Reageren luisteraars erop?'

Net zoals mensen met een gehoorbeperking kunnen leren liplezen, mensen kunnen misschien profiteren van de subtielere gezichtskenmerken, de nieuwe studie heeft gevonden.

"Als je slechthorend bent, en we kunnen sommige van deze signalen misschien een beetje overdrijven of mensen leren ze te overdrijven, of doe dat ook bij het leren van talen, dat zou enorm kunnen helpen, ' zei Jongmans.

Sereno zei dat ze zich een scenario kan voorstellen waarin een taalleerder wordt geholpen door de gezichtssignalen van moedertaalsprekers te bekijken.

"Visuele manipulatie zou kunnen helpen om dat te identificeren, "zei ze. "Als ze dan in een natuurlijke situatie komen, als er misschien minder overdrijving is van die signalen, ze kunnen ze nog steeds veel beter identificeren."