IBM Research en Rensselaer Polytechnic Institute (RPI) werken samen aan een nieuwe aanpak om studenten te helpen Mandarijn te leren. De strategie combineert een AI-gestuurde assistent met een meeslepende klasomgeving die nog niet eerder is gebruikt voor taalonderwijs. Het klaslokaal, genaamd de Cognitive Immersive Room (CIR), geeft studenten het gevoel alsof ze in een restaurant in China zijn, een tuin, of een Tai Chi-les, waar ze Mandarijn kunnen oefenen met een AI-chatagent. De CIR is ontwikkeld door het Cognitive and Immersive Systems Lab (CISL), een onderzoekssamenwerking tussen IBM Research en RPI.

Bij het leren van een nieuwe taal, vooral een zo moeilijk als het Mandarijn, het is belangrijk dat studenten veel mogelijkheden hebben om te spreken en hun gespreksvaardigheden te oefenen. Op een natuurlijke manier een nieuwe taal leren, door culturele onderdompeling, kan effectiever zijn dan niet-meeslepende praktijken. Nog, ervaringsleren is niet beschikbaar voor de meeste nieuwe leerlingen van Mandarijn. Daarom hebben we de CIR ontwikkeld.

Een meeslepende gamification-klasomgeving

Het CIR verenigt verschillende state-of-the-art technologieën zoals spraak-naar-tekst, natuurlijke taal begrijpen, en computervisie om onderdompeling en natuurlijke multimodale dialoog mogelijk te maken. De kamer is voorzien van een 360-graden panoramisch weergavesysteem, een audiosysteem, meerdere camera's, meerdere Kinect-apparaten, en meerdere microfoons, evenals computersystemen ter ondersteuning van de AI-technologieën, sommige bevinden zich in de kamer en andere in de cloud.

Ons doel is om cognitieve, meeslepende technologieën met spelelementen om studenten in staat te stellen een culturele omgeving te ervaren, dagelijkse taken uitvoeren, en krijg hulp van intelligente agenten. Met het Mandarijn Project, we gebruiken IBM Watson binnen het CIR als gesprekspartner om studenten te betrekken terwijl ze de taal leren. Onze aanpak omvat IBM Watson-spraakherkenning en natuurlijke taalbegripstechnologieën voor Engels en Chinees.

Een van de grootste obstakels bij het leren van een vreemde taal door onderdompeling is de angst van studenten om beoordeeld te worden door moedertaalsprekers. In de CIR, echter, studenten kunnen werken met virtuele gesprekspartners om woordenschat en uitspraak te oefenen zonder de druk van een real-world setting.

Veel onderzoekers op het gebied van taalverwerving werken met virtual of augmented reality, maar we onderzoeken op menselijke schaal, meeslepend, game-omgevingen waar studenten fysiek kunnen rondlopen zonder gespecialiseerde apparatuur te hoeven dragen. Dit weerspiegelt een bredere trend in mens-computerinteractie, naarmate onze omgang met informatie in ons dagelijks leven steeds meeslepender wordt en onze interacties met intelligente machines verschuiven naar partnerschap.

Ons systeem is in de late herfst van 2017 getest in een Chinese 1-klas op de campus van RPI. we zullen AI blijven gebruiken als leermiddel in het Chinees 1, 2 en 3 klassen, met als doel om in de zomer van 2019 een nieuwe klasse aan te bieden waarin Chinees 1-3 wordt samengevoegd.

Het onderzoek achter - en buiten - het klaslokaal

Als onderdeel van het IBM AI Horizons Network, CISL creëert en gebruikt technologieën als contextbewuste systemen, toonhoogtecontouranalyse, taalwissel tussen Chinees en Engels in een gesprek in natuurlijke taal tussen mensen en AI-agenten, multi-user multimodale interactie, redeneren en plannen in het besluitvormingsproces en multimodale storytelling met automatische generatie van verhalen, visualisatie en sonificatie.

De CIR is een van de vier use-cases in CISL. Het lab werkt ook aan het vergroten van groepsintelligentie voor kritische besluitvorming in echte omgevingen zoals directiekamers. In de toekomst, deze nieuwe cognitieve en immersieve systemen zouden de manier waarop mensen leven en werken fundamenteel kunnen veranderen. De vroege prototypes van CIR hebben ook mogelijkheden geboden voor onderzoek naar gebruikersinteractie, waardoor we nieuwe uitdagingen op het gebied van het leren van talen kunnen vinden en aanpakken.