Een algoritme ontwikkeld door computerwetenschappers van Brown University stelt robots in staat om pen op papier te zetten, woorden schrijven met lijnpatronen die lijken op menselijk handschrift. Het is een stap, zeggen de onderzoekers, naar robots die vloeiender kunnen communiceren met menselijke collega's en medewerkers.

"Gewoon door te kijken naar een doelafbeelding van een woord of schets, de robot kan elke slag reproduceren als één continue actie, " zei Atsunobu Kotani, een student aan Brown die de ontwikkeling van het algoritme leidde. "Dat maakt het moeilijk voor mensen om te onderscheiden of het door de robot is geschreven of eigenlijk door een mens."

Het algoritme maakt gebruik van deep learning-netwerken die afbeeldingen van handgeschreven woorden of schetsen analyseren en de waarschijnlijke reeks pennenstreken kunnen afleiden die ze hebben gemaakt. De robot kan vervolgens de woorden of schetsen reproduceren met behulp van de pennenstreken die hij heeft geleerd. In een paper dat deze maand zal worden gepresenteerd op de internationale conferentie over robotica en automatisering, de onderzoekers demonstreren een robot die "hallo" kon schrijven in 10 talen die verschillende tekensets gebruiken. De robot was ook in staat om ruwe schetsen te reproduceren, waaronder een van de Mona Lisa.

Stefanie Tellex, een assistent-professor computerwetenschappen bij Brown en Kotani's adviseur, zegt dat wat dit werk uniek maakt, het vermogen van de robot is om de slagvolgorde vanaf het begin te leren.

"Veel van het bestaande werk op dit gebied vereist dat de robot vooraf informatie heeft over de slagvolgorde, "Zei Tellex. "Als je wilde dat de robot iets zou schrijven, iemand zou elke keer de slagvolgorde moeten programmeren. Met wat Atsu heeft gedaan, je kunt tekenen wat je wilt en de robot kan het reproduceren. Het doet niet altijd de perfecte slagvolgorde, maar het komt aardig in de buurt."

Een ander opmerkelijk aspect van het werk, Tellex zegt, is hoe het algoritme zijn vermogen om slagen te reproduceren kon veralgemenen. Kotani trainde zijn deep learning-algoritme met behulp van een set Japanse karakters, en toonde aan dat het de karakters en de lijnen die ze creëerden kon reproduceren met een nauwkeurigheid van ongeveer 93 procent. Maar tot grote verbazing van de onderzoekers, het algoritme kon uiteindelijk heel verschillende tekentypen reproduceren die het nog nooit eerder had gezien - Engelse druk en cursief, bijvoorbeeld.

"We zouden blij zijn geweest als het alleen de Japanse karakters had geleerd, "Zei Tellex. "Maar toen het eenmaal begon te werken aan Engels, we waren verbaasd. Toen hebben we besloten om te kijken hoe ver we konden gaan."

Tellex en Kotani vroegen iedereen die in Tellex's Humans to Robots-lab werkt om "hallo" in hun moedertaal te schrijven. waaronder Grieks, Hindi, Urdu, Onder andere Chinees en Jiddisch. De robot was in staat om ze allemaal met een redelijke slagnauwkeurigheid te reproduceren.

"Ik heb het gevoel dat er iets heel moois is aan de robot die in zoveel verschillende talen schrijft, "Zei Tellex. "Dat vond ik echt gaaf."

Maar het meesterwerk van het systeem is misschien wel de kopie van Kotani's Mona Lisa-schets. Hij tekende zijn schets op een droog uitwisbaar bord in Tellex' lab, en liet de robot het vervolgens kopiëren - redelijk getrouw - op hetzelfde bord net onder het origineel van Kotani.

"Het was vroeg in de ochtend dat onze robot eindelijk de Mona Lisa op het whiteboard tekende, " zei Kotani. "Toen ik terugkwam in het lab, iedereen stond rond het whiteboard naar de Mona Lisa te kijken en vroeg me of [de robot] dit tekende. Ze konden het niet geloven."

Het was een groot moment voor Kotani omdat "het het moment was waarop onze robot definieerde wat verder gaat dan alleen printen." Een inkjetprinter kan een afbeelding, maar het doet dit met een printkop die heen en weer gaat en de afbeelding regel voor regel opbouwt. Maar dit was de robot die een afbeelding maakte met mensachtige slagen, wat voor Kotani 'iets veel menselijker en expressiever' is.

Sleutel om het systeem te laten werken, Kotani zegt, is dat het algoritme twee verschillende modellen gebruikt van de afbeelding die het probeert te reproduceren. Met behulp van een globaal model dat het beeld als geheel beschouwt, het algoritme identificeert een waarschijnlijk startpunt voor het maken van de eerste slag. Zodra die beroerte is begonnen, het algoritme zoomt in, pixel voor pixel naar de afbeelding kijken om te bepalen waar die streek moet komen en hoe lang deze moet zijn. Wanneer het het einde van de slag bereikt, roept het algoritme opnieuw het globale model aan om te bepalen waar de volgende slag moet beginnen, dan is het terug naar het ingezoomde model. Dit proces wordt herhaald totdat het beeld compleet is.

Zowel Kotani als Tellex zeggen dat het werk een stap is in de richting van betere communicatie tussen mensen en robots. uiteindelijk, ze stellen zich robots voor die Post-it Notes kunnen achterlaten, dicteer of schets diagrammen voor hun menselijke collega's en medewerkers.

"Ik wil dat een robot alles kan wat een mens kan, "Zei Tellex. "Ik ben vooral geïnteresseerd in een robot die taal kan gebruiken. Schrijven is een manier waarop mensen taal gebruiken, dus we dachten dat we dit moesten proberen."