Onderzoekers van het Russische bedrijf Neurobotics en het Moscow Institute of Physics and Technology hebben een manier gevonden om de hersenactiviteit van een persoon te visualiseren als echte beelden die nabootsen wat ze in realtime waarnemen. Dit zal nieuwe revalidatieapparaten na een beroerte mogelijk maken die worden aangestuurd door hersensignalen. Het team publiceerde zijn onderzoek als een preprint op bioRxiv en plaatste een video online waarin hun "gedachtenlezen"-systeem op het werk te zien was.

Om apparaten te ontwikkelen die worden bestuurd door de hersenen en methoden voor de behandeling van cognitieve stoornissen en revalidatie na een beroerte, neurobiologen moeten begrijpen hoe de hersenen informatie coderen. Een belangrijk aspect hiervan is het bestuderen van de hersenactiviteit van mensen die visuele informatie waarnemen, bijvoorbeeld, tijdens het kijken naar een video.

De bestaande oplossingen voor het extraheren van waargenomen beelden uit hersensignalen maken gebruik van functionele MRI of analyseren de signalen die via implantaten direct van neuronen worden opgepikt. Beide methoden hebben vrij beperkte toepassingen in de klinische praktijk en het dagelijks leven.

De door MIPT en Neurobotics ontwikkelde hersen-computerinterface is gebaseerd op kunstmatige neurale netwerken en elektro-encefalografie, of EEG, een techniek voor het opnemen van hersengolven via elektroden die niet-invasief op de hoofdhuid worden geplaatst. Door hersenactiviteit te analyseren, het systeem reconstrueert de beelden die worden gezien door een persoon die een EEG ondergaat in realtime.

"We werken aan het Assistive Technologies-project van Neuronet van het National Technology Initiative, die zich richt op de hersen-computerinterface waarmee patiënten na een beroerte een exoskeletarm kunnen besturen voor neurorevalidatiedoeleinden, of verlamde patiënten om een ​​elektrische rolstoel te besturen, bijvoorbeeld. Het uiteindelijke doel is om de nauwkeurigheid van neurale controle voor gezonde individuen te vergroten, te, " zei Vladimir Konyshev, die aan het hoofd staat van het Neurorobotics Lab bij MIPT.

In het eerste deel van het experiment, de neurobiologen vroegen gezonde proefpersonen om 20 minuten YouTube-videofragmenten van 10 seconden te bekijken. Het team selecteerde vijf willekeurige videocategorieën:abstracte vormen, watervallen, menselijke gezichten, bewegingsmechanismen en motorsport. De laatste categorie bevatte first-person opnames van sneeuwscooters, waterscooter, motor- en autoraces.

Door de EEG-gegevens te analyseren, de onderzoekers toonden aan dat de hersengolfpatronen verschillend zijn voor elke categorie video's. Hierdoor kon het team de reactie van de hersenen op video's in realtime analyseren.

In de tweede fase van het experiment, uit de oorspronkelijke vijf werden drie willekeurige categorieën gekozen. De onderzoekers ontwikkelden twee neurale netwerken:een voor het genereren van willekeurige categoriespecifieke afbeeldingen van "ruis, " en een andere voor het genereren van vergelijkbare "ruis" van EEG. Het team trainde vervolgens de netwerken om samen te werken op een manier die het EEG-signaal omzet in daadwerkelijke beelden die lijken op de beelden die de proefpersonen observeerden (fig. 2).

Om het vermogen van het systeem om hersenactiviteit te visualiseren te testen, de proefpersonen kregen eerder ongeziene video's uit dezelfde categorieën te zien. Terwijl ze keken, EEG's werden geregistreerd en naar de neurale netwerken gevoerd. Het systeem heeft de test doorstaan, overtuigende afbeeldingen genereren die in 90 procent van de gevallen gemakkelijk konden worden gecategoriseerd (fig. 1).

"Het elektro-encefalogram is een verzameling hersensignalen die zijn opgenomen van de hoofdhuid. Onderzoekers dachten vroeger dat het bestuderen van hersenprocessen via EEG hetzelfde is als het uitzoeken van de interne structuur van een stoommachine door de rook te analyseren die wordt achtergelaten door een stoomtrein, " verklaarde co-auteur van het papier Grigory Rashkov, een junior onderzoeker bij MIPT en een programmeur bij Neurobotics. "We hadden niet verwacht dat het voldoende informatie bevat om een ​​door een persoon waargenomen beeld zelfs maar gedeeltelijk te reconstrueren. Toch bleek het heel goed mogelijk te zijn."

"Bovendien, we kunnen dit gebruiken als basis voor een brein-computerinterface die in realtime werkt. Het is redelijk geruststellend. Met de huidige technologie, de invasieve neurale interfaces die Elon Musk voor ogen had, worden geconfronteerd met de uitdagingen van complexe chirurgie en snelle achteruitgang als gevolg van natuurlijke processen - ze oxideren en falen binnen enkele maanden. We hopen dat we uiteindelijk meer betaalbare neurale interfaces kunnen ontwerpen die geen implantatie vereisen, ’ voegde de onderzoeker eraan toe.