источник: ТАСС Наука .17.10.2019


Искусственный интеллект прочитал и показал мысли российских ученых



Для этого ему понадобились лишь данные ЭЭГ.



ТАСС, 17 октября. Российские специалисты научили нейросеть в реальном времени воссоздавать изображения, которые человек видит в данный момент. Разработка поможет при создании устройств реабилитации пациентов, в том числе после инсульта, сообщила пресс-служба МФТИ. Статья с описанием работы опубликована на портале BioRxiv.


Ученым очень важно понимать, как мозг обрабатывает информацию — в частности, для того, чтобы в дальнейшем создавать и совершенствовать методы лечения нарушений работы головного мозга, помогать при реабилитации после инсульта и создавать устройства, которыми человек может управлять лишь при помощи мозга.

При этом ключевая задача состоит в том, чтобы изучить активность мозга, которая возникает, когда он воспринимает визуальную информацию. Современные разработки в этой области используют функциональную магнитно-резонансную томографию (фМРТ) или анализ сигнала, получаемого непосредственно с нейронов. Особенности этих методов ограничивают их применение в клинической практике и повседневной жизни.

Чтобы преодолеть эти ограничения, ученые из Московского физико-технического института (МФТИ) и компании «Нейроботикс» создали интерфейс «мозг — компьютер», который использует для тех же целей нейросети и электроэнцефалографию (ЭЭГ).

С помощью этого метода ученые получают с поверхности головы сигналы от работы нервных клеток, которые могут многое рассказать о работе головного мозга.

«Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, — отмечает один из авторов работы Григорий Рашков. — Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс “мозг — компьютер”. Это очень обнадеживает. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации»

.
Суть опыта


Эксперимент состоял из двух частей. В первой исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» (видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли) и «движущиеся механизмы», так называемые машины Голдберга. Все эти видео ученые показывали испытуемым, записывая при этом ЭЭГ с поверхности их голов.



Ученые доказали, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Во второй части эксперимента авторы обучили две специально созданные нейросети по сигналу ЭЭГ воссоздавать кадры, которые похожи на те, которые видели люди в тот момент, когда записывалась энцефалограмма.


Для проверки испытуемым — в том числе одному из соавторов работы — показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее нейросетям на обработку. Те хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.




https://youtu.be/nf-P3b2AnZw


Работа проводилась в рамках проекта «Ассистивные технологии» НейроНет НТИ. Он был начат в 2017 году и направлен на разработку комплекса устройств для реабилитации больных после инсульта и нейротравм головы. Проект включает разработку комплекса устройств — это нейрогарнитура NeuroPlay, нейротренажер и другие. Одна из целей работы — увеличить точность нейроуправления (то есть управления устройствами при помощи одного лишь головного мозга) не только пациентами, но и здоровыми людьми.