Подумай хорошенько
Корреспондент «Популярной механики» побывал в лаборатории нейроробототехники Московского физико-технического института в подмосковном Долгопрудном, где команда ученых обучает нейросети читать мысли.
В лаборатории, где ученые из МФТИ создают интерфейс «мозг – компьютер», необычно выглядит только аппаратура для снятия ЭКГ: шапочки с электродами и серая коробка усилителя на столе. Вся суть работы Анатолия Бобе и его коллег – в нейросетях, то есть в обыкновенных компьютерах, поэтому показывать тут почти нечего. Это ученым интересно, что принесли с собой посетители. Большинство заходящих сюда людей на время одалживают ученым собственный мозг, позволяя наблюдать за происходящим в нем и совершенствовать будущую «приборную панель» нейроинтерфейса.
Мысленная кнопка
Лаборатория нейроробототехники сейчас занимается поиском мысленных образов, которые можно достоверно классифицировать по данным электроэнцефалограммы (ЭЭГ). Для этого ученые показывают подопытным подборки коротких видеороликов с YouTube, параллельно снимая ЭЭГ. На экране мелькают то котики, то парашютисты, то горящие дома, то работающие механизмы. Когда человек снимает шапку с электродами и уходит, начинает работать нейросеть, которая учится по данным ЭЭГ определять, на что смотрел человек.
Не все видео срабатывают одинаково хорошо. В опубликованной (пока в препринте) статье описано пять категорий видео, из которых хорошо распознавались только три. Выяснилось, например, что видео с фрактальными узорами совершенно бесполезны: по энцефалограмме, снятой во время их просмотра, нельзя сказать ничего определенного. А вот сюжеты с людьми, которые занимаются экстремальным спортом, видео, где представлены механизмы или лица крупным планом, определяются на ура. Корреспондент «ПМ» пришел спустя несколько недель после публикации, и ему достались новые видеоролики.
Найти такие сюжеты – значит найти мысленные образы, которыми можно пользоваться как командами для будущего интерфейса «мозг–компьютер». Современные игровые интерфейсы и прототипы управляемых силой мысли протезов распознают набор команд, в основном связанных с движением: «вперед», «назад», «вправо» или «влево». Но таких команд очень мало и уж точно недостаточно для будущего нейроинтерфейса, который должен заменить традиционные устройства ввода вроде клавиатуры и мыши. В МФТИ предположили, что в качестве команд можно использовать мысленные образы, которые заменят физические и виртуальные кнопки. Мысль о котике – одна команда, о поезде – другая, о смеющемся человеке – третья: «Чтобы отправить сообщение, вообразите прыжок с парашютом». По крайней мере, так это можно представить сейчас, пока коллектив лаборатории нейроробототехники только начинает работу.