Вести с полей. Неинвазивные технологии интерфейсов мозг-компьютер на основе ЭЭГ: на пути к  технологиям 5.0

Мы продолжаем знакомить вас с исследованиями, прозвучавшими на XXIV съезде Физиологического Общества имени И. П. Павлова. Cегодня наш рассказ – о своего рода «программном» докладе Александра Яковлевича Каплана (МГУ) о прошлом, настоящем и будущем интерфейсов мозг-компьютер.

Нейроинтерфейс, или интерфейс мозг-компьютер (BCI) — система для обмена информацией между мозгом человека и электронным устройством. Это технология, которая позволяет человеку взаимодействовать с внешним миром на основе регистрации электрической активности мозга. В случае неинвазивных BCI это происходит на основе электроэнцефалограммы (ЭЭГ). Желание человека совершить какое-то действие отображается в изменениях ЭЭГ, что, в свою очередь, расшифровывает компьютер.

В течение многих лет люди предполагали, что электроэнцефалографическая активность или другие электрофизиологические измерения функций мозга могут обеспечить новый немышечный канал для отправки сообщений и команд во внешний мир – интерфейс мозг-компьютер. За последние 15 лет возникли продуктивные исследовательские программы BCI. Воодушевленные новым пониманием функций мозга, появлением мощного недорогого компьютерного оборудования и растущим признанием потребностей и потенциала людей с ограниченными возможностями, эти программы концентрируются на разработке новых дополнительных технологий связи и управления для людей с тяжелыми нервно-мышечными расстройствами, такими как боковой амиотрофический склероз (БАС), инсульт ствола головного мозга и повреждение спинного мозга. Непосредственная цель состоит в том, чтобы предоставить пациентам, которые могут быть полностью парализованы или «заперты» в теле, базовые возможности общения, чтобы они могли выражать свои пожелания людям, осуществляющим уход, или даже работать с программами обработки текста или нейропротезами.

Современные BCI определяют намерения пользователя по множеству различных электрофизиологических сигналов. Эти сигналы включают медленные кортикальные потенциалы, потенциалы P300 и мю- или бета-ритмы, регистрируемые с кожи головы, а также активность корковых нейронов, которая регистрируется имплантированными электродами. В режиме реального времени они преобразуются в команды, которые управляют дисплеем компьютера или другим устройством. Для успешной работы необходимо, чтобы пользователь кодировал команды в этих сигналах и чтобы BCI извлекал команды из сигналов. Таким образом, пользователю и системе BCI необходимо как изначально, так и постоянно адаптироваться друг к другу, чтобы обеспечить стабильную работу.

На основе ЭЭГ было уже было создано несколько поколений нейроинтерфейсов, о которых ученый из МГУ им. Ломоносова Александр Каплан и представил доклад на физиологическом съезде. Он рассказал о современном состоянии проблем интеграции нейроинтерфейсных технологий в реабилитационных процессах и отметил необходимость разработки новых поколений нейроинтерфейсных технологий,

отличающихся свойствами индивидуальной адаптивности на основе использования средств тестирования возбудимости корковых мотонейронных пулов, использования расширенного арсенала мышечной и тактильной стимуляции и применения элементов искусственного интеллекта в контуре распознавания функциональных ЭЭГ паттернов.

Всего ученый выделил четыре сменившихся поколения нейроинтерфейсов – и наметил пятое.

Первое поколение ИМК: управление кнопками на основе волн Бергера

История первого поколения нейроинтерфейсов берет начало с Джо Камийя (1925-2021), который первым обратил внимание на то, что человек волевым усилием может направленно регулировать альфа-ритм. В 1958-1962 годах Джо пытался реализовать оперантное обучение управлению альфа-ритмом ЭЭГ для развития чувствительности к внутренним состояниям. Чуть позже в 1964-1967 годах англичанин Эдмонд Деван проводит серию экспериментов с электроэнцефалографом, в котором люди, подключенные к ЭЭГ учатся контролировать амплитуду мозговых альфа-волн. Расслабляясь и возбуждаясь, испытуемые передавали компьютеру сигналы, которые он преобразовывал в точку или тире, наподобие азбуки Морзе (так впервые «силой мысли» было передано слово «кибернетика»).

В 1973 инженер-исследователь из UCLA Жак Видаль (1928-2020) вводит термин brain-computer interface (BCI) или интерфейс мозг-компьютер (ИМК) в своей статье Toward Direct Brain-Computer Communication (таким образом, в этом году ИМК отмечает полувековой юбилей), и формулирует два ключевых вопроса: можно ли осуществлять передачу информации в мозг при связи человека с компьютером и можно ли использовать данные об электрической активности мозга для управления различными механизмами. Все эти эксперименты в конечном счете позволили понять, что естественные паттерны ЭЭГ не могут оперативно инициироваться произвольным образом. То есть, регуляция альфа-ритмов возможна в некоторой степени, но прямое командование — нет.

Второе поколение ИМК: управление медленными потенциалами

В 1960-е годы нейрофизиолог Грей Уолтер, используя электроды на коже головы человека, зарегистрировал возбуждения от движения большого пальца человека. Уолтер открыл знаменитую «волну ожидания» или «E-волну», которая составляла 300-500 мс перед непосредственным принятием решения, например, о нажатии на кнопку.

В 2003 году Нильсом Бирбаумером и его командой создано устройство трансляции мыслей: нейрофизиологический подход к общению при полном двигательном параличе. С помощью этого устройства пациенту под именем HS потребовалось 6 месяцев (52 тренировочных дня, около 160 часов), чтобы принять в общей сложности 128 900 бинарных решений и написать письмо ученым, состоящее из 454 немецких слов. Таким образом было доказано, что создание нейроинтерфейсов на основе регистрации потенциалов возможно, но его приемлемость не особо удовлетворительна. Волны ожидания и готовности могут инициироваться произвольно, но надежность составляет около 60%, что очень медленно: одна команда происходит за 10-15 секунд, требуются усилия пациента.

Третье поколение ИМК: «Сила внимания» (P300 and SSVEP)

В 1988 году Лоуренс Фарвел и Эммануэль Дончин впервые реализовали систему «виртуальной клавиатуры», позволяющей печатать текст, распознавая компонент Р300 при съеме зрительных вызванных потенциалов (ВП). С помощью этой клавиатуры люди каждый раз мысленно выбирали нужную букву на пересечении символьных строк и рядов, таким образом составляя слова и предложения. После этого было разработано много различных модификаций BCI систем со все возрастающими возможностями, нашедшими свое применение как в клинике для общения с пациентами, полностью утратившими возможность движения, так и инновационные технологические проекты по дистанционному управлению роботами. Среди проблем этого поколения нейроинтерфейсов: медленная выдача символов/команд – набор 6-12 букв в минуту, необходимость наличия экрана, утомительность процесса для пациента.

Четвертое поколение ИМК: «Образ (намерение) – сила!»

В 2002 году Герт Пфутшеллер и Джонатан Волпау экспериментируют с воображением движения, нейроинтерфейс использует сигналы при гашение мю-ритма. Мю-ритм является хорошим признаком того, задумал ли человек движение справа или слева. Проблема поколения 4.0: аккуратность не более 0.85, медленно – одна команда в 5-6 с, не более 4-5 команд.

Пятое поколение ИМК : «понимание для действия»

Ученые считают, что идеи нейроинтерфейсов 1.0-4.0 исчерпали себя в гонке за управлением автомобилем, роботами и т.д. В настоящее время перспективы ИМК 1.0-4.0 связаны с применением медицинской реабилитации в качестве в парадигмы в фундаментальной науке.

Среди важнейших характеристик при оценке нейроинтерфейсов Александр Каплан предлагает считать три ключевых параметра: надежность (надежность выделения произвольно управляемых паттернов, процент успешных попыток), скорость (время для записи и выделения паттерна), а также число команд (сколько команд интерфейс может реализовать).

Александр Каплан также рассказал о возможности создания и применения пятого поколение ИМК, который можно охарактеризовать как «понимание для действия».

Предлагается при помощи первого контура определять с помощью ЭЭГ согласен человек с каким-либо утверждением/образом/символом или не согласен. Второй контур должен догадываться что задумал человек и генерировать гипотезы задуманного (это могут делать генеративные сети искусственных нейронов). При этом процессе происходит нейроморфное копирование семантического пространства человека. В компьютере семантические поля расставляются на таких же дистанциях как и в мозге человека.

Каплан выдвигает аргументированное предположение о возможности создания инновационных нейроинтерфейсных технологий поколения 5.0, основанных на взаимодействии между мозгом человека и адаптированным для этого комплексом элементов искусственного интеллекта, включающем, в частности, генеративные искусственные нейронные сети, которые позволят в автоматизированном варианте оптимизировать формирование ментальных образов, максимально способствующих активации конструктивных пластических перестроек.

Текст: Виктория Киричок

Съезд организован Физиологическим обществом им. И.П. Павлова и Институтом эволюционной физиологии и биохимии им. И.М. Сеченова РАН и посвящен 300-летию Российской академии наук и включен в инициативу «Работа с опытом» Десятилетия науки и технологий.

Материал подготовлен при финансовой поддержке Минобрнауки России в рамках федерального проекта «Популяризация науки и технологий».