ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР КАК НОВЫЙ ЯЗЫК ОБЩЕНИЯ: базовая архитектура, современное состояние и проблемные области аспирант 2 года НИИ нейрокибернетики ЮФУ м. н. с. Лазуренко Дмитрий
Актуальность ИМК исследований По мнению д-ра Терезы Селлерс и Филипа Кеннеди (Theresa Sellers, Philip Kennedy Wadsworth Center), во всем мире насчитывается приблизительно 100 млн. потенциальных пользователей технологии ИМК, людей с различными повреждениями головного и спинного мозга, включая 16 млн. человек, страдающих церебральным параличом. В США сейчас более 200, 000 пациентов, страдающих частичным или полным нарушением двигательной функции, связанного с нервнодегенеративными расстройствами или травмами. В России, по разным оценкам, насчитывается до 100, 000 прикованных к постели пациентов.
Основные понятия • Neuroprosthesis/Neurocontrol (Биоуправление) подключение к периферической НС. Кобринский Арон Ефимович Биоэлектрическая система управления (1957); Гурфинкель Виктор Семенович Биоэлектрическое управление в медицине (1964) • Biofeedback/Neurofeedback (БОС-тренинг) Neal Miller (1909 -2002). Joe Kamiya Conscious control of brain waves (1968) Sterman Maurice B. Biofeedback training of the sensorimotor EEG rhythm in man: Effects on epilepsy (1974) Klimesch Wolfgang Increasing individual upper alpha power by neurofeedback improves cognitive performance in human subjects (2005). В России активно развивались Ленинградская (Василевский Н. Н. , Черниговская Н. В. и др) и Новосибирская (Штарк М. Б. и др) школы (1970 гг. ) • Brain–computer interface (BCI), often called a mind-machine interface (MMI), or sometimes called a direct neural interface or a brain–machine interface (BMI) – (Интерфейс мозг-компьютер, ИМК), is a direct communication pathway between the brain and an external device. BCIs are often directed at assisting, augmenting, or repairing human cognitive or sensory-motor functions. Walpaw Jontan R. (2000, 2002) Eberhard Fetz et. al. Control of cell activity with feedback (1969) Andrew Schwartz (1984) Philip R. Kennedy (1987) John P. Donoghue Brain. Gate (1991) Miguel Nicolelis (1999)
LOCK-IN
Основные подходы ИМК ‘BRAINGATE’ BCI Brain controlled Robot BCI 2000 BCI for Tereaplegics ATR and HONDA’s new BCI
ПРИНЦИПИАЛЬНЫЕ ВОПРОСЫ 1. Сможет ли мозг найти дополнительные резервы для создания новых моделей (новой схемы тела) взаимодействия нейронных сетей при условии, что объектом его управления будут не мышцы с их обилием датчиков перемещения и положения, готовыми от рождения и с детства для произвольного управления, а искусственные внешние объекты? 2. Сможет ли мозг отвлечь часть своих ресурсов специально с тем, чтобы генерировать управляющие ЭЭГ-паттерны, исходно не связанные с внутренней интенцией (с регуляцией естественных двигательных функций)? 3. Сможет ли мозг локализовать тот нейронный ансамбль или группу таких ансамблей, регистрация активности которых транслируется в команды для внешних устройств? Существенным ограничением для систем такого рода является то, что управление внешним устройством/объектом должно осуществляться в полноценном динамическом режиме (по типу управления автомобилем).
E. M. Schmidt et al. Fine Control of Operantly Conditioned Firing Patterns of Cortical Neurons. Experimental Neurology 61, 349 -369 (1978) E. M. Schmidt et al. Operant Conditioning of Firing Patterns in Monkey Cortical Neurons Experimental Neurology 54, 467 -477 (1977) National Institute of Health, Bethesda, Maryland USA • Инструментальное обучение приматов регуляции частоты импульсации малых популяций нейронов на значимый стимул. • Назовем такой ИМК «Пассивным ИМК позиционного типа» .
Активный ИМК динамического типа Chapin, J. K. et al. (1999) Real time control of a robot arm using simultaneously recorded neurons in the motor cortex. at. euroscince. N N 2, 664– 670 Активность отдельного нейрона управляла положением поилки… очевидно по желанию «клиента» . Nicolelis, 2006
Мысленные движения (Motor imagery)
Как создать нейропротез на основе ИМК? • Для группы пациентов, лишенных двигательной активности, нормальные нервно-мышечные каналы, по тем или иным причинам, не могут реализовать моторные команды мозга, генерируемые в конечном итоге на корковом уровне. • ИМК должен детектировать моторную команду на уровне коры и транслировать ее для исполнения техническому устройству, заменяющего собой мышцу, или непосредственно объекту, к которому мышечная сила должна быть приложена. Сам объект управления (например, инвалидная коляска или компьютер) должен быть предварительно оснащен приемником команд от ИМК. На этом пути, однако, есть две принципиальные проблемы. .
Две принципиальные проблемы ИМК • Проблема 1 Как ИМК обнаружит и декодирует нужные корковые команды для передачи исполнительному устройству? Если мозг не поврежден, то кора постоянно находится в деятельном состоянии, как выделить из этой квазистационарной активности, например, только моторные команды? • Проблема 2 Как сделать так, чтобы нужные корковые команды появлялись в ответ на внутренние желания пациента? Проблема обучения пользователя. • Проблема 3 Динамичность, а следовательно и скорость управления, систем такого рода все еще остается на низком уровне (не более 25 бит в мин. ) Возникает вопрос о возможности произвольной регуляции параметрами электрической активности коры. Это не было задумано природой!
Решение проблем 1 и 2 Детектирование и интерпретация корковых команд • Выбрать, например, корковое представительство движений указательного пальца. Всякий раз, когда обследуемый по собственному желанию представляет в уме сгибание этого пальца в соответствующей корковой области должно происходить изменение активности. Параметры такой активности можно использовать как бинарный код: активность 1 и активность 2 (0 или 1). Остается только: • 1. С помощью инвазивной или неинвазивной техники зарегистрировать активность в соответствующей области коры и. . • 2. Научить ИМК различать два явно отличающихся активных состояния коры
Архитектуры инвазивного и неинвазивного ИМК 1. The implant device, or chronic multielectrode array 2. The signal recording and processing section 3. An external device the subject uses to produce & control motion 4. A feedback section to the subject The cortex neuron and its activity
Электрографические феномены, используемые в ИМК системах
• Feature extraction methods in BCI designs based on sensorimotor activity, VEP, P 300, SCP, response to mental tasks, activity of neural cells, and multiple neuromechanisms. Taken from (Bashashati et al. , 2007).
Инвазивный ИМК для парализованных пациентов Philip Kennedy (together with surgeon Roy Bakay, Emory University) были первыми, кто имплантировали пациенту электроды, которые позволили получать очень чистый бинарный корковый сигнал (Brain. Gate project). Первый пациент научился и управлял одномерным курсором компьютера более 1 года. Kennedy, P. R. , Bakay R. A. (1998) Restoration of neural output from a paralysed patient by a direct brain connection. Neuroreport. ; 9(8): 1707 -11
John P. Donoghue, et al. Assistive technology and robotic control using motor cortex ensemble-based neural interface systems in humans with tetraplegia. J Physiol 579. 3 (2007) pp 603– 611 NIS implant and sensor Brown University A, parts of the implant include the array, skull mounted percutaneous pedestal, and a 96 wire cable that connects them; B, 10*10 array of electrodes, each separated by 400 μm.
Неинвазивный ИМК ЭЭГ-BCI: технология «Перебора символов» Farwell LA, Donchin E, Kramer AF TALKING HEADS - A MENTAL PROSTHESIS FOR COMMUNICATING WITH EVENT-RELATED POTENTIALS OF THE EEG PSYCHOPHYSIOLOGY 23 (4): 434 -434 JUL 1986 Технология «перебора символов» Основана на эффекте возрастания компонента ВП Р 300 в случае, если ожидаемый образ символа совпадает с предъявленным символом. ИМК предъявляет человеку разные символы, пока не найдет тот, на который реагирует Р 300. Инициатива за внешней средой: желание субъекта ЗОНДИРУЕТСЯ только запросом внешнего устройства. Технологии перебора не предназначены для динамического управления.
Известно также, что предпринимались попытки объединить BMI и ERP-BCI технологий с тем, чтобы компенсировать технические недостатки каждой из них, и в итоге создать сетевой интерфейс (Brain-Network Interface, BNI). Считается, что именно такой подход более всего подходит для общения с парализованными и находящимися в коме пациентами.
Другие неинвазивные ИМК Slow cortical activity (SLA) Sensomotor activity (SMA) Niels Birbaumer and Leonardo G. Cohen // J Physiol 579. 3 (2007) pp 621– 636
Неинвазивный ИМК на основе произвольного управления - Логика: необходимо научить пользователя произвольно вызывать несколько стандартных изменений в ЭЭГ, чтобы система ИМК детектировала их как код. Этот код затем используется для формирования команд запуска исполнительных устройств. Вопрос… как заставить себя произвести эти изменения в ЭЭГ, если только элементарно не закрывать-открывать глаза, вызывая феномены синхронизации-десинхронизации ЭЭГ? До настоящего времени был очевиден только один путь: необходимо научиться представлять себе в уме конкретные образы, каждый из которых в ЭЭГ имеет свое специфическое отражение. ИМК же должен детектировать эти изменения и транслировать в необходимые человеку внешние действия исполнительных устройств. Важное условие: должно соблюдаться однозначное соответствие между выбранными ментальными образами и ЭЭГ паттернами, на которые настроен ИМК.
ЭЭГ-ИМК: технология «Двойного кодирования» Итак, чтобы выполнить целевую задачу, например, повернуть «налево» или «направо» надо сначала в уме «посчитать» или «расслабиться» соответственно! Назовем этот кодирование. путь: Двойное Таким образом, задача управления через ИМК становится для человека противоестественной: надо подумать об одном, чтобы совершилось другое… Между тем, очень важно, чтобы ИМК работал в реальном времени. Только в таком случае можно говорить о реальном воплощении идеи ИМК. Prof. Gert Pfurtscheller (Graz BCI)
Неинвазивный BCI на основе произвольного управления Проблема 1. Произвольная генерация командных паттернов ЭЭГ. Не существует надежной детерминации в цепочке двойного кодирования: Намерение ( «налево-направо; вверх-вниз» ) – генерация образа/состояния (счет, релаксация), а в итоге появление командного паттерна ЭЭГ, для однозначного распознавания в ИМК. Именно поэтому представляется более эффективным использование тех же самых сигналов мозга, генерируемых для управления естественными моторными единицами. Проблема 2. Декодирование ЭЭГ – выделение командного паттерна. Метод ЭЭГ обладает слабым пространственным разрешением и потому выделить в реальном времени четкий, а главное, единичный паттерн ЭЭГ в связи с генерацией конкретного образа (сгибание пальца руки или ноги) становится чрезвычайно затруднительным.
Резюме • До появления ИМК технологии связь между активностью мозга и произвольной деятельностью отражалась исключительно в сознании самого человека, но с её появлением происходит коренной перелом. • Оказывается, что в режиме реального времени сознание человека может быть разделено, иначе говоря, распараллелено и частично перенесено, например, в компьютер. • Так, намерения человека, которые ранее были скрыты для непосредственного наблюдения, стали доступны и могут быть зарегистрированы, а также находят свое отражение не только в собственном сознании человека, но и во внешнем мире. В связи с этим, может значительно измениться концепция автономии человека.
Скачать презентацию ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР КАК НОВЫЙ ЯЗЫК ОБЩЕНИЯ базовая архитектура
BCI_club.pptx