Человеко-компьютерный интерфейс – миф или реальность? / Хабр

Внимание, все графические изображение представленные ниже не несут никакой смысловой нагрузки, и если вы их не видите, то вы ничего не потеряли.

Что же такое интерфейс в целом?

Согласно Википедии, интерфейс является совокупностью средств, методов и правил взаимодействия (управления, контроля и т. д.) между элементами системы, ну а если выражаться русским не-матерным языком, то интерфейс — это способ взаимодействия чего-то с чем-то, т.е. все окружающее нас ничто иное нежели интерфейс, ведь само понятие нашей жизни раскрывается через взаимодействие с чем-то. Нет, небыло и не будет никого кто существовал бы без взаимодействия с чем-либо: например, кушаете макароны — интрефейсом является ложка (предвосхищая некоторое недовольство — да-да!, ложка — не интерфейс, а средство ввода, ну про средство вывода не будем упоминать, ну ладно — вы поняли о чем я) в рамках этого потока сознания (ЭССЭ — я сказал это — ЭССЕ) мы поговорим о человеко-компьютерном интерфейсе (хотя и это не совсем верно, но давайте убьем этого скобочного зануду и продолжим), итак сегодня мы говорим о ЧКИ.

Данный интерфейс предназначен для взаимодействия собственно человека и компьютера. Могие даже не задумываясь используют той или иной интерфейс при работе с электроникой, в частности, с компьютером. Например, данный текст целиком написан при помощи графического оконного интерфейса, а всего несколько лет назад (этак цать), автор сего эссэ пользовался текстовым интерфейсом, а возможно через несколько лет еще, или прямо завтра будет вполне успешно пользоваться другим интерфейсом (ха-ха! уже пользуюсь, и не первый год!). Последние изменения в IT-индустрии подвигли меня написать краткую статью, посвященную изменениям в интерфейсах ЧКИ. Давайте оглянемся внимательно назад — несколько десятилетий назад люди пользовались текстовыми интерфейсами и не помышляли о большем — ввод информации и команд с клавиатуры представлялся максимально удобным и единственно верным, применение других интерфейсов представлялось расточительством машинных ресурсов и замедляющим работу непотребством. Однако, компании Xerox ничто не помешало в своих лабораториях создать мышь и графический интерфейс, правда отцы основатели не отличались особой проницательностью и отличную идею получилось умыкнуть Apple — молодой и амбициозной организации, намеренной покорить рынок (забегая немного вперед — это ей удалось, но со второго раза).

И что мы имеем — текстовый интерфейс пал!

Да здравствует новый король — графический оконный интерфейс. Правда текстовый интерфейс сохранился и здравствует по-ныне, однако мало кто об этом знает. Несомненно консоль и сейчас является незаменимым инструментом для диагностики и настройки не только в ОС Linux и BSD но и Windows, однако большинство пользователей даже не подозревает о ее наличии под тоннами графики. Посмотрите внимательно на экран своего компьютера (Линуксоиды — зайдите в гости к менеджерам и посмотрите на их компьютеры), что вы видите? Несмотря на многие различия в зависимости от установленной ОС вы с вероятностью 99% увидите оконный интерфейс с элементами управления окнами, со средствами создания новых окон независимо от ОС и прикладного (Ха-ха, ПРИКЛАДНОГО) ПО. Революция не за горами — удивитесь и узрите — новые интерфейсы уже сейчас перед вами!
Жестовый интерфейс

Бла-бла Ipad, бла-бла-бла iphone, android, да знаем, знаем…
Ну и знаете, ну и молодцы, однако не одними гаджетами жестовый интерфейс славится. Сам принцип жестового интерфейса далеко не нов — данный интерфейс широко эксплуатировался в кинематографии — например, сериал «Стар трек» и фильм «Особое мнение» (простите, не силен по части фильмов сайнс-фикшн, но, если покопаться, наберется много других примеров фильмов, в которых персонажи эффектно размахивая руками управляют объектами на экране или голограммами). Так что же мешало появлению жестового интерфейса? Да ничто не мешало, исследования начались задолго до первого коммерческого применения мультитача и не только начались, а были какие-никакие наработки — так первая поверхность с поддержкой мультитач появилась еще в 1985 году, а первым популярным продуктом, в котором она применялась, стал Apple iPhone — таким образом, от момента ее создания до мирового признания прошло почти 22 года (а я говорил, что революция будет — ну правда не 22 года назад, а всего-лишь двумя абзацами выше). Т.е. появлению новых интерфейсов мешают в основном недостаточный уровень текущих технологий, а вследствии этого чрезмерная дороговизна новых решений в сфере интерфейсов.
Тем не менее, только ленивый сейчас не знаком с жестовым интерфейсом — на любом современном телефоне применяется именно он дорогой (Вот он! Интерфейс моей мечты!). Что же дает нам простым смертным пользователям жестовый интерфейс? Экраны с поддержкой мультитача, ориентированы на прямое взаимодействие с объектом который на них изображен, т.е. мы избавляемся от «посредника». Раньше все было просто — экран (дисплей) — устройство вывода, на нем мы видим изображение предмета, и при помощи устройства ввода (клавиатура, мышь) воздействуем на него, теперь же мы просто пальцем можем провернуть с объектом такие вещи, что раньше и не снились без участия мыши — повернуть, масштабировать, перенести, а когда нам будет нужна клавиатура — она появится на том же дисплее. Современные видеоигры также обзавелись жестовыми интерфейсами — там даже не нужно ничего трогать — достаточно производить жесты в пространстве. На сегодняшний день все лидеры игрового рынка представили свои решения в сфере жестовых интерфейсов.
Первой на рынок вышла Nintendo с Wii, следом за ней с небольшим отставанием последовали Microsoft с Kinect и Sony с Move. Игровой контроллер Wii remote, «видя» инфракрасные огоньки на sensor bar, подключенный к консоли, определяет свое положение в пространстве. В Sony Move все наоборот: игрок держит в руках контроллеры со светящимися лампочками, а камера, подключаемая к приставке, наблюдает за их положением. В Kinect встроен проектор, усеивающий пространство перед собой матрицей из инфракрасных точек, одна из камер, настроенная на нужный диапазон, улавливает их расположение, и еще одна камера передает приставке обычное цветное изображение. Также Kinect снабжен стереомикрофоном и сервоприводом, корректирующим угол наклона камер. Все вместе это позволяет по-настоящему распознавать образы, а не просто улавливать расположение маркеров, т.е. при использовании Kinect нет необходимости что-либо держать в руках, однако это не позволит создать эффективную обратную связь, например тактильную, о которой речь пойдет ниже.
Насколько хорош жестовый интерфейс? Об этом можно долго спорить, однако факт огромных продаж различных гаджетов с поддержкой жестового интерфейса, выпуск всеми титанами рынка видеоигр консолей с подержкой данного интерфейса говорит о многом — жестовому интерфейсу быть и здравствовать. К тому же Microsoft выводит Kinekt на рынок ПК, и есть уже готовые решения по управлению Windows при помощи жестов, например разработка от Evoluce использует Kinect, и предназначена для Home Edition и Windows 7 и позволяет управлять медиапроигрывателем и некоторыми функциями Microsoft Office и PowerPoint. В интернете есть видео, демонстрирующее все преимущества данного революционного вида управления (Гм… я бы сказал все косяки этого управления).

Однако, сможет ли жестовый интерфейс полностью вытеснить устройства ввода-вывода (А-а-а-а!!! Отдайте клавиатуру! Куда потащили!? Не отдам!)? Да вряд-ли, что-то этот интерфейс вытеснит в ближайшее время. Просто станет отличным дополнением к существующим, для примера возьмем масштабирование объектов — несомненно будет удобнее увеличить или уменьшить изображение щипковым жестом точно под интересующий нас размер, тоже самое с остальным медиа-контентом (перелистывание, масштабирование, перемотка и т.

д.), а текст? Нет уж, текст мы как-нибудь без жестов наберем при помощи древних девайсов, хотя возможно нам предложат действительно стоящую альтернативу (ну тогда и поговорим). К тому же, то, что хорошо для малых дисплеев не всегда будет также хорошо для больших.

Попробуйте в течении нескольких часов махать руками перед 50-ти дюймовой панелью перемещая объекты (вот и решение фитнес-проблем менеджеров, не нужно дополнительных трат на абонементы). Примерно то же было и с мышью — она не вытеснила клавиатуру, а лишь удачно дополнила ее. Однако для гаджетов вроде уже все решилось — кнопки ушли, и ушли безвозратно (Ой-ли?)

Тактильный интерфейс

К сожалению нормального определения данного интерфейса найти так и не удалось, однако он является логическим продолжением и развитием жестового интерфейса, и возможно никогда не обзаведется собственным названием, а будет что-то вроде жестового интерфейса с обратной связью. Основной принцип этого интерфейса заключается в том, что, например, проводя пальцем по поверхности тач-скрина над объектом, тактильные ощущения передаются вам на пальцы (или чем вы там водите по тач-скрину).

Все это связано с тем, что взаимодействие с тач-скринами при помощи жестового интерфейса является для пользователя не всегда полноценным, ввиду отсутствия тактильных ощущений при работе с тач-скрином. (Бла-бла. Это же Хабр, поэтому дальше пару абзацев я хотел вставить копипаст с какими-то примерами тактильных интерфейсов и немного технической информации. Но вы можете погуглить сами, если интересно).

Среди того, что можно пощупать простым смертным, не имеющим спецпропусков в исследовательские лаборатории — Wii. В ней помимо жестового интерфейса, который правда реализован частично и не везде, также реализована обратная тактильная связь в виде вибрации при наведении на пункты меню. Это конечно не совсем, то что имелось ввиду, но минимальное представление получить можно.

Голосовой интерфейс

И данный тип интерфейса только в последнее время вышел в более-менее удобоваримом виде, ввиду того, о Siri не знает только ленивый, долго распинаться смысла особого не вижу, вообще то разработок голосовых интерфейсов было вагон и тележка, однако до удобоваримого (коммерческого) применения дошли только Apple и Google. Этот интерфейс также шагнул прямо из фантастических фильмов (правда сначала ранние разработки в идеализированном виде шагнули в кино, а потом обратно в жизнь). Электронное устройство на вопрос заданный голосом (не при помощи голосовых меток, а именно произвольно сформулированный и заданный) мы получаем адекватный ответ ввиде текста, голоса, либо ссылки. Применение может обрести поистине широкое, но также как и предыдущие типы не претендует на полное заменение старых интерфейсов, а способен прекрасно их дополнить.

Нейрокомпьютерный интерфейс

Прямое взаимодействие мозга и компьютера, помните я говорил о посреднике? Человек ленив по своей природе, все эти мышки и мультитачи не будут нужны, если будет создан нормальный нейрокомпьютерный интерфейс. Да, они уже созданы, но под нормальными мы подразумеваем такой — подумали написать годовой отчет — и он написался! Правда немного с употреблением мата, нелестных упоминаний о руководстве и с элементами порно, но написался же! Но на данный момент данный интерфейс находится в стадии узкоспециализированного применения в сфере медицины для общения с парализованными пациентами, несмотря на то, что устройства можно даже приобрести (на Хабре уже неоднократно писали о этих девайсах).

Итоги

Вот и сбылись мечты — все, что мы видели только в кино, теперь доступно оптом и в розницу. Тем не менее не стоит выбрасывать старую добрую клавиатуру и мышь, ведь как и консоль в эпоху графических интерфейсов, она будет прекрасно чувствовать себя по-соседству с Kinect, модулем голосового управления и чего там еще придумают.

ПО МОЕМУ ХОТЕНЬЮ… БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС

В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью…». Как только произнесет их Емеля, вокруг начинаются чудеса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли сказочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?

Общая модель нейро-компьютерного интерфейса.

Нейро-компьютерный интерфейс.

Еще один нейро-компьютерный интерфейс (НКИ).

На картинах распределения электрических потенциалов на поверхности головы видно, что за несколько долей секунды до выполнения действия правой рукой отрицательный потенциал повышается в левой половине коры головного мозга и наоборот.

Общая схема обработки данных в БНКИ.

Мысленно имитируя движение правой или левой рукой, пользователь направляет курсор в левое или правое поле в верхней части экрана.

Работая на виртуальной пишущей машинке, пользователь за несколько шагов выбирает нужную букву.

Приложение обратной связи БНКИ «мысленный теннис».

Приложение обратной связи БНКИ «мысленный диггер».

Приложение обратной связи БНКИ «мысленный тетрис».

Работая с приложением «виртуальная рука», пациент приобретает навыки управления электромеханическим протезом: учится поднимать его, сгибать в локте, сжимать и разжимать пальцы.

‹

›

Открыть в полном размере

Мысль может стать физической силой

Для лентяя Емели езда на печи была обычной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна возможности жить. Как бы заставить инвалидную коляску ехать, останавливаться или поворачивать без физического воздействия и без посторонней помощи? Для пациентов, потерявших способность управлять деятельностью мышц, единственный способ общения с внешним миром — это материализация их мысленных желаний.

Намерение выполнить определенное действие возникает в недрах нашего мозга и превращается в электрический потенциал. Его распределение в пространстве и времени создает определенную картину, которую можно отобразить с помощью электроэнцефалографа 1. В настоящее время созданы особые системы, получившие название нейро-компьютерных интерфейсов 2, которые способны различать множество таких картин и превращать их в команды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).

Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообщения и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привычным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «восприятия», «мышления».

Как все начиналось

Еще в 1929 году немецкому врачу-нейрофизиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвердить гипотезу о том, что действия человека всегда связаны с повышением активности отдельных зон коры головного мозга. С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшифровать электроэнцефалограмму. Но мешали технические причины: недостаточное пространственное разрешение электроэнцефалографов (то есть не удавалось в подробностях получить картину распределения потенциалов), а также отсутствие возможности хранить и обрабатывать в режиме реального времени огромные массивы данных.

Последнее десятилетие прошлого века прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные ЭВМ с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а также новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейро-компьютерных интерфейсов (НКИ).

В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой интерфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-компьютерным. Более того, для пациентов, полностью утративших двигательные функции, его применимость сильно ограничена.

Первые эксперименты с НКИ начали проводить в Уодсфорд-центре Нью-Йоркского университета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления исполнительным устройством (компьютером, инвалидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные каналы передачи информации от головного мозга.

Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиатура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С помощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.

Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им пространственно-временны’ е картины, и стремится подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Когда группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь снова ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем появляется в строке в верхней части экрана. Процесс тренировки не прост, занимает много времени, но результат стоит того.

Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и основанный на использовании схожных нейрофизиологических признаков, сегодня помогает парализованному пациенту управлять протезом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследованиями и постоянным совершенствованием системы, продлился более года.

Берлинский НКИ

Система, разработанная сотрудниками Института компьютерных архитектур и программного обеспечения Общества Фраунхофера и нейрофизиологами берлинской клиники Шарите, принципиально отличается от предшественников. Чтобы пользоваться Берлинским нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, начиная работать с ней, должен лишь показать машине, как он собирается ею управлять.

Во время тренировочных сессий пользователь должен был нажимать клавиши правой или левой рукой или представлять себе такое движение. По результатам 4-5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.

Затем начинается обработка ЭЭГ. Для этого в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предшествующий нажатию клавиши. Выполнение каждого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мышцам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для человеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного потенциала легко обнаруживается на картинах распределения электрического поля, усредненных после многократных повторений движений левой и правой руки. При намерении совершить движение левой рукой отрицательный потенциал возникает в области правого полушария, а перед движением правой рукой — в области левого полушария. Было установлено, что заметное повышение потенциала происходит за 0,5-0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, то есть на некоторое время «успокоиться», а процесс понижения их индивидуальной активности как раз и отражается в росте отрицательного потенциала. После посылки импульса также происходит задержка порядка 0,15 секунды — за это время он достигает соответствующих мышц.

Берлинский НКИ, таким образом, может заранее распознать команду на совершение мышечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспечения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведены в состояние готовности.

После того как собрано достаточное количество примеров, включается автоматическая процедура обучения. Она производит анализ примеров и вырабатывает модель управления системой, наиболее подходящую для данного пользователя. Для этого подбираются характерные признаки, несущие информацию о различных командах управления, и рассчитывается математическая функция, способная по каждому набору признаков генерировать команду управления.

Весь процесс обучения системы занимает не более двух минут, в течение которых пользователь может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что компьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или правой рукой производит эффект, как при истинном движении. Самое главное для пользователя — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовывать сигналы, полученные от пользователя, в реальном времени.

В связи с большими потоками информации БНКИ сконструирован с использованием нескольких компьютеров, объединенных в локальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выбирать один вариант из двух возможных. Он, например, с точностью 75-90% за 0,2-0,1 секунды до того, как пользователь действительно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.

Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Более высокой надежности достигают, разделяя сложную задачу на несколько простых. Например, задача распознавания набора команд «влево», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «движение», тогда «лево» или «право», иначе «покой».

Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из области виртуальной реальности.

От теории к практике

В БНКИ привлекает разнообразие прикладных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная другим компьютером. Обратная связь в этом случае очень важна: пользователь должен все время видеть реакцию системы на свои мысленные приказы.

Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Игровые программы предназначены для здоровых пользователей, а реабилитационные позволяют пациенту с ограниченными двигательными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии известных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пишущую машинку» и «виртуальную руку».

На начальных этапах освоения системы рекомендуется использовать простейшую прикладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сигналов электроэнцефалографа. Вертикальная координата курсора изменяется при поступлении команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновляются с частотой 25 Гц. Таким образом, положение курсора позволяет визуализировать, насколько правильно система распознает управляющие команды. При мысленном желании подвинуть левую (правую) руку курсор должен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.

Такого рода двоичное управление успешно используется в виртуальной пишущей машинке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обучения системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реализуются его мысленные команды.

В нижней части экрана есть поле обратной связи, с помощью которого пользователь-новичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле отключают, так как лишние объекты на экране будут скорее мешать, чем помогать.

С помощью этой прикладной программы пользователь может набирать текст со скоростью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, которая предлагает наиболее вероятные продолжения слова, то работа станет еще эффективнее.

Наиболее удобным и естественным для человека устройством ввода информации в компьютер считается мышь. Поэтому резонно возникает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, управляют курсором в компьютерной игре «теннис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).

Для реализации подобной игры вполне подходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ракетка», управляемая «силой мысли», так, чтобы в нужный момент перехватить «мяч». Разумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.

Следующей ступенью будет задача перемещения курсора по всей плоскости экрана.

Другим приложением БНКИ стала игра «диггер». Курсор представляет собой путешественника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабиринта. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В местах ответвлений пользователь может дать одну из команд: «налево» или «направо».

Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, оснащенная видеокамерой для определения местонахождения и обнаружения препятствий, интерпретирует следующие команды: «поверни налево (направо) при следующей возможности», «двигайся вперед (назад) при отсутствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для пациентов со сложными травмами и заболеваниями спинного мозга, правда пока в единичных случаях.

Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сигналов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).

Очень интересное приложение, которое можно реализовать с помощью БНКИ, относится к серии виртуальной реальности. «Виртуальная рука», изображенная на экране, позволяет пациенту приобрести навык управления электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плечевом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцированные движения распознать пока не удается, поскольку двигательные центры мышц предплечий и пальцев расположены близко друг к другу и электроэнцефалограф не может различить картины распределения потенциалов, формируемых этими центрами.

А кто исправит ошибку?

Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что развитие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре неправильный ход, то возникает одна из таких ошибочных ситуаций. «Недовольство» пользователя принятым системой решением вызывает появление потенциала ошибки, и если система распознает этот потенциал в течение 0,4-0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситуацию.

Что нас ждет впереди?

Чтобы НКИ стали более совершенными, разработчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забывать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».

Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особенностей «поведения» соответствующих зон головного мозга. Это позволит значительно расширить диапазон команд управления. Современная нейрология располагает довольно неточными «картами» головного мозга. Недостаточно изучены функции и назначения отдельных регионов. К наиболее хорошо изученным можно отнести двигательный и осязательный ареалы коры, и здесь мы можем с точностью до 3-7 мм указать на поверхности мозга расположение нервных клеток, которые несут ответственность за ту или иную часть тела.

Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электроды.

Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или умственной нагрузки. Благодаря новинкам в области цифровой обработки сигналов и машинного обучения появятся средства точного распознавания и перевода биоэлектрических импульсов в команды. Тогда перед НКИ откроется еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскоростных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов самолетов и космонавтов.

В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое содружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.

1 В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере.

2Об интерфейсах рассказывается в заметке, помещенной после статьи.

Иллюстрация «Общая модель нейро-компьютерного интерфейса».
Общая модель нейро-компьютерного интерфейса представляет собой замкнутый поток информации. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы снимаются электроэнцефалографом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие.

Иллюстрация «Нейро-компьютерный интерфейс».
В нейро-компьютерном интерфейсе, созданном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной скоростью курсор к полю, содержащему нужный символ. За несколько повторов можно выбрать символ, который затем включится в текст, появляющийся в верхней части экрана.

Иллюстрация «Еще один нейро-компьютерный интерфейс (НКИ)».
На кривых 27 каналов электроэнцефало-графа (F3-O1) и четырех дополнительных каналов (электромиограммы левой и правой руки EMGL и EMGR, а также электроокулограммы EOGh и EOGv движения глаза) представлены три примера выполнения задания здоровым пользователем. Он последовательно нажимал клавишу правой, левой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно увидеть связь между намерением выполнить действие (в цветных рамках) и самим по-следующим действием (вершины треугольников).

Иллюстрация «Общая схема обработки данных в БНКИ».
Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую задачу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сервером. На втором — производятся выбор признаков, их классификация по типам (например, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она играет роль команд, поступающих с устройств ввода, и управляет работой игровой или реабилитационной прикладной программы. Реакция на сигналы пользователя отражается на мониторе, то есть возникает обратная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.

Интерфейсы между компьютерными системами — PubMed

. 1995 март 1; 52 (5): 524-8; викторина 543-5.

doi: 10.1093/ajhp/52.5.524.

Д А Триббл 1 , Р. А. Корпман

принадлежность

  • 1 Baxa Corporation, Englewood, CO 80112, США.
  • PMID: 7606560
  • DOI: 10.1093/аджхп/52.5.524

Д. А. Триббл и др. Am J Health Syst Pharm. .

. 1995 март 1; 52 (5): 524-8; викторина 543-5.

дои: 10.1093/аджхп/52.5.524.

Авторы

Д А Триббл 1 , Р. А. Корпман

принадлежность

  • 1 Baxa Corporation, Englewood, CO 80112, США.
  • PMID: 7606560
  • DOI: 10.1093/аджхп/52.5.524

Абстрактный

Рассмотрены интерфейсы между компьютерными системами. Интерфейс устанавливает физическое соединение между двумя компьютерными системами, диалоговый синтаксис, формат логических сообщений, передаваемых между системами, и структуру кодирования данных, понятную обеим системам. Интерфейсы обычно реализуются в виде программных модулей и состоят из трех «слоев». Физический уровень содержит фактическое физическое соединение, а также оборудование, встроенное ПО и программное обеспечение, обеспечивающее работу соединения. Уровень протокола гарантирует, что биты данных, отправляемые системой-отправителем через интерфейс, будут получены без изменений и в правильной последовательности. Логический уровень упорядочивает отправляемые данные в форме, которую может прочитать другая система. Интерфейсы можно описать по тому, работают ли они в пакетном режиме или в режиме реального времени, являются ли они однонаправленными или двунаправленными, а также по среде, используемой для установления физического соединения (например, обмен гибкими дисками или последовательное соединение RS-232). Реальная проблема создания интерфейса заключается в том, чтобы обеспечить осмысленность транзакций между двумя системами. Механизм интерфейса позволяет одной компьютерной системе взаимодействовать с несколькими другими через одно соединение. Хороший интерфейс обладает незаметностью, надежностью, своевременностью, гибкостью, лаконичностью и полезностью. При планировании интерфейса необходимо четко определить цели и предполагаемый обмен данными. Интерфейс должен быть максимально простым, отвечающим потребностям аптеки. Когда спецификация интерфейса завершена, аптека должна тщательно протестировать интерфейс.

Похожие статьи

  • Компьютерные системы больничных аптек: запрос предложений и процесс выбора.

    Строуп Дж. Строуп Дж. Кан Джей Хосп Фарм. 1987 г., июнь; 40 (3): 86–90. Кан Джей Хосп Фарм. 1987. PMID: 10282582

  • Вычислительная точка зрения архитектуры OpenLabs.

    Йерворт М., Хермансон Б., Гримсон В., Уэйд В., Аллахверди Н., Моуритсен Т., Гримсон Дж. Йерворт М. и соавт. Вычислительные методы Программы Биомед. 1996 г., июль; 50 (2): 111–22. doi: 10.1016/0169-2607(96)01740-v. Вычислительные методы Программы Биомед. 1996. PMID: 8875018

  • Концепция стандартизации передачи необработанных биосигналов для интерфейсов мозг-компьютер.

    Breitwieser C, Neuper C, Müller-Putz GR. Брайтвизер С. и др. Annu Int Conf IEEE Eng Med Biol Soc. 2011;2011:6377-80. дои: 10.1109/ИЭМБС.2011.6091574. Annu Int Conf IEEE Eng Med Biol Soc. 2011. PMID: 22255797

  • Высокопроизводительные вычисления, высокоскоростные сети и настраиваемые вычислительные среды: переход к полностью распределенным вычислениям.

    Johnston WE, Jacobson VL, Loken SC, Robertson DW, Tierney BL. Джонстон В.Е. и соавт. Crit Rev Biomed Eng. 1992;20(5-6):315-54. Crit Rev Biomed Eng. 1992. PMID: 1486779 Обзор.

  • Веб-интерфейсы к клиническим информационным системам: современное состояние.

    Ситтиг Д.Ф., Куперман Г.Дж., Тейч Ю.М. Sittig DF, et al. Proc AMIA Annu Fall Symp. 1996: 694-8. Proc AMIA Annu Fall Symp. 1996. PMID: 8947754 Бесплатная статья ЧВК. Обзор.

Посмотреть все похожие статьи

термины MeSH

В центре внимания науки и техники: интерфейсы мозг-компьютер

Краткие факты

Интерфейсы мозг-компьютер позволяют людям управлять машинами, используя свои мысли. Технология все еще в значительной степени экспериментальна, но ее возможности огромны. Например, это могло бы помочь людям с параличом восстановить контроль над своими конечностями и позволить военнослужащим управлять дроном без помощи рук на поле боя.

Тем не менее, создание прямой связи между мозгом и машиной может вызвать опасения. Например, это может дать пользователям несправедливые преимущества за счет улучшения физических и когнитивных способностей. Также хакеры могли украсть данные, связанные с сигналами мозга человека.

В этом обзоре мы рассмотрим эти и другие вопросы политики, связанные с этой технологией.

Перейти к основным моментам

Основные моменты

Почему это важно

Интерфейсы мозг-компьютер позволяют людям управлять машинами, используя свои мысли. Эти интерфейсы могут помочь людям с ограниченными возможностями, а также улучшить взаимодействие человека с компьютером. Например, военные могут управлять дроном без помощи рук на поле боя. Тем не менее, технология остается в значительной степени экспериментальной и вызывает вопросы о безопасности, этике и справедливости.

Технология

Что это? Интерфейс мозг-компьютер (BCI) позволяет человеку управлять внешним устройством, используя сигналы мозга. BCI могут помочь людям с ограниченными возможностями и улучшить возможности национальной обороны, среди прочего. Например, исследователи разрабатывают BCI, которые позволяют людям с параличом произносить слова на экране компьютера или восстанавливать контроль над своими конечностями. Кроме того, исследователи разрабатывают роботизированные конечности, управляемые BCI, которые могут дать пользователям чувство осязания. BCI также могут расширить возможности человека, позволяя ему, например, управлять компьютеризированным оборудованием, используя свои мысли (см. рис. 1).

Рис. 1. Примеры приложений BCI включают в себя средство проверки правописания для связи, интерфейс смартфона, дрон, управляемый BCI, и роботизированную конечность.

Как это работает? Новые пользователи BCI часто проходят повторяющийся процесс обучения. Пользователь учится подавать сигналы, которые BCI распознает, а BCI преобразует сигналы для управления устройством с помощью машинного обучения.

Как правило, НКИ подключаются к мозгу двумя способами: через имплантированные или носимые устройства (см. рис. 2). Имплантированные BCI часто хирургическим путем прикрепляются непосредственно к ткани головного мозга. Они могут быть более подходящими для пользователей с тяжелыми нервно-мышечными расстройствами или физическими травмами. Например, человек с параличом может использовать имплантированный BCI, прикрепленный к определенным нейронам, чтобы восстановить точный контроль над конечностью. Имплантированные BCI измеряют сигналы непосредственно от мозга, уменьшая помехи от других тканей. Однако они представляют хирургический риск, такой как инфекция и отторжение. Некоторые имплантированные BCI снижают риск, размещая электроды на поверхности мозга. Этот метод называется электрокортикографией (ЭКоГ).

Носимым BCI часто требуется колпачок с проводниками, которые измеряют мозговую активность, обнаруживаемую на коже головы. Носимый BCI может подойти для таких целей, как дополненная и виртуальная реальность, игры или управление промышленным роботом. Большинство носимых BCI используют электроэнцефалографию (ЭЭГ) для измерения электрической активности мозга. Новый метод — функциональная спектроскопия в ближней инфракрасной области (fNIRS) — пропускает свет в ближней инфракрасной области через череп для измерения кровотока, что может указывать на такую ​​информацию, как намерения пользователя.

Чтобы повысить мобильность, исследователи разрабатывают BCI, которые используют портативные методы для сбора данных, например, беспроводную ЭЭГ. Эти методы позволяют пользователям управлять смартфоном или другим устройством, свободно перемещаясь.

Рис. 2. Примеры имплантированных (слева) и носимых (справа) ИМК.

Насколько он зрелый? Большинство BCI являются экспериментальными. Исследователи впервые протестировали носимый НКИ в начале 1970-х годов и впервые имплантировали НКИ человеку в конце 19-го.90-е. Исследования BCI значительно расширились в 21 веке, что привело к публикации тысяч исследовательских работ. По данным одной ведущей компании BCI, менее 40 человек во всем мире имплантировали BCI, все они экспериментальные. Одним из основных препятствий на пути развития НКИ является то, что каждый человек генерирует уникальные мозговые сигналы. Другая проблема заключается в сложности измерения этих сигналов.

Исторически исследования BCI были сосредоточены на биомедицинских применениях, таких как помощь людям, получившим инвалидность в результате инсульта, физической травмы или неврологического расстройства. В апреле 2021 года устройство, в котором используется беспроводная гарнитура ЭЭГ, чтобы помочь пациентам, перенесшим инсульт, восстановить контроль над рукой и кистью, стало первым носимым BCI для реабилитации, получившим разрешение на продажу от Управления по санитарному надзору за качеством пищевых продуктов и медикаментов. Ряд других носимых и имплантируемых ИМК для медицинских целей в настоящее время проходят клинические испытания.

Исследователи также разрабатывают приложения для использования в военных целях и для систем, правильная работа которых имеет решающее значение для безопасности. Например, исследователи из Национального управления по аэронавтике и исследованию космического пространства использовали BCI, чтобы определить, когда пилоты и авиадиспетчеры с большей вероятностью допускают ошибки. Министерство обороны профинансировало исследования BCI для управления дронами без помощи рук. И Федеральное авиационное управление изучило, как с медицинской точки зрения сертифицировать пилотов, которые однажды смогут использовать BCI для управления самолетами.

Что беспокоит? Некоторые исследователи отмечают возможные юридические последствия и последствия для безопасности BCI. Например, кибератаки вызывают озабоченность, поскольку хакеры могут использовать вредоносное ПО для перехвата данных сигналов мозга, хранящихся на смартфоне. Министерство торговли в настоящее время рассматривает вопрос о том, может ли экспорт BCI представлять угрозу национальной безопасности. Например, иностранные противники могут получить военное или разведывательное преимущество. Его решение может повлиять на то, как технология используется и распространяется за рубежом.

Исследователи также обдумывали социальные и этические последствия. Зарегистрированная стоимость носимых BCI колеблется от сотен до тысяч долларов, что может привести к неравному доступу. Кроме того, обучение использованию некоторых типов BCI требует обучения, что может обременять пользователей. Исследователи также предположили, что перевод сигналов мозга в речь с помощью BCI может причинить вред, если он будет неточным. Например, неточный перевод может указывать на юридическое или медицинское согласие, которое человек не собирался давать.

Возможности

  • Помощь людям с ограниченными возможностями. Люди, парализованные физическими травмами или неврологическими расстройствами, могут использовать BCI для общения и восстановления контроля над своими конечностями.
  • Расширение возможностей человека и взаимодействие человека с компьютером. BCI могут ускорить и упростить взаимодействие между людьми и машинами в таких областях, как оборона и космос. Кроме того, некоторые исследователи предположили, что роботы, управляемые BCI, могут помогать людям в опасных условиях, таких как угольные шахты.
  • Содействие исследованиям мозга.  Ученые могут использовать НКИ для улучшения понимания мозга. Некоторые исследователи использовали BCI для обнаружения эмоций пациентов в вегетативном или минимально сознательном состоянии.

Проблемы

  • Технические и пользовательские проблемы. Каждый человек генерирует уникальные сигналы мозга, которые трудно четко измерить. Кроме того, обучение использованию BCI может потребовать значительной подготовки.
  • Этическая основа. BCI могут вызвать вопросы о том, что представляет собой согласие, и о потенциальных несправедливых преимуществах, предоставляемых определенными человеческими улучшениями.

    No related posts.