Наручное устройство переводит язык жестов

«Носимая технология сочетает в себе датчики движения и измерение электрической активности, генерируемой мышцами для интерпретации жестов рук», — говорит Рузбех Джафари, доцент кафедры биомедицинской инженерии университета и исследователь Центра удаленных технологий и систем здравоохранения.Хотя устройство все еще находится на стадии прототипа, оно уже может распознавать 40 слов американского языка жестов с точностью почти 96 процентов, отмечает Джафари, который представил свое исследование на 12-й ежегодной конференции по сетям датчиков тела (IEEE) в прошлом году. Июнь.

Прошлым летом технология была среди победителей конкурса Texas Instruments Innovation Challenge.Технология, разработанная в сотрудничестве с Texas Instruments, представляет растущий интерес к разработке высокотехнологичных систем распознавания языка жестов (SLR), но, в отличие от других недавних инициатив, система Джафари отказывается от использования камеры для захвата жестов. По его словам, распознавание на основе видео может иметь проблемы с производительностью в условиях плохого освещения, а захваченные видео или изображения могут рассматриваться как нарушающие конфиденциальность пользователя. Более того, поскольку эти системы требуют, чтобы пользователь жестикулировал перед камерой, они имеют ограниченную возможность ношения, а возможность ношения для Джафари является ключевым фактором.

«Носимые устройства предоставляют очень интересную возможность в смысле их тесной связи с человеческим телом», — говорит Джафари. «Поскольку они прикреплены к нашему телу, они знают о нас довольно много в течение дня и могут предоставить нам ценные отзывы в нужное время. Помня об этом, мы хотели разработать технологию в форм-факторе смотреть."

Чтобы уловить тонкости американского языка жестов, система Джафари использует два разных датчика. Первый — инерционный датчик, реагирующий на движение. Датчик, состоящий из акселерометра и гироскопа, измеряет ускорение и угловую скорость кисти и руки, отмечает Джафари. Этот датчик играет важную роль в распознавании различных знаков, фиксируя ориентацию руки пользователя и движения кисти и руки во время жеста.

Однако, по словам Джафари, одного датчика движения было недостаточно. Некоторые знаки американского языка жестов похожи друг на друга с точки зрения жестов, необходимых для передачи слова.

С помощью этих жестов общее движение руки может быть одинаковым для двух разных знаков, но движение отдельных пальцев может быть различным. Например, соответствующие жесты для «пожалуйста» и «извините», а также для «имени» и «работы» аналогичны движениям руки. Чтобы различать эти типы жестов рук, система Джафари использует датчик другого типа, который измеряет мышечную активность.

Джафари объясняет, что этот датчик, известный как электромиографический датчик (sEMG), неинвазивно измеряет электрический потенциал мышечной активности. Он используется для различения различных движений рук и пальцев в зависимости от активности мышц. По сути, он хорош для измерения движений пальцев и моделей мышечной активности кисти и руки, работая в тандеме с датчиком движения, чтобы обеспечить более точную интерпретацию подписываемого жеста, — говорит он.В системе Джафари и инерционные датчики, и электромиографические датчики размещаются на правом запястье пользователя, где они обнаруживают жесты и отправляют информацию через Bluetooth на внешний ноутбук, который выполняет сложные алгоритмы для интерпретации знака и отображения правильного английского слова для жеста.

По мере того как Джафари продолжает развивать технологию, он говорит, что его команда будет стремиться объединить все эти функции в одно носимое устройство, объединив оборудование и уменьшив общий размер необходимой электроники. Он представляет, как устройство собирает данные, полученные от жеста, интерпретирует их, а затем отправляет соответствующее английское слово на интеллектуальное устройство другого человека, чтобы он или она могли понять, что подписывается, просто прочитав экран своего собственного устройства.

Кроме того, он работает над увеличением количества знаков, распознаваемых системой, и расширением системы для обеих рук.«Комбинация обнаружения мышечной активации с датчиками движения — это новый и захватывающий способ понять намерения человека с другими приложениями в дополнение к усовершенствованным системам SLR, таким как активация домашних устройств с использованием контекстно-зависимых носимых устройств», — говорит Джафари.

Портал обо всем