| Университет | Образование | Наука | Внеучебная жизнь |
| Меню Close Menu |
|
|
|
Rus / Eng
|
| Меню Close Menu |
|
|
|
|
Rus / Eng
|
|
Новости
События |
Ученые ИТ-факультета разрабатывают информационно-программную среду для поддержки проектирования коммуникативных жестомимических систем.
Компоненты среды позволяют создавать экспериментальные образцы и прототипы перспективных антропоморфных робототехнических систем и аватаров, а также жестомимического интерфейса человеко-машинного взаимодействия, который делает возможным бесконтактное использование бытовых приборов, гаджетов и промышленных манипуляторов.
На видео студент магистерской программы Московского Политеха «Жестомимический интерфейс – SurdoJet» демонстрирует жестовое управление Inventor
Завершена разработка первой версии информационно-программного комплекса для создания предметных жестовых словарей. Переведен на жестовый язык междисциплинарный словарь «Комплексный терминологический словарь. Машиностроение» издательства «Азбуковник». Разработка может быть использована для получения инженерного образования глухими и слабослышащими людьми, обучения жестовому языку слышащих – лингвистов, сурдопереводчиков и всех желающих.
Информационно-программный комплекс состоит из базы данных мультимедийного жестового словаря-тезауруса, веб-интерфейса, антропоморфной 3D модели руки и программы по созданию дактильных (от греч. δάκτυλος «палец») анимационных моделей. Комплекс позволяет синтезировать дактильные образы терминов информатики и машиностроения, а также соответствующие им жесты, освоить и использовать их для общения на русском жестовом языке.
База данных мультимедийного жестового словаря-тезауруса содержит слова, их дактильные образы и жесты. Общее количество параметров, представленных в словарных статьях, более 20. Учтена многозначность слов и жестов, приведены основные словосочетания.
Веб-интерфейс обеспечивает онлайн-доступ к текстовым описаниям, аудио-видео и анимационным изображениям 1500 терминов информатики и машиностроения.
На данный момент антропоморфная 3D-модель руки содержит 11 основных конфигураций пальцев букв русского дактильного алфавита. Программа на ее основе формирует 400 анимационных образов в области информационных технологий и машиностроения.
Примерно 10% населения Земли имеют частичное или полное нарушение слуха. В конце ХХ века ученые и политики пришли к выводу, что жестовый язык (ЖЯ) –ничем не хуже вербальных, просто в его основе не слово, а жест, образ. 20 декабря 1993 года вышла резолюция Генеральной Ассамблеи ООН N 48/96 «Стандартные правила обеспечения равных возможностей для инвалидов». Согласно этому документу, «следует использовать жестовый язык в образовании глухих детей, в их семьях и сообществе глухих. Для облегчения понимания между глухими и окружающими следует оказывать переводческие услуги на жестовом языке».
Вопреки расхожему мнению, язык жестов придумали не слышащие, чтобы облегчить жизнь глухим, он возник естественным путем и в каждой стране имеет свою разновидность, формируя вокруг себя уникальную культуру. Для понимания разницы между вербальным и жестовым языком жителей одной страны необходимо подчеркнуть, что письменная форма русского языка носителю русского варианта ЖЯ так же непонятна, как японский иероглиф непонятен представителю европейской нации без специального образования, – в основе языков абсолютно разные грамматические системы. Тем не менее в разное время в разных странах жестовый язык игнорировали или запрещали, объясняя это попыткой эффективнее интегрировать глухих в мир слышащих. После признания жестового языка возник вопрос, как помочь глухим учиться и работать на родном языке и как упростить коммуникацию между глухими и слышащими в условиях острой нехватки сурдопереводчиков.
Кроме социальной функции, такая задача имеет огромный научный потенциал. На данный момент жестовый язык разных национальностей изучают лингвисты по всему миру. Помогают им в этом не только сурдопереводчики и психологи, но и программисты. Современные информационные технологии позволяют создать онлайн-переводчик вроде Google Translate или облачную систему наподобие Siri, в которых вместо звукового и текстового интерфейса будет использован визуальный. Лингвистам такие разработки помогут не только более эффективно изучать язык, но и улучшить инструментарий исследований. Например, ученому будет проще отследить механику жеста вплоть до того, какие именно мышцы и суставы задействованы в его воспроизведении или как на его отображение влияет движение лица. Сейчас для этого используется видео-ресурсы, но при помощи информационных технологий можно получать более точные данные, а используя алгоритм – разделять основные и побочные черты жеста.
Команда исследователей факультета информационных технологий Московского Политеха не первый год занимается разработками на стыке программирования, лингвистики, робототехники и психологии. На данный момент учеными разработана информационно-программная среда на основе мультимедийного онлайн-словаря, базы данных жестового словаря-тезауруса и программы по созданию дактильных анимационных моделей. Все это позволяет осуществлять автоматический компьютерный сурдоперевод. Анимированные 3D-аватары, с одной стороны, помогают людям общаться друг с другом. С другой стороны, «научив» систему считывать жест и мимику, человек может управлять компьютером при помощи жестомимических команд.
Это направление разработок хорошо знакомо нам из-за растущей популярности всевозможных систем дополненной и виртуальной реальности, а также «умного дома» и интернета вещей. Тем не менее, распространенные системы распознавания жестов (Kinect, Creative Senz3D и др.) имеют ряд недостатков. Например, определяют крупные движения предплечья и кисти, но не дают возможности анализировать точное положение пальцев. Если решить эту проблему, можно будет движением руки включить чайник или любой другой бытовой прибор. Также разработка сделает возможным бесконтактное использование устройств и приложений в нестандартных или экстремальных ситуациях. А формируемый 3D-аватар, в отличие от сообщения в социальной сети или звонка по телефону, передаст эмоциональную составляющую разговора, которую мы обычно выражаем жестами тела и рук, мимикой.
Этим исследованиям, а также обучению антропоморфных роботов посвящена работа магистерской программы IT-факультета Московского Политеха «Жестомимический интерфейс – SurdoJet». «Программа SurdoJet нацелена на подготовку высококвалифицированных кадров для научной и образовательной деятельности в области проектирования и разработки информационно-программных комплексов поддержки жестомимического коммуникативного взаимодействия в человеко-машинных системах, – говорит Юрий Филиппович, профессор кафедры Инфокогнитивных технологий IT-факультета Московского Политеха. – Основными прикладными разработками, на которые ориентированы магистранты, являются системы поддержки речевого и жестового взаимодействия людей (сурдоперевода, распознавания и синтеза мимики и жестов), антропоморфные робототехнические коммуникативные и манипулятивные системы, жестомимические сервисы передачи эмоций в системах веб-коммуникации и видеоконференций, жестомимический интерфейс в компьютерных играх, распознавание поведения человека в общественных местах и определение его эмоционального состояния по мимике и телодвижениям. Разработки могут быть реализованы в машино- и приборостроении, на транспорте и в космосе, обороне и охране общественного порядка, медицине, образовании, социальных технологиях, СМИ».
Так, в прошлом году в рамках программы магистранты разработали действующие модели-прототипы роботизированных рук, предназначенные для демонстрации дактильных жестов. «Моя модель нацелена на имитирование точного позиционирования пальцев, – рассказывает аспирант Мартирос Арутюнян. – Для демонстрации дактиля роборука должна имитировать работу мелкой моторики кисти человека. Робот с такой компонентой сможет более эффективно, нежели видео-программы, в режиме реального времени обучать слышащих. Также роборука в качестве компоненты целого робота может использоваться в опасной для человека среде – например, в космосе, или для создания антропоморфных роботов-помощников для решения бытовых задач».
Авторы-разработчики информационной среды для создания жестовых словарей – преподаватели и магистранты кафедры Инфокогнитивных технологий: Ю.Н.Филиппович (руководитель магистерской образовательной программы «Жестомимический интерфейс – SurdoJet»), А.Е.Харламенков, А.С.Костиков, Ю.Б.Моисеев, А.В.Цой, А.К.Иванов, Д.В.Хвостенко, Е.П.Формин.
Статьи по теме:
Интервью с исследователем жестовых языков из Университета Амстердама Вадимом Киммельманом (публикация на сайте Московского политехнического университета от 5 декабря 2016)
Технология параметризированного синтеза жестов и их последовательностей на основе анимированных 3D-моделей (журнал «Системный администратор» 2014 / Выпуск №7-8 (140-141))
 Ссылка |
