Пойми меня. Учёные создали нейросеть, которая переводит язык жестов в текст

31.01.2023 18:30   технологии наука здоровая жизнь

Российские учёные создали нейросеть, которая переводит язык жестов, которым пользуются глухонемые люди, в текст на экране. На первом этапе эта разработка поможет пациентам медучреждения общаться с врачами и получать медицинскую помощь. В перспективе её можно будет использовать и в других жизненных ситуациях, например, при походе в магазины, социальные учреждения, в транспорте и т. д. Сейчас люди с подобными ограничениями здоровья вынуждены пользоваться услугами сурдопереводчиков, но специалистов хватает не всегда.
Приложение для автоматического машинного сурдоперевода разработали специалисты подведомственного Минобрнауки России Санкт-Петербургского Федерального исследовательского центра (СПб ФИЦ) РАН.
«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», — рассказал aif.ru старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН, кандидат технических наук Дмитрий Рюмин.
Для обучения нейросети ученые разработали уникальную базу данных жестов, которые используются глухими людьми. Пока что она включает сферы, связанные с медициной и здоровьем. Всего собрано 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах. При этом видеозаписи жестов снимаются с разных ракурсов, что повышает их информативность. Общая продолжительность всех видеозаписей составила около семи часов.
Программное обеспечение работает следующим образом: видеокамера фиксирует жесты пациента. Ученые выяснили, что одни и те же жестовые элементы могут значительно различаться в зависимости от возраста и пола пациента, поэтому система учитывает этот фактор для повышения точности интерпретации. После этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы составляет более 90%.
«Мы надеемся, что в перспективе наше приложение позволит упростить оказание медицинских услуг и для врачей, и для людей с ограниченными возможностями. Сейчас мы работаем над созданием удобного интерфейса для программы», — пояснил Рюмин.

aif.ru