29 февраля 2024 года 02:26 | последнее обновление произошло в 02:10 (МСК)
 
 
     18+
 
    

Пойми меня. Учёные создали нейросеть, которая переводит язык жестов в текст

 Пойми меня. Учёные создали нейросеть, которая переводит язык жестов в текст

31.01.2023 18:30   технологии наука здоровая жизнь


Российские учёные создали нейросеть, которая переводит язык жестов, которым пользуются глухонемые люди, в текст на экране. На первом этапе эта разработка поможет пациентам медучреждения общаться с врачами и получать медицинскую помощь. В перспективе её можно будет использовать и в других жизненных ситуациях, например, при походе в магазины, социальные учреждения, в транспорте и т. д. Сейчас люди с подобными ограничениями здоровья вынуждены пользоваться услугами сурдопереводчиков, но специалистов хватает не всегда.
Приложение для автоматического машинного сурдоперевода разработали специалисты подведомственного Минобрнауки России Санкт-Петербургского Федерального исследовательского центра (СПб ФИЦ) РАН.
«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», — рассказал aif.ru старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН, кандидат технических наук Дмитрий Рюмин.
Для обучения нейросети ученые разработали уникальную базу данных жестов, которые используются глухими людьми. Пока что она включает сферы, связанные с медициной и здоровьем. Всего собрано 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах. При этом видеозаписи жестов снимаются с разных ракурсов, что повышает их информативность. Общая продолжительность всех видеозаписей составила около семи часов.
Программное обеспечение работает следующим образом: видеокамера фиксирует жесты пациента. Ученые выяснили, что одни и те же жестовые элементы могут значительно различаться в зависимости от возраста и пола пациента, поэтому система учитывает этот фактор для повышения точности интерпретации. После этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы составляет более 90%.
«Мы надеемся, что в перспективе наше приложение позволит упростить оказание медицинских услуг и для врачей, и для людей с ограниченными возможностями. Сейчас мы работаем над созданием удобного интерфейса для программы», — пояснил Рюмин.

aif.ru

 

КОММЕНТАРИИ

 

НАУКА

Астрономы приблизились к открытию девятой планеты Солнечной системы

29.02.2024 02:06
Ученые рассчитывают открыть новую планету уже через несколько лет.

По сусекам поскрести. Стоматолог рассказал, зачем нужно очищать язык

29.02.2024 01:50
Бактерии скапливаются и размножаются не только на зубах, но и на языке. Вычистить их помогает скребок.

 

Влияние планет на здоровье. Расписание магнитных бурь на март 2024 года

29.02.2024 01:32
В первую неделю и в середине марта гармоничное влияние биосферы Земли подарит нам душевный и физический покой.

Что за новый минерал селеноджуноит нашли в России?

29.02.2024 00:19
В Карелии открыли новый минерал, похожий по составу на ранее обнаруженный в Австралии.

 

Самый лишний день. 29 февраля разбираем мифы, связанные с високосным годом

29.02.2024 00:13
В високосный год родились Юлий Цезарь, Леонардо да Винчи, Чарльз Диккенс, Джоаккино Россини, Поль Гоген, Матильда Кшесинская, Исаак Левитан, Владимир Путин, Хабиб Нурмагомедов, Артём Дзюба.

 
    1 2 3 4 5 6 7 8 9 10 11 

Книга в тему

«Безопасность жизнедеятельности. Защита территорий и объектов экономики в чрезвычайных ситуациях»
Оноприенко Михаил Григорьевич

Изложены организационно-правовые и технические вопросы безопасности жизнедеятельности, а также воздействие на организм человека и среду его обитания негативных факторов природного, техногенного и социального характера, защита от них и их нормирование. Освещены способы защиты территорий, объектов экономики и населения от чрезвычайных ситуаций природного характера (землетрясения, цунами, наводнения, ураганы, смерчи) и современных геодинамических процессов (оползни, селевые потоки, лавины, речная эрозия, морская абразия). Рассмотрены вопросы обеспечения устойчивости работы систем жизнеобеспечения и объектов экономики в чрезвычайных ситуациях, способы и средства коллективной и индивидуальной защиты работающего персонала и доврачебной помощи пострадавшим. Предназначено для учащихся учреждений среднего профессионального образования, изучающих курс «Безопасность жизнедеятельности». Пособие может быть полезным руководителям и специалистам различных профилей деятельности и населению.
 

Партнёры

Другие новости