Все новости

В Санкт-Петербурге создали систему для общения врачей с глухими пациентами

Программа распознает язык жестов в медицинской сфере и преобразует его в текст в режиме реального времени. По словам разработчиков, ее точность составляет более 90%

САНКТ-ПЕТЕРБУРГ, 1 февраля. /ТАСС/. Специалисты Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) разработали цифровую систему, которая позволяет пациентам с нарушениями слуха общаться с врачами и получать необходимую помощь. Новая программа распознает язык жестов в медицинской сфере и преобразует его в текст для врачей, сообщил ТАСС в среду старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрий Рюмин.

"К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Для того чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст", - рассказал агентству Дмитрий Рюмин.

Разработанная система функционирует следующим образом: установленная видеокамера фиксирует жесты пациентов, после этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы, по словам разработчиков, составляет более 90%.

В основу системы легла база данных, собранная специалистами СПб ФИЦ РАН совместно с межрегиональным центром реабилитации лиц с проблемами слуха города Павловска. Датасет включает в себя 85 жестовых высказываний, актуальных для приема у врача, каждое из которых записано 12 дикторами в пяти вариантах. Такое разнообразие необходимо для повышения точности машинного обучения и считывания языка жестов пациентов в реальных условиях.

Это связано с тем, что русский жестовый язык (РЖЯ) может отличаться в разговорах людей разного возраста, пола, региона происхождения. Кроме того, в России кроме "литературного" РЖЯ существует живая "калькирующая жестовая речь", которая отличается от базового языка жестов. Этот фактор также учтен в созданной системе.

Ученые напомнили, что, согласно данным ВОЗ, на 2021 год в мире насчитывалось примерно 466 млн человек (более 5% от общего количества населения земного шара, из них 34 млн - дети), которые страдают полной глухотой или испытывают проблемы со слухом. Такие люди испытывают трудности в получении государственных услуг, в том числе в медицине. Проект СПб ФИЦ РАН поддержан грантом РНФ (№ 21-71-00141), специалисты института планируют продолжить разработки для повышения качества жизни глухих людей.