Ученые разрабатывают программу для социальной адаптации слабослышащих людей

26.07.2017
943

Группа молодых ученых Томского политехнического университета (ТПУ) работает над мобильным приложением, которое сможет переводить русскую речь на язык жестов.

«Программа работает так: набираешь текст или наговариваешь голосом, а приложение жестами показывает перевод. Например, человеку надо объясниться с продавцом в магазине. Обычно глухой или слабослышащий человек достает ручку и бумагу, начинает писать о своих потребностях. Однако гораздо проще достать телефон из кармана, чем искать листок, ручку и долго что-то записывать. Мы хотим, чтобы люди с ограниченными возможностями чувствовали себя свободнее и увереннее в повседневной жизни», — говорит руководитель проекта Василий Саклаков.

В России разработчики нашли только одну программу с похожим функционалом – она выполнена в Новосибирске. Самое популярное приложение – португальское, рассказал Medvestnik.ru Василий Саклаков. «Это странно, поскольку португальский язык используется гораздо реже, чем английский. У приложений в США при этом до 50 тысяч скачиваний. В нашей стране аналоги скачивают раз в десять реже, но, скорее всего, из-за того, что они не совсем удобны. Мы делаем синхронизацию мимики и жестов. Приложение сможет переводить текст (не речь) и офлайн, – это большой плюс, ведь wi-fi есть не везде или иногда просто деньги заканчиваются на счете, а объясниться как-то надо», – отмечает руководитель проекта.

Авторы приложения говорят, что в России 6-10% людей имеют проблемы со слухом, даже если 1% из них начнет пользоваться разработкой, ее ожидает успех. Сейчас они заняты самой трудоемкой частью проекта – наполнением словаря анимации. Ученые намерены «отрисовать» три тысячи самых популярных слов. Для перевода из голоса в текст используется готовый модуль Google.

«Первый прототип мы планируем выпустить через полтора-два года. Планируется, что он будет бесплатным и доступным на платформах Android и Windows. В будущем хотим добавить обратный сурдоперевод с системой распознавания образов, разработать самоучитель языка жестов и адаптировать приложение под iOS», – рассказывает  Василий Саклаков. Прежде всего приложение будет предназначено для обучения детей и подростков, имеющих проблемы со слухом.

Нет комментариев

Вы не можете оставлять комментарии
Пожалуйста, авторизуйтесь

Партнеры

Яндекс.Метрика