В Новосибирском государственном университете создан переводчик русского жестового языка, работающий на основе искусственного интеллекта. Приложение способно переводить жесты в текст в режиме реального времени как на компьютере, так и на мобильных устройствах.
Разработчик, Ярослав Чеканов, самостоятельно изучил русский жестовый язык и собрал большой массив данных для обучения ИИ.
Приложение анализирует изображение с видеокамеры до завершения перевода, который затем выводится на экран. По словам Чеканова, его приложение работает быстрее и точнее, чем существующие аналоги.
В будущем разработчик планирует доработать модель, добавить функцию обратного перевода из текста в жесты и из голоса в жесты.
Чеканов отметил, что проект имеет важное социальное значение, способствуя инклюзивности и открывая новые возможности для общения людей с ограниченными возможностями. Он также может быть интересен специалистам по жестовому языку и машинному обучению.