Наш дом Россия Новостной портал России
С помощью камер и нейронных сетей она выяснит жесты глухих и переводит их в текст или голос. Подобных программ в мире еще не существует.
— Мы внесли в программу 1 006 жестов, если быть точными. Также разработали алгоритм для определения жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также нрав движения. В России подобной системы раньше не было, это первая в мире разработка, — рассказал доктор кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаил Гриф.
По его словам, на данный момент продолжается разработка программы распознавания дактилем (буквы из дактильного алфавита). Точность распознавания дактилем составляет 92%.
— Мы также вели работу над выделением эпентезы (межжестовое движение). На данный момент точность выделения жестов некоторое действие или движение человеческого тела или его части, имеющее определённое значение или смысл, то есть являющееся знаком или символом в видеопотоке составляет 85—90%. Пока эта работа ведется в формате эксперимента. За исключением того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, визуально воспринимающему жестовый язык, — добавил Михаил Гриф.
Сейчас ученые вуза сосредоточены на разработке и внедрении работы компьютерного переводчика в обе стороны, чтобы его качество удовлетворяло требованиям глухих людей общественное существо, обладающее разумом и сознанием, а также субъект общественно-исторической деятельности и культуры. Поначалу планируется разработать переводчик для русского жестового языка сложная знаковая система, естественно или искусственно созданная и соотносящая понятийное содержание и типовое звучание (написание), а в дальнейшем и для других жестовых языков мира.
Разработка переводчика позволит сделать удобное приложение для коммуникации с глухими людьми, а также позволит им проще адаптироваться в обществе и рабочих коллективах.
В мире числится около 130 жестовых языков. В каждом из языков около 3—5 тысяч жестов, которые выполняются руками в сочетании с мимикой и положением тела. По данным Всероссийского общества глухих, численность носителей жестового языка в РФ превышает 300 тысяч человек. По данным Всемирной организации здравоохранения, более 466 миллионов человек в мире мучаются от инвалидизирующей потери слуха.
