В России научили смартфон читать по губам

Как сообщают «Известия», специалисты Санкт-Петербургского федерального исследовательского центра РАН смогли научить нейросеть понимать русскую речь по движениям губ. Это первая программа, способная таким образом понимать русский язык. Она предназначена для использования электронных голосовых ассистентов при большом шуме.

Распознаётся одновременно и звучащая речь, и изображения губ, полученные через видеокамеру. Программа может быть востребована водителями грузовиков, пилотами и другими специалистами, которым приходится трудиться при громких звуках и вибрации.

В ходе проведённых испытаний было установлено, что по картинке слова распознаются с точностью 60–80 %, а в сочетании со звуком этот показатель вырастает до 90 %.