Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Акупунктура облегчила симптомы посттравматического стрессового расстройства Акупунктура облегчила симптомы посттравматического стрессового расстройства

Исследование: иглоукалывание помогает облегчить симптомы ПТСР

N+1
Как устроены самолеты-авианосцы: небесные колоссы Как устроены самолеты-авианосцы: небесные колоссы

Каким образом конструкторы работали над решением проблемы защиты авианосцев?

Популярная механика
IPS или OLED: какая матрица экрана телефона лучше IPS или OLED: какая матрица экрана телефона лучше

Чем отличаются IPS и OLED матрицы?

ТехИнсайдер
IPO по-казахски: как финтех-стартап Kaspi балансирует между лондонской биржей и приближенными Назарбаева IPO по-казахски: как финтех-стартап Kaspi балансирует между лондонской биржей и приближенными Назарбаева

Kaspi ― не обычный технологический стартап под руководством инноваторов

Forbes
Правила жизни Александра Ширвиндта Правила жизни Александра Ширвиндта

Правила жизни народного артиста России Александра Ширвиндта

Правила жизни
6 рок-групп, которые вдруг стали лучше после потери товарища 6 рок-групп, которые вдруг стали лучше после потери товарища

Группы, которые после изменения состава, стали только лучше и громче

Maxim
Открытие 2020 года: Даня Милохин Открытие 2020 года: Даня Милохин

Даня Милохин — лицо не только российского TikTok, но и всего поколения

GQ
Почему мы перестали влюбляться по-настоящему Почему мы перестали влюбляться по-настоящему

Как молодые россияне стали строить отношения без лишних эмоций

Reminder
Инопланетная жизнь глазами ученых: космический дарвинизм Инопланетная жизнь глазами ученых: космический дарвинизм

У биологов из Оксфорда есть своя концепция инопланетной жизни

Популярная механика
Чтобы мечты сбывались Чтобы мечты сбывались

Чтобы изменить жизнь, нужно правильно ставить цели и формулировать желания

Добрые советы
Саудовская Аравия Саудовская Аравия

Люди, прошлое, религия, противоречия – и будущее

kiozk originals
Что делает город городом? Фрагмент новой книги директора лондонского Музея дизайна и историка архитектуры Деяна Суджича Что делает город городом? Фрагмент новой книги директора лондонского Музея дизайна и историка архитектуры Деяна Суджича

В книге «Язык городов» Деян Суджич обращается к фундаментальному понятию города

Esquire
Сериал «Корона» по-прежнему очень роскошный, но больше не впечатляет Сериал «Корона» по-прежнему очень роскошный, но больше не впечатляет

Самое дорогое жизнеописание, но все-таки слишком далекое от истины

GQ
Мартин Лютер Мартин Лютер

Бунтарь в эпоху потрясений

kiozk originals
Почему черные дыры — самые страшные объекты во Вселенной Почему черные дыры — самые страшные объекты во Вселенной

В черных дырах нарушаются законы физики, но это не самое страшное

Популярная механика
Как вспышка на солнце «объяснила» происхождение заброшенной крепости Как вспышка на солнце «объяснила» происхождение заброшенной крепости

Дендрохронология помогла установить дату строительства древней крепости

Наука и жизнь
Брачные контракты, полицейские с собаками, первые забастовки и еще 6 фактов о Древнем Египте, которых вы могли не знать Брачные контракты, полицейские с собаками, первые забастовки и еще 6 фактов о Древнем Египте, которых вы могли не знать

Что вы знаете о Египте?

Популярная механика
Почему ребенок плачет Почему ребенок плачет

Плач новорожденного - это надежный сигнал любого неблагополучия

9 месяцев
Влюбленность Елизаветы, жестокость Филиппа: правда и вымысел в сериале «Корона» Влюбленность Елизаветы, жестокость Филиппа: правда и вымысел в сериале «Корона»

Рассказываем, что в сериале «Корона» правда, а что — домыслы создателей

Cosmopolitan
Круглая жизнь Круглая жизнь

Что дала миру «Рабыня Изаура»

Огонёк
Археологи нашли в Старой Рязани усадьбы двух ювелиров-шахматистов XIII века Археологи нашли в Старой Рязани усадьбы двух ювелиров-шахматистов XIII века

Предметы в этих усадьбах указывают на то, что их хозяева были ювелирами

N+1
Теперь можно подключить компьютер к мозгу по венам Теперь можно подключить компьютер к мозгу по венам

Как управлять гаджетам, используя разум

GQ
Праздник к нам приходит Праздник к нам приходит

Светлана Лобода откровенно рассказала о том, как ей удается быть праздником

Cosmopolitan
Умная почка Умная почка

Почки создают условия для высокой эффективности работы клеток всех органов

Наука и жизнь
Тональный на все лицо и еще 9 ошибок, которые ты делаешь, когда наносишь макияж Тональный на все лицо и еще 9 ошибок, которые ты делаешь, когда наносишь макияж

Рассказываем, как избежать мейкап-ошибок, чтобы выглядеть отлично

Cosmopolitan
История одного посещения История одного посещения

Мария Степанова о неизвестной встрече на высшем уровне

Weekend
Прокачай себя! Тренировка c REBOOT LIVE # 6. Силовая тренировка ABS. Прокачай себя! Тренировка c REBOOT LIVE # 6. Силовая тренировка ABS.

Прощай, пивной живот! Здравствуйте, кубики!

Maxim
Субантарктических пингвинов предложили разделить на четыре вида Субантарктических пингвинов предложили разделить на четыре вида

Субантарктические пингвины — не один вид, а четыре

N+1
Композитор Дмитрий Евграфов — о работе с Граймс и творческих границах Композитор Дмитрий Евграфов — о работе с Граймс и творческих границах

Интервью с композитором Дмитрием Евграфовым, сооснователем приложения Endel

РБК
«Один или два середнячка в команде расхолаживают всех»: миллиардер и CEO Netflix Рид Хастингс о том, как создать сверхэффективную команду «Один или два середнячка в команде расхолаживают всех»: миллиардер и CEO Netflix Рид Хастингс о том, как создать сверхэффективную команду

Отрывок из книги про Netflix о том, как собрать коллектив мечты

Forbes
Открыть в приложении