Алгоритм, который синтезирует восстановленный звук

N+1Наука

Нейросеть озвучила беззвучную игру на фортепиано

Григорий Копиев

Американские разработчики создали алгоритм, который наблюдает за беззвучным видео игры на фортепиано и синтезирует восстановленный звук. Статья была представлена на конференции NeurIPS 2020.

Звук, производимый музыкальным инструментом во время исполнения мелодии, складывается из множества параметров: особенностей самого инструмента, исполняемой композиции, особенностей движений музыканта во время игры. Зная, как звучит конкретный музыкальный инструмент, человеку или алгоритму должно быть достаточно видеозаписи игры на нем, чтобы достаточно точно восстановить получающийся звук, но фактически разработчики компьютерных алгоритмов для этой задачи сталкиваются с трудностями.

Разработчики из Вашингтонского университета под руководством Эли Шлицермана (Eli Shlizerman) создали алгоритм для озвучивания игры на фортепиано, который учитывает не только сам факт нажатия клавиш, но и продолжительность. Алгоритм состоит из трех основных частей и они работают следующим образом. Сначала алгоритм Video2Roll получает на вход по пять последовательных кадров из видеозаписи, на которой сверху снята клавиатура и кисти рук музыканта. Этот алгоритм основан на сверточной нейросети ResNet18 и дополнен модулем внимания, позволяющими ему с большей вероятностью замечать нажатые клавиши, которые занимают лишь очень небольшую долю от всего кадра, и обучаемым корреляционным модулем, который позволяет

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Центральная Азия: от века империй до наших дней» «Центральная Азия: от века империй до наших дней»

Колониальный порядок Российской империи в Туркестане

N+1
В режиме очищения В режиме очищения

Как прийти в форму после зимы?

Худеем правильно
Палеогенетики впервые выявили древнего человека с синдромом Эдвардса Палеогенетики впервые выявили древнего человека с синдромом Эдвардса

Первый случай, когда синдром Эдвардса выявили у древнего человека

N+1
Долина технологий и наук, относящихся к торговле и фабрикам Долина технологий и наук, относящихся к торговле и фабрикам

«Композитная долина» должна стать центром отечественного материаловедения

Эксперт
«Близкие отказываются помогать с ребенком, ведь они не просили меня рожать»: история читательницы и комментарий психолога «Близкие отказываются помогать с ребенком, ведь они не просили меня рожать»: история читательницы и комментарий психолога

Почему семья может не поддерживать маму с ребенком? История читательницы

Psychologies
Змеи в костюмах Змеи в костюмах

Как защититься от психопатов на работе

kiozk originals
«Если я не смогу победить, то хотя бы буду смелым»: как устроена спортивная благотворительность в России «Если я не смогу победить, то хотя бы буду смелым»: как устроена спортивная благотворительность в России

Кто развивает спортивно-социальные благотворительные проекты в России

Forbes
Почему ты все время голодный? Почему ты все время голодный?

Смузи, неправильные тренировки, мало жиров и другие причины голода

Maxim
Honda уходит из России. Прощаемся в компании с обновленной CR-V Honda уходит из России. Прощаемся в компании с обновленной CR-V

Прощаемся с маркой Honda в ходе знакомства с рестайлинговым кроссовером CR-V

РБК
Слизень из Австралии построил мостик из слизи и спустился по нему на землю Слизень из Австралии построил мостик из слизи и спустился по нему на землю

Слизня Lehmannia nyctelia застали за спуском по слизистому мостику

N+1
Как мониторинг сахара в крови помог мне настроить свой ежедневный режим Как мониторинг сахара в крови помог мне настроить свой ежедневный режим

Эксперимент финского биохакера Ильмо Стремберга

Reminder
За что мы ценим героев? За умение любить За что мы ценим героев? За умение любить

С милым рай не на шезлонгах в Дубае, а в ОВД городского округа Химки

GQ
Худшие эпизоды известных сериалов Худшие эпизоды известных сериалов

Ложка дёгтя в твоём любимом сериале

Maxim
Вселенная Эдгара По Вселенная Эдгара По

Иногда чуткие к достижениям науки писатели могут предугадывать будущее

Наука и жизнь
«Знаем путь машины и как её окупить»: что за Drive Electro, которая хочет строить в России 1000 электрогрузовиков в год «Знаем путь машины и как её окупить»: что за Drive Electro, которая хочет строить в России 1000 электрогрузовиков в год

Основатель Drive Electro рассказал, чем занимается его компания

VC.RU
Миллион лет во льдах: ученые выделили самую древнюю ДНК в истории науки Миллион лет во льдах: ученые выделили самую древнюю ДНК в истории науки

Извлечение и секвенирование самого старого образца ДНК, известного науке

Популярная механика
Антикризисный бизнес: сколько в России ИП и много ли они зарабатывают Антикризисный бизнес: сколько в России ИП и много ли они зарабатывают

Сектор индивидуального предпринимательства увеличивает заработки даже в кризисы

Forbes
20 привычек, которые улучшат вашу жизнь 20 привычек, которые улучшат вашу жизнь

Простые действия, которые сделают каждый ваш день чуточку лучше

Psychologies
Гневная инженерия: 9 седанов, которые не получились Гневная инженерия: 9 седанов, которые не получились

Седаны: худшие из худших

Maxim
У Лукоморья труп зеленый. О чем на самом деле рассказывается в добрых детских сказках У Лукоморья труп зеленый. О чем на самом деле рассказывается в добрых детских сказках

Ты даже не представляешь, какие детские сказки читали наши прапрапрадеды

Maxim
«Налоговый рай в сердце ЕС»: журналисты рассказали об активах связанных с госкомпаниями россиян в Европе «Налоговый рай в сердце ЕС»: журналисты рассказали об активах связанных с госкомпаниями россиян в Европе

Тысячи россиян владеют компаниями в Люксембурге с активами на триллионы евро

Forbes
Собаки прошли тест на осознание границ своего тела Собаки прошли тест на осознание границ своего тела

Собаки способны воспринимать свое тело как помеху при решении задачи

N+1
Это надолго Это надолго

Как меняется секс в отношениях, куда девается и когда уже начинать волноваться?

Cosmopolitan
Маршрут на выходные: космические пейзажи Северной Осетии Маршрут на выходные: космические пейзажи Северной Осетии

Северная Осетия — роскошные отели и заброшенные деревни.

GQ
Анонимные трудоголики: почему чрезмерный труд приносит больше вреда, чем пользы Анонимные трудоголики: почему чрезмерный труд приносит больше вреда, чем пользы

Антрополог, который отрицает все, что транслирует вам начальство

GQ
Накорми меня, если сможешь Накорми меня, если сможешь

Эксперт: как приучить ребенка к здоровой и полезной пище

Лиза
Насекомые — пища на все времена Насекомые — пища на все времена

Поедание насекомых стимулировало трудовую деятельность наших предков

Наука и жизнь
О Германе-прозаике О Германе-прозаике

Сценарии, написанные Германом в соавторстве с его супругой Светланой Кармалитой

Полка
Чей в море мех? Чей в море мех?

История о том, как люди договорились не истреблять морских котиков

Вокруг света
Как себя вести, когда твоя девушка больна Как себя вести, когда твоя девушка больна

Что делать тебе, когда ей все не так и все не то

Maxim
Открыть в приложении