Как искусственный интеллект работает со звуком

Популярная механикаHi-Tech

С машинами на одном языке: как компьютеры «слышат» музыку и для чего используют этот навык

Эксперименты с генерацией музыки с помощью искусственного интеллекта начались еще в 50-х годах прошлого века. С тех пор нейросети научились «понимать» и распознавать песни, определять наши вкусы в стриминговых сервисах и даже писать музыкальные произведения на основании данных о движении небесных тел. Как искусственный интеллект работает со звуком и какие прорывные продукты, созданные «кибер-композиторами», мы будем использовать в будущем, рассказывают специалисты «Яндекса».

Как компьютер «видит» звук?

Чтобы машина могла распознать или даже написать мелодию, ей необходимо познакомиться с сотнями музыкальных примеров. Но как поместить звук внутрь компьютерной нейросети, каким образом она может их воспринять? Вспомним учебник физики за девятый класс: источником звука всегда является колеблющееся тело. Это может быть мембрана барабана, натянутая струна или диффузор динамика в наших колонках. Колебания этих тел передаются по воздуху в виде множества волн, попадают на барабанную перепонку человека, раздражают окончания слуховых нервов, и мы слышим звук.

У машины этот процесс протекает иначе. Чтобы она «услышала» музыку, ее нужно преобразовать в набор цифр, понятный компьютеру. Преобразование в цифровой код происходит благодаря процессам дискретизации и квантования. Информация приходит в компьютер в виде непрерывной звуковой волны, «переведенной» в электрический ток. Чтобы описать ее на языке цифр, специальный преобразователь «нарезает» эту волну на очень маленькие отрезки длиной в несколько миллисекунд. Это дискретизация — процесс, когда непрерывная волна становится поделенной на части, то есть дискретной. Однако даже в самых крохотных отрезках звук представляет собой продолжительный кусочек волны. Для удобства преобразователь «округляет» его значения, измеренные во время дискретизации, и представляет в виде точки. Такой процесс называется квантованием.

В итоге вся волна превращается в набор точек, которым остается только присвоить цифровые коды. Другими словами, мы получаем большой набор цифр, описывающий каждый фрагмент песни. Эти числа можно внести в одну большую таблицу, а можно отобразить наглядно в виде спектрограммы. Так называют графическое изображение звуков в системе координат, где по вертикальной оси располагаются звуковые частоты (от высоких звуков до низких), а по горизонтальной — время. Чем теплее и ярче цвет на спектрограмме, тем интенсивнее звук в этом месте. Описать спектрограмму словами непросто, так что лучше сразу посмотрите, как она выглядит.

06b98161ad1203ae0bfc1ef4cbccf906.png
wikipedia.org

Еще более наглядное объяснение этого процесса дается в рамках «Урока Цифры» от Яндекса — «Цифровое искусство: музыка и IT». В этом проекте эксперты компании рассказывают о музыкальной оцифровке, теории звука, системах рекомендаций в медиасервисах, а после теоретической части участники могут попробовать самостоятельно продолжить композицию. Уроки и задания предназначены для школьников, но взрослым они тоже будут интересны.

Как ИИ распознает музыку и рекомендует песни?

Способность искусственного интеллекта представлять музыку цифровым кодом нашла практическое применение в нашей жизни. Именно благодаря спектрограммам нейросети анализируют и распознают музыку, чтобы, например, с помощью Shazam находить похожие треки. Когда приложение «слышит» композицию, оно сравнивает ее спектрограмму со множеством других из базы данных и отыскивает совпадения. При этом искусственный интеллект распознает мелодию даже сквозь помехи вроде голосов за соседним столиком или шума машин.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Еще три вкусных продукта, которые помогут сжечь лишний жир Еще три вкусных продукта, которые помогут сжечь лишний жир

Здоровая и вкусная пища, которая способствует избавлению от лишнего веса

Популярная механика
Во имя любви: как офицер вермахта Вилли Шульц решил стать советским разведчиком Во имя любви: как офицер вермахта Вилли Шульц решил стать советским разведчиком

Любовь расцветает даже в суровых условиях

Cosmopolitan
Как отличить поддельный смартфон от оригинального Как отличить поддельный смартфон от оригинального

Гайд, как обнаружить поддельное устройство, заказанное на маркетплейсе

Maxim
Как «работает» экономика? 8 понятных книг, которые помогут разобраться в происходящем Как «работает» экономика? 8 понятных книг, которые помогут разобраться в происходящем

8 книг, которые помогут узнать и полюбить экономическую науку

Популярная механика
Что будет, если женщина выпьет «Виагру» Что будет, если женщина выпьет «Виагру»

Интересно, а что будет с женщиной, если она примет дозу «Виагры»?

ТехИнсайдер
Квантовая логика помогла изучить неупругие соударения холодных атомов и ионов Квантовая логика помогла изучить неупругие соударения холодных атомов и ионов

Данные эксперимента помогут точнее строить модели межатомного взаимодействия

N+1
Почему в 56 мне лучше, чем в 50 Почему в 56 мне лучше, чем в 50

Мы все боимся стареть. Первые седые волосы и морщины вызывают панику

Psychologies
Наука опровергла: 6 мифов о здоровье, в которые вы продолжаете верить Наука опровергла: 6 мифов о здоровье, в которые вы продолжаете верить

Устаревшие стереотипы о здоровье, которые испортят вам жизнь

ТехИнсайдер
Mazda CX-9. Неочевидное благородство Mazda CX-9. Неочевидное благородство

Лучшие модели автомобилей для России разрабатывались, как ни странно, в США

4x4 Club
В поисках винтажа: семь самых известных блошиных рынков мира В поисках винтажа: семь самых известных блошиных рынков мира

Потому что шопинг — это не только торговые центры

Playboy
Вершина мира Вершина мира

Северный полюс — путешествие для тех, кто очень устал от гаджетов

Цифровой океан
Танец воды: 21 самый необычный фонтан мира Танец воды: 21 самый необычный фонтан мира

Современные мастера добавили красоте красок, воде — огня, а трубам — прочности

Вокруг света
«Путешествие к муравьям» «Путешествие к муравьям»

Отрывок из книги «Путешествие к муравьям» о том, как муравьи живут между собой

N+1
Дело чести: как ответить на оскорбление Дело чести: как ответить на оскорбление

Почему мы так болезненно реагируем на оскорбления?

РБК
Жить прошлым: почему фокус на получении прибыли может навредить бизнесу Жить прошлым: почему фокус на получении прибыли может навредить бизнесу

Отрывок из книги «Красная и желтая стратегии» о том, чем опасен фокус на прибыли

Forbes
На острие На острие

Актер Юрий Чурсин — о скрытом темпераменте и своих ролях

OK!
Молекулярное распознавание ускорилось под действием электронов Молекулярное распознавание ускорилось под действием электронов

Химики нашли первый общий метод катализа молекулярного распознавания

N+1
«Хоть еще одного любовника заводи»: истории женщин, которые постоянно хотят секса (и страдают от этого) «Хоть еще одного любовника заводи»: истории женщин, которые постоянно хотят секса (и страдают от этого)

Анонимные откровения героинь, которыми они больше ни с кем не могут поделиться

Playboy
Простые упражнения для снятия эмоционального напряжения и мышечных зажимов Простые упражнения для снятия эмоционального напряжения и мышечных зажимов

Упражнения, которые помогут расслабиться и почувствовать себя лучше

Esquire
Скрытые возможности «Ватсап», которые полезно знать каждому Скрытые возможности «Ватсап», которые полезно знать каждому

От Темной темы до режима «инкогнито» и сообщений самому себе

Maxim
Угля Севморпути поддаст Троценко Угля Севморпути поддаст Троценко

Простые задачи скучны для хозяина AEON Романа Троценко

Эксперт
10 умнейших пород собак: как выбрать лучшего питомца 10 умнейших пород собак: как выбрать лучшего питомца

Если обучаемые собаки – норма, то обучаемые хозяева – большая редкость

ТехИнсайдер
Живые трупы Живые трупы

«Мегрэ и таинственная девушка»: Жерар Депардье и смерть

Weekend
Почему нам трудно расстаться с советским прошлым? Почему нам трудно расстаться с советским прошлым?

Какие черты советского человека и сегодня мешают жить достойно

Psychologies
Юрий Соколов. Наша банда Юрий Соколов. Наша банда

Юрий Соколов — о своей театральной банде

Коллекция. Караван историй
Игровой монитор: как не переплатить за то, что вам нужно Игровой монитор: как не переплатить за то, что вам нужно

Не всегда есть смысл брать дорогую модель: как не потратить лишние деньги

CHIP
«Оно словно существует в мире теней»: зачем Нинья Тюберг сняла фильм о порноиндустрии «Оно словно существует в мире теней»: зачем Нинья Тюберг сняла фильм о порноиндустрии

Нинья Тюберг о том, почему табу на обсуждение порноиндустрии все еще существует

Forbes
Идеальная плоскость: 5 способов, которые помогут избавиться от жира на животе Идеальная плоскость: 5 способов, которые помогут избавиться от жира на животе

Как бороться с животом? Изменить рацион!

Популярная механика
Как и зачем Disney купила Marvel — сделка глазами легендарного CEO Боба Айгера Как и зачем Disney купила Marvel — сделка глазами легендарного CEO Боба Айгера

Отрывок из книги «Умение предвидеть» легендарного CEO Боба Айгера

Forbes

Истребитель 1970-х годов, который сохранил свою актуальность и по сей день

Популярная механика
Открыть в приложении