Вычислительные модели, основанные на машинном обучении, были успешно применены к широкому спектру сложных задач обработки информации, включая те, которые включают извлечение определенных элементов данных из больших архивов. Исследователи из Sony Computer Science Laboratories (CSL) во Франции пытаются разработать методы машинного обучения, которые могли бы помочь музыкальным продюсерам легко идентифицировать и извлекать конкретные звуковые сэмплы из базы данных.

С этой целью Стефан Латтнер, исследователь Sony CSL, недавно представил SampleMatch, модель на основе машинного обучения, которая может автоматически извлекать сэмплы барабанов, соответствующие определенному музыкальному треку, из больших архивов. Его модель будет представлена в декабре на конференции ISMIR 2022, ведущем мероприятии, посвященном поиску музыкальной информации.

"Наша музыкальная команда в Sony CSL работает над искусственным интеллектом, который мог бы облегчить жизнь музыкальных продюсеров", - сказал TechXplore Стефан Латтнер, один из исследователей, проводивших исследование. "В производстве музыки есть много задач, для решения которых искусственный интеллект мог бы быть полезен. Одной из таких задач, которая в настоящее время является относительно утомительной, является выбор сэмпла барабана."

Выбор сэмплов барабанов - это процесс, посредством которого музыкальные продюсеры должны искать сэмплы барабанов, которые хорошо сочетались бы с конкретными музыкальными треками без барабанов. Поскольку библиотеки образцов барабанов, как правило, велики, поиск подходящих образцов барабанов может отнимать много времени и энергии.

В настоящее время музыкальные продюсеры имеют доступ только к нескольким элементарным вычислительным инструментам, предназначенным для оказания им помощи в процессе выбора сэмплов барабанов. В первую очередь они включают фильтрацию большого набора данных по тегам или ключевым словам.

Несколько лет назад Латтнер задался целью разработать новую систему, которая могла бы извлекать сэмплы барабанов более интуитивно понятным и эффективным способом. Однако из-за ограничений технологии, доступной в то время, эта система должна была быть относительно сложной.

"Я обнаружил, что система, которую я ранее создал, была не очень элегантной, поэтому я не публиковал ее", - объяснил Латтнер. "С недавними достижениями в области контрастивного обучения (и улучшениями в кодировщиках нейронных сетей) стало намного проще оценить, соответствуют ли две точки данных друг другу. В результате система стала более общей, и мой метод можно было использовать для оценки соответствия многих видов звуков".

При использовании SampleMatch музыканты могут вводить свой трек в свою систему на любом этапе производства. Затем система автоматически сортирует библиотеку сэмплов барабанов на основе того, что, по ее расчетам, будет лучше всего соответствовать ей.

Латтнер обучил SampleMatch, используя большой набор данных из 4830 треков электронной музыки и 885 известных поп/рок-треков. В частности, он использовал звуковые пары инструментальной музыки (т.е. синтетические основы, бас, гитара, пэд, струнные, хор, клавишные и вокал) и соответствующие барабанные треки.

"SampleMatch был обучен на звуковых парах, которые, как мы знали, будут совпадать", - сказал Латтнер. "Теперь, когда мы покажем новую пару модели, она предоставит "соответствующую оценку". Хотя уже существуют системы, которые сопоставляют звуковые сэмплы с использованием извлеченных музыкальных функций, качество их извлечения зависит от заранее определенных функций и типа сэмплов. Для барабанных сэмплов даже не ясно, на какие функции мы должны обратить внимание, чтобы вычислить соответствующий балл ".

В то время как Латтнер тренировал свою модель, чтобы узнать, какие сэмплы барабанов соответствуют определенному треку, ее также можно было использовать для других форм подбора звука. Фактически, используя различные пары обучающих сэмплов, SampleMatch также можно научить извлекать соответствующие басовые, гитарные или другие инструментальные треки.

"Некоторые эстетические решения, которые музыкант принимает при создании музыки, все еще остаются загадочными". сказал Латтнер. "Хотя очевидно, что инструмент не должен играть в тональности с сэмплами барабанов, нет никакой теории, почему некоторые подходят к вашему треку, а некоторые нет. Показывая примеры, компьютер теперь может усвоить эстетические принципы, которые мы применяем при прослушивании. В некотором роде компьютер учится слушать, как человек".

В будущем модель поиска звука, созданная Латтнером и его коллегами из Sony CSL, может помочь музыкальным продюсерам в поиске подходящих сэмплов барабанов или других инструментальных образцов для своих треков. Кроме того, тщательный анализ того, как система научилась организовывать данные, мог бы помочь разработать новые теории, которые могли бы направлять усилия по производству музыки. Более конкретно, реверс-инжиниринг системы может позволить исследователям наметить некоторые общие правила, которым музыканты должны следовать при микшировании своей музыки.

"В наших будущих работах мы хотим объединить этот метод с нашей технологией DrumGAN для создания сэмплов барабанов, которые напрямую соответствуют заданному треку", - добавил Латтнер. "Тем временем мы также хотим распространить SampleMatch на другие виды сэмплов".