Adobe разрабатывает ИИ для создания музыки по текстовому запросу
Компания Adobe активно работает над генеративным ИИ по созданию музыкальных треков по текстовому описанию. На мероприятии Hot Pod Summit, проходившем в Бруклине, был анонсирован Project Music GenAI Control.
Сложность запроса будет сопоставима с таковой в MJ или DALL-E, то есть генерация трека будет происходить из фразы вида «танцевальная музыка», «грустная музыка», «энергичный джаз».
Также представители Adobe заявляют, что треки, в отличие от изображений популярных нейросетей, можно будет глубоко кастомизировать.
По заявлениям разработчиков, для кастомизации и работы над треками Project Music GenAI Control предоставит пользователям инструменты для регулирования темпа, интенсивности, повторения паттернов и структуры музыкальных треков. При этом все это будет проходить с машинной точностью, с соблюдением паттернов, стилистических особенностей жанра и прочими нюансами, с которыми сталкиваются во время звукозаписи.
[embed]https://www.youtube.com/watch?v=J6jhWyU5lBY[/embed]
Вопреки расхожему мнению, музыка довольно сильно подчиняется законам физики и математике, ее в ней намного больше, чем представляет себе обыватель, который не получал музыкального образования. Современные инструменты уже сейчас позволяют заниматься продюсированием любому желающему — то есть собирать треки из сэмплов, использовать готовые или сгенерированные звуки, а огромное число VST-плагинов позволяет добиться почти любого звучания. Благодаря софту, музыка давно вышла из консерваторий и студий и переместилась в квартиры как профессиональных исполнителей, так и любителей или просто интересующихся, а некоторые жанры, особенно в электронной музыке, существуют вообще строго за пределами студий и больших лейблов.
Генеративный ИИ встроенный в Adobe Auditon — а скорее всего именно в него будет встроен ИИ, как в случае с генеративной частью нового Photoshop — это серьезная киллерфича, которая может подвинуть другие виды программного обеспечения, такие как FL Studio, REAPER, Magix и другие.
Ранее в индустрии уже появлялись плагины с нейросетевой составляющей, например, позволяющие быстро очищать треки и получать акапелла-сэмплы. Теперь же Adobe шагает вперед и предлагает вывести процесс на новый уровень, и подключить ИИ к процессу создания музыки на всех этапах.
Подобная разработка, впрочем, имеет ряд проблем, в первую очередь, касательно авторских прав. Даже сэмплирование и ремиксы, которые плотно вошли в музыкальную индустрию, не всегда справляются с давлением авторского права, а обученная на актуальных произведениях нейросеть — новый уровень вызова. Ведь очевидно, пользователи будут копировать не классическую музыку, а стараться повторить успешные биты и любимые мелодии. Также встает вопрос о том, как маркировать и распространять подобные произведения, какова доля участия ИИ в создании трека будет считаться «нейросетевым произведением» и можно ли будет такую музыку использовать в коммерческих целях. В век стриминговых платформ и самиздата, когда треки исполнители и авторы публикуют самостоятельно и напрямую, это довольно серьезные вопросы.
Вполне возможно, что треки, созданные с помощью Project Music GenAI будут иметь специальный «водяной знак», над которым, по словам Adobe, уже работают инженеры компании. Но будет ли этот знак применяться к 100% сгенерированной музыке или же к любым трекам, в создании даже части которого принимал ИИ — пока не ясно.
Также представители Adobe заявляют, что треки, в отличие от изображений популярных нейросетей, можно будет глубоко кастомизировать.
По заявлениям разработчиков, для кастомизации и работы над треками Project Music GenAI Control предоставит пользователям инструменты для регулирования темпа, интенсивности, повторения паттернов и структуры музыкальных треков. При этом все это будет проходить с машинной точностью, с соблюдением паттернов, стилистических особенностей жанра и прочими нюансами, с которыми сталкиваются во время звукозаписи.
[embed]https://www.youtube.com/watch?v=J6jhWyU5lBY[/embed]
Вопреки расхожему мнению, музыка довольно сильно подчиняется законам физики и математике, ее в ней намного больше, чем представляет себе обыватель, который не получал музыкального образования. Современные инструменты уже сейчас позволяют заниматься продюсированием любому желающему — то есть собирать треки из сэмплов, использовать готовые или сгенерированные звуки, а огромное число VST-плагинов позволяет добиться почти любого звучания. Благодаря софту, музыка давно вышла из консерваторий и студий и переместилась в квартиры как профессиональных исполнителей, так и любителей или просто интересующихся, а некоторые жанры, особенно в электронной музыке, существуют вообще строго за пределами студий и больших лейблов.
Генеративный ИИ встроенный в Adobe Auditon — а скорее всего именно в него будет встроен ИИ, как в случае с генеративной частью нового Photoshop — это серьезная киллерфича, которая может подвинуть другие виды программного обеспечения, такие как FL Studio, REAPER, Magix и другие.
Ранее в индустрии уже появлялись плагины с нейросетевой составляющей, например, позволяющие быстро очищать треки и получать акапелла-сэмплы. Теперь же Adobe шагает вперед и предлагает вывести процесс на новый уровень, и подключить ИИ к процессу создания музыки на всех этапах.
Подобная разработка, впрочем, имеет ряд проблем, в первую очередь, касательно авторских прав. Даже сэмплирование и ремиксы, которые плотно вошли в музыкальную индустрию, не всегда справляются с давлением авторского права, а обученная на актуальных произведениях нейросеть — новый уровень вызова. Ведь очевидно, пользователи будут копировать не классическую музыку, а стараться повторить успешные биты и любимые мелодии. Также встает вопрос о том, как маркировать и распространять подобные произведения, какова доля участия ИИ в создании трека будет считаться «нейросетевым произведением» и можно ли будет такую музыку использовать в коммерческих целях. В век стриминговых платформ и самиздата, когда треки исполнители и авторы публикуют самостоятельно и напрямую, это довольно серьезные вопросы.
Вполне возможно, что треки, созданные с помощью Project Music GenAI будут иметь специальный «водяной знак», над которым, по словам Adobe, уже работают инженеры компании. Но будет ли этот знак применяться к 100% сгенерированной музыке или же к любым трекам, в создании даже части которого принимал ИИ — пока не ясно.
