Сделайте еще один шаг вперед в области ИИ! Meta представляет AudioCraft, новый генеративный инструмент искусственного интеллекта для аудио и музыки

Автор: Цао Цзэси

В среду, 2 августа, Meta запустила новый генеративный инструмент искусственного интеллекта для аудио и музыки под названием AudioCraft, который помогает пользователям создавать музыку и аудио на основе текстовых подсказок.

Этот инструмент искусственного интеллекта объединяет три модели или технологии AudioGen, EnCodec и MusicGen в одну и может генерировать высококачественные, практически созданные человеком аудио и музыку из текстового контента.

Среди них MusicGen прошел специальное авторизованное музыкальное обучение, принадлежащее Meta, и может генерировать музыку из текстовых подсказок; AudioGen прошел общедоступное обучение звуковым эффектам и может генерировать звук из текстовых подсказок, таких как имитация собачьего лая или шагов; в сочетании с EnCodec кодек Благодаря улучшенной версии проигрывателя пользователи могут более эффективно генерировать музыку более высокого качества.

Согласно Meta, линейка моделей AudioCraft воспроизводит высококачественный звук с долговременной стабильностью и проста в использовании:

С помощью AudioCraft мы упрощаем общий дизайн аудиогенерационных моделей по сравнению с предыдущей работой в этой области, предоставляя людям полный способ использования существующих моделей, разработанных Meta за последние несколько лет, а также позволяя им преодолеть ограничения и развить свои собственные собственные модели.

Meta отмечает, что AudioCraft подходит для сжатия и создания музыки, звука и аудиофайлов. Поскольку его очень легко создавать и повторно использовать, любой, кто хочет создать лучший генератор звука, алгоритм сжатия или генератор музыки, может сделать все это в одной кодовой базе и опираться на то, что сделали другие.

Мета имя:

Наличие прочной основы с открытым исходным кодом будет способствовать инновациям и дополнять способы создания и прослушивания аудио и музыки в будущем. Мы думаем, что с большим контролем MusicGen может стать инструментом нового типа — точно так же, как синтезаторы, когда они только появились.

Все пользователи Facebook могут установить AudioCraft, и Meta специально предлагает исследователям и музыкальным профессионалам использовать этот инструмент:

Мы рассматриваем коллекцию моделей AudioCraft как вдохновляющий инструмент для музыкантов и звукорежиссеров, помогающий людям быстро проводить мозговой штурм и дорабатывать свои композиции новыми способами. Нам не терпится увидеть, что люди создают с помощью Audiocraft.

Meta выпустила свою первую версию EnCodec в октябре 2022 года в качестве инструмента искусственного интеллекта для сжатия и распаковки аудиофайлов без потери качества звука, что позволяет пользователям быстро и легко обмениваться аудиодокументами. Его цель — улучшить качество всех аудиофайлов, а не только музыкальных файлов. В то время это было специально направлено на улучшение качества голосовых вызовов и голосовых сообщений, особенно в неблагоприятных ситуациях, таких как плохое сетевое соединение. С тех пор модель претерпела изменения и теперь представлена вместе с AudioGen и SoundGen в качестве инструмента, помогающего синтезированным звукам и музыке казаться более реалистичными при реальном воспроизведении.

В то время как некоторые художники используют инструменты, созданные ИИ, для большего творчества, другие критически относятся к нарушению авторских прав.