Meta підвищує ставку з AudioCraft, новим генеративним інструментом AI для аудіо та музики

Джерело зображення: створено Unbounded AI

Джерело: Wall Street News

Автор: Цао Зесі

У середу, 2 серпня, Meta запустила новий генеративний інструмент AI для аудіо та музики під назвою AudioCraft, який допомагає користувачам створювати музику та аудіо на основі текстових підказок.

Цей інструмент штучного інтелекту поєднує три моделі або технології AudioGen, EnCodec і MusicGen в одну та може генерувати високоякісні, майже створені людиною аудіо та музику з текстового вмісту.

Серед них MusicGen пройшов спеціальне авторизоване музичне навчання Meta та може генерувати музику з текстових підказок; AudioGen пройшов загальнодоступне навчання звукових ефектів і може генерувати аудіо з текстових підказок, як-от імітація гавкоту собаки чи кроків; у поєднанні з EnCodec кодек Завдяки вдосконаленій версії програвача користувачі можуть ефективніше створювати музику вищої якості.

Відповідно до Meta, лінійка моделей AudioCraft виробляє високоякісний звук із довгостроковою стабільністю та проста у використанні:

За допомогою AudioCraft ми спрощуємо загальний дизайн генеративних моделей аудіо в порівнянні з попередньою роботою в цій галузі, даючи людям повний спосіб використовувати існуючі моделі, розроблені Meta за останні кілька років, а також дозволяючи їм розширювати межі та розвивати свій власні моделі.

Meta зазначає, що AudioCraft підходить для стиснення та створення музики, звуку та аудіофайлів. Оскільки його дуже легко створювати та повторно використовувати, хтось, хто хоче створити кращий звуковий генератор, алгоритм стиснення або музичний генератор, може зробити все це в тій самій кодовій базі та спиратися на те, що зробили інші.

Мета назва:

Наявність міцної основи з відкритим кодом сприятиме інноваціям і доповнюватиме спосіб створення та прослуховування аудіо та музики в майбутньому. З більшим контролем, ми вважаємо, що MusicGen може стати новим типом інструменту – так само, як синтезатори, коли вони вперше з’явилися.

Усі користувачі Facebook можуть установити AudioCraft, і Meta спеціально запрошує дослідників і музичних професіоналів використовувати інструмент:

Ми розглядаємо колекцію моделей AudioCraft як надихаючий інструмент для музикантів і саунд-дизайнерів, який допомагає людям швидко проводити мозковий штурм і повторювати свої композиції по-новому. Ми не можемо дочекатися, щоб побачити, що люди створюють за допомогою Audiocraft.

Meta запустила свою першу версію EnCodec у жовтні 2022 року як інструмент ШІ для стиснення та розпакування аудіофайлів без втрати якості звуку, що дозволяє користувачам швидко та легко ділитися аудіодокументами. Його мета — покращити якість усіх аудіофайлів, а не лише музичних. У той час це було спеціально спрямовано на покращення якості голосових дзвінків і голосових повідомлень, особливо в несприятливих ситуаціях, таких як погане мережеве з’єднання. З тих пір ця модель вдосконалювалася і тепер представлена в AudioGen і SoundGen як інструменті, який допомагає синтезованим звукам і музиці виглядати реалістичніше під час фактичного відтворення.

У той час як деякі митці використовують створені ШІ інструменти для більшої творчості, інші критично ставляться до порушення авторських прав.