Dê um passo adiante no campo da IA! Meta revela AudioCraft, uma nova ferramenta generativa de IA para áudio e música

Autor: Cao Zexi

Na quarta-feira, 2 de agosto, a Meta lançou uma nova ferramenta de IA generativa para áudio e música chamada AudioCraft, que ajuda os usuários a criar música e áudio com base em prompts de texto.

Essa ferramenta de IA combina os três modelos ou tecnologias de AudioGen, EnCodec e MusicGen em um e pode gerar áudio e música de alta qualidade, quase criados por humanos, a partir de conteúdo de texto.

Entre eles, MusicGen recebeu treinamento musical de propriedade da Meta e especialmente autorizado, e pode gerar música a partir de prompts de texto; AudioGen recebeu treinamento público de efeitos sonoros e pode gerar áudio a partir de prompts de texto, como simular latidos ou passos de cães; juntamente com EnCodec codec Com uma versão melhorada do player, os usuários podem gerar música de maior qualidade com mais eficiência.

De acordo com a Meta, a linha de modelos AudioCraft produz áudio de alta qualidade com consistência de longo prazo e é fácil de usar:

Com o AudioCraft, simplificamos o design geral de modelos generativos de áudio em comparação com trabalhos anteriores no campo - oferecendo às pessoas uma maneira completa de usar modelos existentes que a Meta desenvolveu nos últimos anos, além de permitir que eles ultrapassem o limite e desenvolvam seu modelos próprios.

Meta aponta que o AudioCraft é adequado para compressão e geração de música, som e arquivos de áudio. Por ser tão fácil de construir e reutilizar, alguém que queira construir um gerador de som, algoritmo de compressão ou gerador de música melhor pode fazer tudo na mesma base de código e desenvolver o que outros já fizeram.

Meta nome:

Ter uma base sólida de código aberto promoverá a inovação e complementará a maneira como fazemos e ouvimos áudio e música no futuro. Com mais controle, achamos que o MusicGen pode se tornar um novo tipo de instrumento - assim como os sintetizadores fizeram quando foram lançados.

Todos os usuários do Facebook podem instalar o AudioCraft, e a Meta convida especificamente pesquisadores e profissionais da música a usar a ferramenta:

Vemos a coleção de modelos AudioCraft como uma ferramenta inspiradora para músicos e designers de som, ajudando as pessoas a fazer brainstorming e iterar rapidamente em suas composições de novas maneiras. Mal podemos esperar para ver o que as pessoas criarão com o Audiocraft.

A Meta lançou sua primeira versão do EnCodec em outubro de 2022 como uma ferramenta de IA para compactar e descompactar arquivos de áudio sem perda de qualidade de som, permitindo que os usuários compartilhem documentos de áudio de maneira rápida e fácil. Seu objetivo é melhorar a qualidade de todos os arquivos de áudio, não apenas arquivos de música. Na época, visava especificamente melhorar a qualidade das chamadas e mensagens de voz, principalmente em situações adversas, como conexões de rede ruins. O modelo evoluiu desde então e agora é introduzido com AudioGen e SoundGen como uma ferramenta para ajudar sons sintetizados e música a parecerem mais realistas quando são realmente tocados.

Enquanto alguns artistas adotaram ferramentas geradas por IA para obter mais criatividade, outros criticaram a violação de direitos autorais.