Meta fait monter les enchères avec AudioCraft, un nouvel outil d'IA génératif pour l'audio et la musique

Source de l'image : générée par l'IA illimitée

Source : Nouvelles de Wall Street

Auteur : Cao Zexi

Le mercredi 2 août, Meta a lancé un nouvel outil d'IA génératif pour l'audio et la musique appelé AudioCraft, qui aide les utilisateurs à créer de la musique et de l'audio en fonction d'invites textuelles.

Cet outil d'IA combine les trois modèles ou technologies d'AudioGen, EnCodec et MusicGen en un seul, et peut générer de l'audio et de la musique de haute qualité, presque créés par l'homme, à partir de contenu textuel.

Parmi eux, MusicGen a reçu une formation musicale appartenant à Meta et spécialement autorisée, et peut générer de la musique à partir d'invites de texte ; AudioGen a reçu une formation publique sur les effets sonores et peut générer de l'audio à partir d'invites de texte, telles que la simulation d'aboiements ou de pas de chien ; couplé à EnCodec codec Avec une version améliorée du lecteur, les utilisateurs peuvent générer plus efficacement de la musique de meilleure qualité.

Selon Meta, la gamme de modèles AudioCraft produit un son de haute qualité avec une cohérence à long terme et est facile à utiliser :

Avec AudioCraft, nous simplifions la conception globale des modèles génératifs audio par rapport aux travaux antérieurs sur le terrain - donnant aux gens un moyen complet d'utiliser les modèles existants que Meta a développés au cours des dernières années, tout en leur permettant de repousser les limites et de développer votre propres modèles.

Meta souligne qu'AudioCraft convient à la compression et à la génération de fichiers musicaux, sonores et audio. Parce qu'il est si facile à construire et à réutiliser, quelqu'un qui veut construire un meilleur générateur de son, algorithme de compression ou générateur de musique peut tout faire dans la même base de code et s'appuyer sur ce que d'autres ont fait.

Nom Meta:

Avoir une base open source solide favorisera l'innovation et complétera la façon dont nous créons et écoutons de l'audio et de la musique à l'avenir. Avec plus de contrôle, nous pensons que MusicGen peut devenir un nouveau type d'instrument - tout comme les synthétiseurs l'ont fait lorsqu'ils sont sortis pour la première fois.

Tous les utilisateurs de Facebook peuvent installer AudioCraft, et Meta invite spécifiquement les chercheurs et les professionnels de la musique à utiliser l'outil :

Nous considérons la collection de modèles AudioCraft comme un outil inspirant pour les musiciens et les concepteurs sonores, aidant les gens à réfléchir rapidement et à itérer sur leurs compositions de nouvelles façons. Nous avons hâte de voir ce que les gens créent avec Audiocraft.

Meta a lancé sa première version d'EnCodec en octobre 2022 en tant qu'outil d'IA pour compresser et décompresser des fichiers audio sans perte de qualité sonore, permettant aux utilisateurs de partager rapidement et facilement des documents audio. Son but est d'améliorer la qualité de tous les fichiers audio, pas seulement des fichiers musicaux. À l'époque, il visait spécifiquement à améliorer la qualité des appels vocaux et des messages vocaux, en particulier dans des situations défavorables telles que de mauvaises connexions réseau. Le modèle a depuis évolué et est maintenant introduit avec AudioGen et SoundGen en tant qu'outil pour aider les sons et la musique synthétisés à apparaître plus réalistes lorsqu'ils sont réellement joués.

Alors que certains artistes ont adopté des outils générés par l'IA pour plus de créativité, d'autres ont critiqué la violation du droit d'auteur.