Nâng tầm Meta với AudioCraft, một công cụ AI tổng hợp mới dành cho âm thanh và âm nhạc

Nguồn hình ảnh: Được tạo bởi Unbounded AI

Nguồn: Tin tức Phố Wall

Tác giả: Tào Trạch Tây

Vào thứ Tư, ngày 2 tháng 8, Meta đã ra mắt một công cụ AI tổng hợp mới dành cho âm thanh và âm nhạc có tên AudioCraft, giúp người dùng tạo nhạc và âm thanh dựa trên lời nhắc văn bản.

Công cụ AI này kết hợp ba mô hình hoặc công nghệ AudioGen, EnCodec và MusicGen thành một và có thể tạo ra âm thanh và âm nhạc chất lượng cao, gần như do con người tạo ra từ nội dung văn bản.

Trong số đó, MusicGen đã được đào tạo về âm nhạc do Meta sở hữu và được ủy quyền đặc biệt, đồng thời có thể tạo nhạc từ lời nhắc bằng văn bản; AudioGen đã được đào tạo về hiệu ứng âm thanh công khai và có thể tạo âm thanh từ lời nhắc bằng văn bản, chẳng hạn như mô phỏng tiếng chó sủa hoặc tiếng bước chân; kết hợp với EnCodec codec Với phiên bản cải tiến của trình phát, người dùng có thể tạo nhạc chất lượng cao hiệu quả hơn.

Theo Meta, dòng mô hình AudioCraft tạo ra âm thanh chất lượng cao với tính nhất quán lâu dài và dễ sử dụng:

Với AudioCraft, chúng tôi đơn giản hóa thiết kế tổng thể của các mô hình tạo âm thanh so với công việc trước đây trong lĩnh vực này - cung cấp cho mọi người một cách hoàn chỉnh để sử dụng các mô hình hiện có mà Meta đã phát triển trong vài năm qua, đồng thời cho phép họ vượt qua các giới hạn và phát triển các mô hình của mình. mô hình riêng.

Meta chỉ ra rằng AudioCraft phù hợp để nén và tạo các tệp nhạc, âm thanh và âm thanh. Bởi vì nó rất dễ xây dựng và tái sử dụng nên ai đó muốn xây dựng một trình tạo âm thanh, thuật toán nén hoặc trình tạo nhạc tốt hơn có thể thực hiện tất cả trong cùng một cơ sở mã và xây dựng dựa trên những gì người khác đã làm.

Tên meta:

Có một nền tảng nguồn mở vững chắc sẽ thúc đẩy sự đổi mới và bổ sung cho cách chúng ta tạo và nghe âm thanh và âm nhạc trong tương lai. Với nhiều quyền kiểm soát hơn, chúng tôi nghĩ MusicGen có thể trở thành một loại nhạc cụ mới - giống như các bộ tổng hợp đã làm khi chúng ra mắt lần đầu tiên.

Tất cả người dùng Facebook đều có thể cài đặt AudioCraft và Meta đặc biệt mời các nhà nghiên cứu và chuyên gia âm nhạc sử dụng công cụ này:

Chúng tôi coi bộ sưu tập mô hình AudioCraft là một công cụ truyền cảm hứng cho các nhạc sĩ và nhà thiết kế âm thanh, giúp mọi người nhanh chóng động não và lặp lại các tác phẩm của họ theo những cách mới. Chúng tôi nóng lòng muốn xem những gì mọi người tạo ra với Audiocraft.

Meta đã ra mắt phiên bản đầu tiên của EnCodec vào tháng 10 năm 2022 như một công cụ AI để nén và giải nén các tệp âm thanh mà không làm giảm chất lượng âm thanh, cho phép người dùng chia sẻ tài liệu âm thanh một cách nhanh chóng và dễ dàng. Mục đích của nó là cải thiện chất lượng của tất cả các tệp âm thanh, không chỉ các tệp nhạc. Vào thời điểm đó, nó đặc biệt nhằm mục đích cải thiện chất lượng cuộc gọi thoại và tin nhắn thoại, đặc biệt là trong các tình huống bất lợi như kết nối mạng kém. Kể từ đó, mô hình này đã phát triển và hiện được giới thiệu với AudioGen và SoundGen như một công cụ giúp âm thanh và âm nhạc tổng hợp xuất hiện chân thực hơn khi phát thực tế.

Trong khi một số nghệ sĩ sử dụng các công cụ do AI tạo ra để sáng tạo hơn, thì những nghệ sĩ khác lại chỉ trích hành vi vi phạm bản quyền.