Bạn muốn cạnh tranh với Nvidia? Intel đẩy mạnh chip AI trên nền tảng đám mây và có ý định bắt tay với các nhà sản xuất trong nước để phát triển máy chủ AI
Nguồn gốc: Ban Sáng tạo Khoa học và Công nghệ Nhật báo
Tín dụng hình ảnh: Được tạo bởi AI không giới hạn
Vào ngày 11 tháng 7, Intel đã ra mắt chip đào tạo AI trên nền tảng đám mây - Habana® Gaudi® 2 tại thị trường Trung Quốc. Con chip này có thể đáp ứng nhu cầu của các mô hình ngôn ngữ quy mô lớn, mô hình đa phương thức và mô hình AI tổng quát. Theo giới thiệu tại chỗ, hiệu suất của chip tốt hơn Nvidia A100 ở một số chỉ số chính.
Điều này được hiểu rằng bộ xử lý Gaudi2 và thẻ lửng Gaudi2 HL-225B dựa trên kiến trúc hiệu suất cao Gaudi thế hệ đầu tiên và có 24 lõi bộ xử lý Tensor có thể lập trình (TPC).
Mỗi chip tích hợp 21 giao diện Ethernet 100Gbps (RoCEv2 RDMA) dành riêng cho kết nối nội bộ, được trang bị bộ nhớ tốc độ cao HBM 96GB và tổng băng thông bộ nhớ là 2,4TB/s, đáp ứng các mô hình ngôn ngữ quy mô lớn, mô hình đa phương thức và mô hình chung. Mô hình AI cần.
Theo lời giới thiệu tại chỗ, hiệu suất trên mỗi watt của Intel Gaudi2 chạy ResNet-50 gấp khoảng hai lần so với NVIDIA A100 và hiệu suất trên mỗi watt khi chạy mô hình BLOOMZ 176 tỷ tham số gấp khoảng 1,6 lần so với A100. **
Tại buổi họp báo, Liu Jun, phó chủ tịch cấp cao của Inspur Information kiêm tổng giám đốc AI và HPC, đã ra mắt thế hệ máy chủ AI mới NF5698G7 được trang bị Gaudi2 ngay tại chỗ.
Hiện tại, Intel đã hợp tác với Inspur Information để tạo máy chủ AI NF5698G7 dựa trên bộ tăng tốc học sâu Gaudi2. Máy chủ tích hợp 8 thẻ tăng tốc Gaudi2 HL-225B và cũng bao gồm bộ xử lý kép Intel Xeon thế hệ thứ tư có thể mở rộng, hỗ trợ các công cụ tăng tốc AI như AMX/DSA. Cùng ngày, máy chủ AI cũng chính thức ra mắt.
Wang Lei, giám đốc sản phẩm cấp cao của Inspur Information, nhấn mạnh rằng NF5698G7 là thế hệ máy chủ AI mới được phát triển đặc biệt cho thị trường AI tổng quát. Nó hỗ trợ 8 máy gia tốc Gaudi2 được kết nối với nhau tốc độ cao OAM và sẽ cung cấp cho khách hàng AI chương trình đào tạo mô hình quy mô lớn và năng lực lập luận.
Liu Hongcheng, phó chủ tịch dòng sản phẩm điện toán và lưu trữ của H3C, cho biết dựa trên bộ tăng tốc Intel Gaudi2 AI, H3C đang hợp tác với Intel để phát triển các máy chủ AI hiệu suất cao phù hợp cho đào tạo và lý luận mô hình quy mô lớn. **
Đồng thời, Tang Qiming, chủ tịch lĩnh vực cơ sở hạ tầng điện toán của Super Fusion Digital Technology Co., Ltd., chỉ ra rằng ** Super Fusion và Intel sẽ cùng tung ra các sản phẩm và giải pháp mới dựa trên Gaudi2. **
Trước đây, Wang Rui, chủ tịch của Intel Trung Quốc, đã chỉ ra trong một cuộc phỏng vấn với phóng viên của "Nhật báo Khoa học và Công nghệ" rằng làn sóng ** ChatGPT đã mang lại sự gia tăng đáng kể về nhu cầu máy tính và hiện đang phát triển với khách hàng Trung Quốc bao gồm cả Baidu và Ali. Nghiên cứu chung. **Wang Rui tiết lộ rằng cả điện toán hiệu năng cao và điện toán phân tán đều đã được triển khai.
Một phóng viên của Nhật báo Khoa học và Đổi mới Công nghệ, một chuyên gia công nghệ của Intel, đã chia sẻ cách bố trí của Intel trong lĩnh vực mô hình lớn. Ở cấp độ đào tạo, đối với điện toán không đồng nhất như CPU, GPU, IPU và Habana, Intel sử dụng nền tảng oneAPI và XPU để cung cấp nhiều lựa chọn hơn. Về lý luận, sau khi phát hành Sapphire Rapids thế hệ thứ tư, dựa trên máy gia tốc AMX, nó có thể giải quyết hơn 80% nhu cầu lý luận của khách hàng trong ngành. Đồng thời, nó cũng tận dụng tối đa CPU, bao gồm Ponte Vecchio để đào tạo và Arctic Sound để suy luận.
Với sự bùng nổ của các mô hình lớn, mô hình kinh doanh của điện toán đám mây đang phát triển theo hướng MaaS (Mô hình dưới dạng Dịch vụ) và nhu cầu về sức mạnh tính toán do nó mang lại cũng đáng được quan tâm.
"Ý tưởng của nó là sử dụng mô hình đào tạo trước để đào tạo dữ liệu ngành nhằm tạo thành một mô hình phân đoạn cho các tình huống cụ thể và cho các ngành khác nhau. Chúng tôi biết rằng số lượng tham số của mô hình chung là rất lớn, chẳng hạn như GPT-3 có thể lên tới 175 tỷ đồng, việc triển khai các mô hình này sẽ cồng kềnh nên có thể phải chắt lọc, nén các mô hình lớn để tạo thành mô hình mà ngành có thể triển khai được”, chuyên gia kỹ thuật nói trên cho biết.
Ngoài ra, Triển khai tư nhân hóa các mô hình lớn là nhu cầu tiềm năng trong nhiều ngành. "Nhiều ngành được chia nhỏ không chấp nhận dịch vụ SaaS, đặc biệt là ngành tài chính và các ngành khác. Do đó, Intel đang thảo luận cách thu nhỏ mô hình này và triển khai triển khai tư nhân hóa tại địa phương để nó thực sự có thể được triển khai trong ngành."
Xem bản gốc
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Bạn muốn cạnh tranh với Nvidia? Intel đẩy mạnh chip AI trên nền tảng đám mây và có ý định bắt tay với các nhà sản xuất trong nước để phát triển máy chủ AI
Nguồn gốc: Ban Sáng tạo Khoa học và Công nghệ Nhật báo
Vào ngày 11 tháng 7, Intel đã ra mắt chip đào tạo AI trên nền tảng đám mây - Habana® Gaudi® 2 tại thị trường Trung Quốc. Con chip này có thể đáp ứng nhu cầu của các mô hình ngôn ngữ quy mô lớn, mô hình đa phương thức và mô hình AI tổng quát. Theo giới thiệu tại chỗ, hiệu suất của chip tốt hơn Nvidia A100 ở một số chỉ số chính.
Điều này được hiểu rằng bộ xử lý Gaudi2 và thẻ lửng Gaudi2 HL-225B dựa trên kiến trúc hiệu suất cao Gaudi thế hệ đầu tiên và có 24 lõi bộ xử lý Tensor có thể lập trình (TPC).
Mỗi chip tích hợp 21 giao diện Ethernet 100Gbps (RoCEv2 RDMA) dành riêng cho kết nối nội bộ, được trang bị bộ nhớ tốc độ cao HBM 96GB và tổng băng thông bộ nhớ là 2,4TB/s, đáp ứng các mô hình ngôn ngữ quy mô lớn, mô hình đa phương thức và mô hình chung. Mô hình AI cần.
Theo lời giới thiệu tại chỗ, hiệu suất trên mỗi watt của Intel Gaudi2 chạy ResNet-50 gấp khoảng hai lần so với NVIDIA A100 và hiệu suất trên mỗi watt khi chạy mô hình BLOOMZ 176 tỷ tham số gấp khoảng 1,6 lần so với A100. **
Tại buổi họp báo, Liu Jun, phó chủ tịch cấp cao của Inspur Information kiêm tổng giám đốc AI và HPC, đã ra mắt thế hệ máy chủ AI mới NF5698G7 được trang bị Gaudi2 ngay tại chỗ.
Hiện tại, Intel đã hợp tác với Inspur Information để tạo máy chủ AI NF5698G7 dựa trên bộ tăng tốc học sâu Gaudi2. Máy chủ tích hợp 8 thẻ tăng tốc Gaudi2 HL-225B và cũng bao gồm bộ xử lý kép Intel Xeon thế hệ thứ tư có thể mở rộng, hỗ trợ các công cụ tăng tốc AI như AMX/DSA. Cùng ngày, máy chủ AI cũng chính thức ra mắt.
Wang Lei, giám đốc sản phẩm cấp cao của Inspur Information, nhấn mạnh rằng NF5698G7 là thế hệ máy chủ AI mới được phát triển đặc biệt cho thị trường AI tổng quát. Nó hỗ trợ 8 máy gia tốc Gaudi2 được kết nối với nhau tốc độ cao OAM và sẽ cung cấp cho khách hàng AI chương trình đào tạo mô hình quy mô lớn và năng lực lập luận.
Liu Hongcheng, phó chủ tịch dòng sản phẩm điện toán và lưu trữ của H3C, cho biết dựa trên bộ tăng tốc Intel Gaudi2 AI, H3C đang hợp tác với Intel để phát triển các máy chủ AI hiệu suất cao phù hợp cho đào tạo và lý luận mô hình quy mô lớn. **
Đồng thời, Tang Qiming, chủ tịch lĩnh vực cơ sở hạ tầng điện toán của Super Fusion Digital Technology Co., Ltd., chỉ ra rằng ** Super Fusion và Intel sẽ cùng tung ra các sản phẩm và giải pháp mới dựa trên Gaudi2. **
Trước đây, Wang Rui, chủ tịch của Intel Trung Quốc, đã chỉ ra trong một cuộc phỏng vấn với phóng viên của "Nhật báo Khoa học và Công nghệ" rằng làn sóng ** ChatGPT đã mang lại sự gia tăng đáng kể về nhu cầu máy tính và hiện đang phát triển với khách hàng Trung Quốc bao gồm cả Baidu và Ali. Nghiên cứu chung. **Wang Rui tiết lộ rằng cả điện toán hiệu năng cao và điện toán phân tán đều đã được triển khai.
Một phóng viên của Nhật báo Khoa học và Đổi mới Công nghệ, một chuyên gia công nghệ của Intel, đã chia sẻ cách bố trí của Intel trong lĩnh vực mô hình lớn. Ở cấp độ đào tạo, đối với điện toán không đồng nhất như CPU, GPU, IPU và Habana, Intel sử dụng nền tảng oneAPI và XPU để cung cấp nhiều lựa chọn hơn. Về lý luận, sau khi phát hành Sapphire Rapids thế hệ thứ tư, dựa trên máy gia tốc AMX, nó có thể giải quyết hơn 80% nhu cầu lý luận của khách hàng trong ngành. Đồng thời, nó cũng tận dụng tối đa CPU, bao gồm Ponte Vecchio để đào tạo và Arctic Sound để suy luận.
Với sự bùng nổ của các mô hình lớn, mô hình kinh doanh của điện toán đám mây đang phát triển theo hướng MaaS (Mô hình dưới dạng Dịch vụ) và nhu cầu về sức mạnh tính toán do nó mang lại cũng đáng được quan tâm.
"Ý tưởng của nó là sử dụng mô hình đào tạo trước để đào tạo dữ liệu ngành nhằm tạo thành một mô hình phân đoạn cho các tình huống cụ thể và cho các ngành khác nhau. Chúng tôi biết rằng số lượng tham số của mô hình chung là rất lớn, chẳng hạn như GPT-3 có thể lên tới 175 tỷ đồng, việc triển khai các mô hình này sẽ cồng kềnh nên có thể phải chắt lọc, nén các mô hình lớn để tạo thành mô hình mà ngành có thể triển khai được”, chuyên gia kỹ thuật nói trên cho biết.
Ngoài ra, Triển khai tư nhân hóa các mô hình lớn là nhu cầu tiềm năng trong nhiều ngành. "Nhiều ngành được chia nhỏ không chấp nhận dịch vụ SaaS, đặc biệt là ngành tài chính và các ngành khác. Do đó, Intel đang thảo luận cách thu nhỏ mô hình này và triển khai triển khai tư nhân hóa tại địa phương để nó thực sự có thể được triển khai trong ngành."