Đằng sau sự bùng nổ của AIGC là nhu cầu lớn về đào tạo AI và lý luận AI. NVIDIA hiện là nhà cung cấp sức mạnh tính toán AI lớn nhất và lợi nhuận của nó trong quý II (tăng 854% so với cùng kỳ năm ngoái) gửi tín hiệu rằng nhu cầu của ngành về sức mạnh tính toán AI còn lâu mới được đáp ứng.
Sự độc quyền của NVIDIA về sức mạnh tính toán AI (thị phần hơn 80%) đã khiến nhiều công ty sử dụng sức mạnh tính toán AI lo lắng, Microsoft, Amazon và OpenAI đang tích cực xây dựng lõi, và OpenAI cũng đã có những vụ bê bối mua lại với các công ty khởi nghiệp chip AI như Cerebras và Atomic Semi.
Các yêu cầu về sức mạnh tính toán lý luận AI để chạy các ứng dụng AI sẽ vượt xa các yêu cầu về sức mạnh tính toán để đào tạo các mô hình lớn trong tương lai và các yêu cầu về sức mạnh tính toán lý luận không giống như đào tạo và các GPU hiện tại để thực hiện suy luận không có lợi thế về chi phí, đòi hỏi chip suy luận AI độc quyền.
Gần đây, d-Matrix, một công ty khởi nghiệp tập trung vào chip lý luận AI, đã nhận được 110 triệu đô la tài trợ Series B, dẫn đầu bởi Temasek, bao gồm các nhà đầu tư từ các vòng tài trợ trước đó như Playground Global, M12 (Quỹ đầu tư mạo hiểm Microsoft), Industry Ventures, Ericsson Ventures, Samsung Ventures, SK Hynix, v.v., với đầu tư công nghiệp chiếm một phần đáng kể. Sid Sheth, Giám đốc điều hành của d-Matrix, cho biết: "Họ là những vốn biết cách xây dựng một doanh nghiệp bán dẫn và có thể làm việc với chúng tôi trong một thời gian dài. "
Khoản tài trợ mới từ d-Matrix sẽ được sử dụng để xây dựng Corsair, Thẻ tính toán suy luận chiplet trong bộ nhớ kỹ thuật số (DIMC). Card này được cho là nhanh hơn 9 lần so với GPU NVIDIA H100 và trong trường hợp cụm thẻ tính toán, nó tiết kiệm năng lượng hơn 20 lần, độ trễ thấp hơn 20 lần và rẻ hơn tới 30 lần so với các giải pháp tương tự của NVIDIA.
** Hai cựu chiến binh chip nhắm đến nhu cầu sức mạnh tính toán lý luận AI trong kỷ nguyên AIGC **
Các hệ thống AI sử dụng các loại tính toán khác nhau khi đào tạo các mô hình AI so với sử dụng nó để dự đoán và suy luận. Suy luận AI đòi hỏi ít sức mạnh tính toán hơn, nhưng khi chạy một dịch vụ AI lớn, nó đòi hỏi nhiều sức mạnh tính toán hơn là đào tạo về lâu dài.
Rất khó để triển khai một trung tâm dữ liệu chuyên dụng cho suy luận AI với chi phí thấp bằng cách sử dụng phần cứng AI hiện có. Được biết, dịch vụ GitHub Copilot của Microsoft được đăng trung bình 20 đô la cho mỗi người dùng mỗi tháng và theo Dylan Patel, nhà phân tích chính tại SemiAnalysis, chi phí đầu tư hàng ngày của OpenAI chạy ChatGPT có thể lên tới 700.000 đô la. Những chi phí này là chi phí suy luận AI không thể giảm khi chạy các dịch vụ AI.
Ngành công nghiệp AI nên phát triển lành mạnh hơn, với chi phí suy luận thấp hơn và chi phí tiêu thụ năng lượng thấp hơn của chip suy luận AI.
Hai cựu chiến binh trong ngành công nghiệp chip, Sid Sheth và Sudeep Bhoja, đã thành lập d-Matrix vào năm 2019 sau khi trước đó làm việc cùng nhau tại Marvell và Broadcom. Vào năm 2019, mô hình AI của kiến trúc Transformer chỉ mới xuất hiện và họ đã nhìn thấy tiềm năng và cơ hội to lớn của kiến trúc mô hình này và quyết định thiết kế phần cứng AI của họ dành riêng cho các mô hình ngôn ngữ lớn này.
Sid Sheth, Giám đốc điều hành và đồng sáng lập của d-Matrix, cho biết: "Chúng tôi đã đặt cược vào năm 2019 để tập trung vào nền tảng tăng tốc cho các mô hình Transformer và tập trung vào suy luận, và vào cuối năm 2022, khi AI phát sinh bùng nổ, d-Matrix trở thành một trong số ít các công ty có nền tảng điện toán suy luận AI tạo ra. Chúng tôi đã phát triển và nắm bắt cơ hội này trong suốt ba năm. Tất cả phần cứng và phần mềm của chúng tôi được xây dựng để tăng tốc các mô hình Biến áp và AI tạo ra. "
Sid Sheth tiếp tục mô tả sự độc đáo trong định vị thị trường của d-Matrix: "AI tạo ra sẽ mãi mãi thay đổi mô hình về cách mọi người và các công ty tạo ra, làm việc và tương tác với công nghệ.
Nhưng tổng chi phí sở hữu (TCO) hiện tại để chạy suy luận AI đang tăng lên nhanh chóng và nhóm d-Matrix đang thay đổi kinh tế chi phí triển khai suy luận AI với các giải pháp điện toán được xây dựng có mục đích cho các mô hình ngôn ngữ lớn và vòng tài trợ này tiếp tục khẳng định vị trí của chúng tôi trong ngành. "
Michael Stewart, một nhà đầu tư vào Microsoft M12, cho biết: "Chúng tôi chính thức đi vào sản xuất khi TCO suy luận mô hình ngôn ngữ lớn trở thành yếu tố hạn chế chính để các doanh nghiệp sử dụng AI tiên tiến trong các dịch vụ và ứng dụng của họ. d-Matrix đã tuân theo một kế hoạch sẽ cung cấp TCO hàng đầu trong ngành cho nhiều kịch bản phục vụ mô hình tiềm năng bằng cách sử dụng kiến trúc Chiplet linh hoạt, linh hoạt dựa trên cách tiếp cận tập trung vào bộ nhớ. "
Giảm chi phí suy luận AI xuống 30x
Sử dụng CPU và GPU để đào tạo và suy luận AI không phải là cách hiệu quả nhất. Đối với các hoạt động suy luận AI, di chuyển dữ liệu là nút thắt cổ chai lớn nhất. Cụ thể, việc truyền dữ liệu qua lại bộ nhớ truy cập ngẫu nhiên gây ra độ trễ đáng kể, từ đó dẫn đến tiêu thụ năng lượng và chi phí cao hơn, đồng thời làm chậm toàn bộ hệ thống AI.
Có ba cách để giải quyết vấn đề này.
Đầu tiên tăng tốc học sâu bằng cách giảm lượng dữ liệu được xử lý thông qua lấy mẫu và đường ống, nhưng nó cũng hạn chế độ chính xác và độ chính xác.
Thứ hai là thiết lập bộ xử lý công cụ AI chuyên dụng gần bộ xử lý truyền thống, Apple, NVIDIA, Intel và AMD đều sử dụng phương pháp này, tuy nhiên các giải pháp này vẫn sử dụng kiến trúc bộ xử lý von Neumann truyền thống, để tích hợp SRAM và bộ nhớ DRAM gắn ngoài, tất cả đều cần di chuyển dữ liệu vào và ra khỏi bộ nhớ, vẫn dẫn đến tiêu thụ điện năng cao và hiệu quả thấp.
Thứ ba là di chuyển tính toán đến gần hơn với RAM (bộ nhớ), đó là cách tiếp cận được thực hiện bởi d-Matrix. Kiến trúc công cụ này, được gọi là Điện toán trong bộ nhớ kỹ thuật số (DIMC), làm giảm độ trễ và tiêu thụ năng lượng. Nó cũng rất phù hợp cho suy luận AI, vì suy luận liên quan đến một tập dữ liệu có trọng số tương đối tĩnh (nhưng lớn) được truy cập nhiều lần và DIMC loại bỏ hầu hết chi phí truyền năng lượng và độ trễ di chuyển dữ liệu.
d-Matrix sử dụng nhiều chiplet để xây dựng các mạch tích hợp lớn hơn, mô-đun và có thể mở rộng. Điều này cho phép nó xây dựng các nền tảng có thể mở rộng cho các tác vụ suy luận AI cấp doanh nghiệp, giúp các doanh nghiệp AI cải thiện hiệu suất và hiệu quả.
** Chiplet Jayhawk II **
Vào năm 2021, d-Matrix đã ra mắt Chiplet Nighthawk, sau đó họ ra mắt Nền tảng Chiplet Jayhawk, nền tảng Chiplet Kiến trúc dành riêng cho miền mở (ODSA) Bunch of Vores (BoW) đầu tiên trong ngành được thiết kế để cung cấp kết nối chip-to-chip dựa trên chất nền hữu cơ tiết kiệm năng lượng.
Các sản phẩm đầu tiên có kiến trúc DIMC của d-Matrix sẽ dựa trên bộ xử lý Jayhawk II được công bố gần đây, một Chiplet chứa khoảng 16,5 tỷ bóng bán dẫn.
Mỗi Chiplet Jayhawk II chứa một lõi RISC-V để quản lý nó, 32 lõi Apollo (mỗi lõi có tám đơn vị DIMC hoạt động song song) và SRAM 256 MB với băng thông 150TB / s. Lõi được kết nối bằng chip mạng đặc biệt với băng thông 84TB / s.
Thẻ điện toán Corsair
d-Matrix cũng giới thiệu thẻ tính toán Corsair, tương tự như H100 của NVIDIA, mỗi card máy tính Corsair có 8 chiplet Jayhawk II, mỗi Jayhawk II cung cấp băng thông chip-to-chip 2Tb / s (250GB / s) và một card máy tính Corsair duy nhất có băng thông chip tổng hợp 8Tb / s (1TB / s).
Kiến trúc và khả năng mở rộng phần mềm của d-Matrix cho phép nó tổng hợp bộ nhớ SRAM tích hợp vào một nhóm bộ nhớ thống nhất cung cấp băng thông rất cao. Ví dụ: một máy chủ có 16 thẻ Corsair có 32 GB SRAM và 2TB LPDDR5, đủ để chạy mô hình Biến áp với 20 tỷ đến 30 tỷ thông số.
d-Matrix tuyên bố rằng các máy chủ có thẻ tính toán Corsair giảm tổng chi phí sở hữu suy luận AI tạo ra từ 10 đến 30 lần so với các giải pháp dựa trên GPU, nhưng bộ phần cứng này sẽ không có sẵn chính thức cho đến năm 2024.
** ngăn xếp phần mềm d-Matrix Aviator **
Sức mạnh của NVIDIA trong sức mạnh tính toán AI không chỉ nằm ở GPU mà còn ở ngăn xếp phần mềm CUDA và nhiều thư viện được tối ưu hóa cho khối lượng công việc và trường hợp sử dụng cụ thể, do đó tạo thành một hệ sinh thái hoàn chỉnh.
d-Matrix cũng cung cấp cho khách hàng trải nghiệm hoàn chỉnh với ngăn xếp phần mềm Aviator cùng với phần cứng, bao gồm một loạt các phần mềm để triển khai các mô hình trong sản xuất, chẳng hạn như chuỗi công cụ ML, phần mềm hệ thống để phân phối khối lượng công việc, phần mềm máy chủ suy luận để triển khai sản xuất, v.v. Và phần lớn ngăn xếp phần mềm của nó thúc đẩy phần mềm nguồn mở được chấp nhận rộng rãi.
** Nhắm đến một mô hình tương đối nhỏ **
Sid Sheth, Giám đốc điều hành của d-Matrix, chỉ ra rằng ngoài việc định vị suy luận AI, họ còn tập trung hơn vào hàng tỷ đến hàng chục tỷ mô hình vừa và nhỏ, thay vì hàng trăm tỷ mô hình lớn có mục đích chung.
Karl Freund, người sáng lập và nhà phân tích chính tại Cambrian AI, một công ty nghiên cứu chất bán dẫn và AI, đồng ý: "Hầu hết các công ty không triển khai các mô hình với hàng trăm tỷ hoặc hàng nghìn tỷ thông số. Nhưng họ sẽ sử dụng dữ liệu riêng của công ty để tinh chỉnh mô hình và mô hình họ thực sự sẽ triển khai sẽ nhỏ hơn nhiều. Đối với một mô hình có kích thước này, NVIDIA H100 không nhất thiết phải là lựa chọn kinh tế nhất khi nói đến suy luận AI và H100 hiện được bán với giá lên tới 40.000 đô la. "
Ông cũng chỉ ra rằng d-Matrix phải đối mặt với một cửa sổ cơ hội và ông có một khoảng thời gian tương đối trống để thể hiện giá trị của nó trước khi những gã khổng lồ như Nvidia chuyển sang thị trường này.
Hiện tại, d-Matrix dự kiến doanh thu không quá 10 triệu USD trong năm nay, chủ yếu từ những khách hàng mua chip để đánh giá. Người sáng lập Sheth cho biết d-Matrix dự kiến doanh thu hàng năm từ hơn 70 triệu đến 75 triệu đô la trong hai năm và hòa vốn. Không gian thị trường đối mặt với d-Matrix là rất lớn và Cambrian AI dự đoán rằng vào năm 2030, tỷ lệ tiêu thụ điện năng tính toán của chip suy luận AI có thể đạt hơn 1000 TOPS mỗi watt.
**Quyền tự chủ và chi phí là mảnh đất cho chip AI **
Một mặt, mảnh đất sống còn của các startup chip AI như d-Matrix đến từ nhu cầu độc lập và có thể kiểm soát được của các nhà sản xuất AI, cho dù đó là những gã khổng lồ như Microsoft, Meta, Amazon, các siêu kỳ lân như OpenAI, Anthropic, hay các startup hàng đầu như Cohere, họ không muốn sức mạnh tính toán AI của mình bị ràng buộc với một công ty duy nhất.
Mặt khác, chi phí vận hành dịch vụ AI, đối với các công ty mô hình lớn, về lâu dài, chi phí sức mạnh tính toán để chạy các dịch vụ AI sẽ cao hơn chi phí sức mạnh tính toán cho các mô hình đào tạo, và ở giai đoạn này, chi phí vận hành của một người dùng duy nhất của các doanh nghiệp AI là trạng thái thua lỗ, và tổng chi phí sở hữu (TCO) cũng cao. Đối với những gã khổng lồ giàu tiền mặt, khoản lỗ này là phải chăng, nhưng đối với các công ty khởi nghiệp, đó là một gánh nặng rất lớn, làm chậm quá trình mở rộng kinh doanh hơn nữa của họ.
Sức mạnh tính toán lý luận AI của bên thứ ba, chi phí thấp là vô cùng cần thiết cho cả người khổng lồ và công ty khởi nghiệp.
Ở giai đoạn này, những rủi ro mà các công ty khởi nghiệp trong lĩnh vực chip AI phải đối mặt là gì? Tất nhiên, một là sự "độc quyền" của gã khổng lồ NVIDIA, cũng như Microsoft, Meta, Google, OpenAI, những công ty AI lớn nhất tự phát triển chip, và sau đó là vấn đề sinh thái phần mềm hỗ trợ chip.
Và những vấn đề này, d-Matrix đang trong quá trình giải quyết. Nó nhắm mục tiêu thị trường cho các mô hình AI vừa và nhỏ thương mại, và cũng hợp tác với cộng đồng nguồn mở để xây dựng một hệ sinh thái phần mềm, có thể mang lại cho nó một lợi thế cạnh tranh khác biệt trong cuộc cạnh tranh của những người khổng lồ.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Phá vỡ "sự độc quyền" của NVIDIA bằng sự khác biệt, d-Matrix giảm chi phí cho sức mạnh tính toán suy luận AI xuống 30 lần
Nguồn gốc: Alpha Commune
Đằng sau sự bùng nổ của AIGC là nhu cầu lớn về đào tạo AI và lý luận AI. NVIDIA hiện là nhà cung cấp sức mạnh tính toán AI lớn nhất và lợi nhuận của nó trong quý II (tăng 854% so với cùng kỳ năm ngoái) gửi tín hiệu rằng nhu cầu của ngành về sức mạnh tính toán AI còn lâu mới được đáp ứng.
Sự độc quyền của NVIDIA về sức mạnh tính toán AI (thị phần hơn 80%) đã khiến nhiều công ty sử dụng sức mạnh tính toán AI lo lắng, Microsoft, Amazon và OpenAI đang tích cực xây dựng lõi, và OpenAI cũng đã có những vụ bê bối mua lại với các công ty khởi nghiệp chip AI như Cerebras và Atomic Semi.
Các yêu cầu về sức mạnh tính toán lý luận AI để chạy các ứng dụng AI sẽ vượt xa các yêu cầu về sức mạnh tính toán để đào tạo các mô hình lớn trong tương lai và các yêu cầu về sức mạnh tính toán lý luận không giống như đào tạo và các GPU hiện tại để thực hiện suy luận không có lợi thế về chi phí, đòi hỏi chip suy luận AI độc quyền.
Gần đây, d-Matrix, một công ty khởi nghiệp tập trung vào chip lý luận AI, đã nhận được 110 triệu đô la tài trợ Series B, dẫn đầu bởi Temasek, bao gồm các nhà đầu tư từ các vòng tài trợ trước đó như Playground Global, M12 (Quỹ đầu tư mạo hiểm Microsoft), Industry Ventures, Ericsson Ventures, Samsung Ventures, SK Hynix, v.v., với đầu tư công nghiệp chiếm một phần đáng kể. Sid Sheth, Giám đốc điều hành của d-Matrix, cho biết: "Họ là những vốn biết cách xây dựng một doanh nghiệp bán dẫn và có thể làm việc với chúng tôi trong một thời gian dài. "
Khoản tài trợ mới từ d-Matrix sẽ được sử dụng để xây dựng Corsair, Thẻ tính toán suy luận chiplet trong bộ nhớ kỹ thuật số (DIMC). Card này được cho là nhanh hơn 9 lần so với GPU NVIDIA H100 và trong trường hợp cụm thẻ tính toán, nó tiết kiệm năng lượng hơn 20 lần, độ trễ thấp hơn 20 lần và rẻ hơn tới 30 lần so với các giải pháp tương tự của NVIDIA.
** Hai cựu chiến binh chip nhắm đến nhu cầu sức mạnh tính toán lý luận AI trong kỷ nguyên AIGC **
Các hệ thống AI sử dụng các loại tính toán khác nhau khi đào tạo các mô hình AI so với sử dụng nó để dự đoán và suy luận. Suy luận AI đòi hỏi ít sức mạnh tính toán hơn, nhưng khi chạy một dịch vụ AI lớn, nó đòi hỏi nhiều sức mạnh tính toán hơn là đào tạo về lâu dài.
Rất khó để triển khai một trung tâm dữ liệu chuyên dụng cho suy luận AI với chi phí thấp bằng cách sử dụng phần cứng AI hiện có. Được biết, dịch vụ GitHub Copilot của Microsoft được đăng trung bình 20 đô la cho mỗi người dùng mỗi tháng và theo Dylan Patel, nhà phân tích chính tại SemiAnalysis, chi phí đầu tư hàng ngày của OpenAI chạy ChatGPT có thể lên tới 700.000 đô la. Những chi phí này là chi phí suy luận AI không thể giảm khi chạy các dịch vụ AI.
Ngành công nghiệp AI nên phát triển lành mạnh hơn, với chi phí suy luận thấp hơn và chi phí tiêu thụ năng lượng thấp hơn của chip suy luận AI.
Hai cựu chiến binh trong ngành công nghiệp chip, Sid Sheth và Sudeep Bhoja, đã thành lập d-Matrix vào năm 2019 sau khi trước đó làm việc cùng nhau tại Marvell và Broadcom. Vào năm 2019, mô hình AI của kiến trúc Transformer chỉ mới xuất hiện và họ đã nhìn thấy tiềm năng và cơ hội to lớn của kiến trúc mô hình này và quyết định thiết kế phần cứng AI của họ dành riêng cho các mô hình ngôn ngữ lớn này.
Sid Sheth tiếp tục mô tả sự độc đáo trong định vị thị trường của d-Matrix: "AI tạo ra sẽ mãi mãi thay đổi mô hình về cách mọi người và các công ty tạo ra, làm việc và tương tác với công nghệ.
Nhưng tổng chi phí sở hữu (TCO) hiện tại để chạy suy luận AI đang tăng lên nhanh chóng và nhóm d-Matrix đang thay đổi kinh tế chi phí triển khai suy luận AI với các giải pháp điện toán được xây dựng có mục đích cho các mô hình ngôn ngữ lớn và vòng tài trợ này tiếp tục khẳng định vị trí của chúng tôi trong ngành. "
Michael Stewart, một nhà đầu tư vào Microsoft M12, cho biết: "Chúng tôi chính thức đi vào sản xuất khi TCO suy luận mô hình ngôn ngữ lớn trở thành yếu tố hạn chế chính để các doanh nghiệp sử dụng AI tiên tiến trong các dịch vụ và ứng dụng của họ. d-Matrix đã tuân theo một kế hoạch sẽ cung cấp TCO hàng đầu trong ngành cho nhiều kịch bản phục vụ mô hình tiềm năng bằng cách sử dụng kiến trúc Chiplet linh hoạt, linh hoạt dựa trên cách tiếp cận tập trung vào bộ nhớ. "
Giảm chi phí suy luận AI xuống 30x
Sử dụng CPU và GPU để đào tạo và suy luận AI không phải là cách hiệu quả nhất. Đối với các hoạt động suy luận AI, di chuyển dữ liệu là nút thắt cổ chai lớn nhất. Cụ thể, việc truyền dữ liệu qua lại bộ nhớ truy cập ngẫu nhiên gây ra độ trễ đáng kể, từ đó dẫn đến tiêu thụ năng lượng và chi phí cao hơn, đồng thời làm chậm toàn bộ hệ thống AI.
Có ba cách để giải quyết vấn đề này.
Đầu tiên tăng tốc học sâu bằng cách giảm lượng dữ liệu được xử lý thông qua lấy mẫu và đường ống, nhưng nó cũng hạn chế độ chính xác và độ chính xác.
Thứ hai là thiết lập bộ xử lý công cụ AI chuyên dụng gần bộ xử lý truyền thống, Apple, NVIDIA, Intel và AMD đều sử dụng phương pháp này, tuy nhiên các giải pháp này vẫn sử dụng kiến trúc bộ xử lý von Neumann truyền thống, để tích hợp SRAM và bộ nhớ DRAM gắn ngoài, tất cả đều cần di chuyển dữ liệu vào và ra khỏi bộ nhớ, vẫn dẫn đến tiêu thụ điện năng cao và hiệu quả thấp.
Thứ ba là di chuyển tính toán đến gần hơn với RAM (bộ nhớ), đó là cách tiếp cận được thực hiện bởi d-Matrix. Kiến trúc công cụ này, được gọi là Điện toán trong bộ nhớ kỹ thuật số (DIMC), làm giảm độ trễ và tiêu thụ năng lượng. Nó cũng rất phù hợp cho suy luận AI, vì suy luận liên quan đến một tập dữ liệu có trọng số tương đối tĩnh (nhưng lớn) được truy cập nhiều lần và DIMC loại bỏ hầu hết chi phí truyền năng lượng và độ trễ di chuyển dữ liệu.
d-Matrix sử dụng nhiều chiplet để xây dựng các mạch tích hợp lớn hơn, mô-đun và có thể mở rộng. Điều này cho phép nó xây dựng các nền tảng có thể mở rộng cho các tác vụ suy luận AI cấp doanh nghiệp, giúp các doanh nghiệp AI cải thiện hiệu suất và hiệu quả.
** Chiplet Jayhawk II **
Vào năm 2021, d-Matrix đã ra mắt Chiplet Nighthawk, sau đó họ ra mắt Nền tảng Chiplet Jayhawk, nền tảng Chiplet Kiến trúc dành riêng cho miền mở (ODSA) Bunch of Vores (BoW) đầu tiên trong ngành được thiết kế để cung cấp kết nối chip-to-chip dựa trên chất nền hữu cơ tiết kiệm năng lượng.
Mỗi Chiplet Jayhawk II chứa một lõi RISC-V để quản lý nó, 32 lõi Apollo (mỗi lõi có tám đơn vị DIMC hoạt động song song) và SRAM 256 MB với băng thông 150TB / s. Lõi được kết nối bằng chip mạng đặc biệt với băng thông 84TB / s.
Thẻ điện toán Corsair
d-Matrix cũng giới thiệu thẻ tính toán Corsair, tương tự như H100 của NVIDIA, mỗi card máy tính Corsair có 8 chiplet Jayhawk II, mỗi Jayhawk II cung cấp băng thông chip-to-chip 2Tb / s (250GB / s) và một card máy tính Corsair duy nhất có băng thông chip tổng hợp 8Tb / s (1TB / s).
d-Matrix tuyên bố rằng các máy chủ có thẻ tính toán Corsair giảm tổng chi phí sở hữu suy luận AI tạo ra từ 10 đến 30 lần so với các giải pháp dựa trên GPU, nhưng bộ phần cứng này sẽ không có sẵn chính thức cho đến năm 2024.
** ngăn xếp phần mềm d-Matrix Aviator **
Sức mạnh của NVIDIA trong sức mạnh tính toán AI không chỉ nằm ở GPU mà còn ở ngăn xếp phần mềm CUDA và nhiều thư viện được tối ưu hóa cho khối lượng công việc và trường hợp sử dụng cụ thể, do đó tạo thành một hệ sinh thái hoàn chỉnh.
** Nhắm đến một mô hình tương đối nhỏ **
Sid Sheth, Giám đốc điều hành của d-Matrix, chỉ ra rằng ngoài việc định vị suy luận AI, họ còn tập trung hơn vào hàng tỷ đến hàng chục tỷ mô hình vừa và nhỏ, thay vì hàng trăm tỷ mô hình lớn có mục đích chung.
Karl Freund, người sáng lập và nhà phân tích chính tại Cambrian AI, một công ty nghiên cứu chất bán dẫn và AI, đồng ý: "Hầu hết các công ty không triển khai các mô hình với hàng trăm tỷ hoặc hàng nghìn tỷ thông số. Nhưng họ sẽ sử dụng dữ liệu riêng của công ty để tinh chỉnh mô hình và mô hình họ thực sự sẽ triển khai sẽ nhỏ hơn nhiều. Đối với một mô hình có kích thước này, NVIDIA H100 không nhất thiết phải là lựa chọn kinh tế nhất khi nói đến suy luận AI và H100 hiện được bán với giá lên tới 40.000 đô la. "
Ông cũng chỉ ra rằng d-Matrix phải đối mặt với một cửa sổ cơ hội và ông có một khoảng thời gian tương đối trống để thể hiện giá trị của nó trước khi những gã khổng lồ như Nvidia chuyển sang thị trường này.
Hiện tại, d-Matrix dự kiến doanh thu không quá 10 triệu USD trong năm nay, chủ yếu từ những khách hàng mua chip để đánh giá. Người sáng lập Sheth cho biết d-Matrix dự kiến doanh thu hàng năm từ hơn 70 triệu đến 75 triệu đô la trong hai năm và hòa vốn. Không gian thị trường đối mặt với d-Matrix là rất lớn và Cambrian AI dự đoán rằng vào năm 2030, tỷ lệ tiêu thụ điện năng tính toán của chip suy luận AI có thể đạt hơn 1000 TOPS mỗi watt.
**Quyền tự chủ và chi phí là mảnh đất cho chip AI **
Một mặt, mảnh đất sống còn của các startup chip AI như d-Matrix đến từ nhu cầu độc lập và có thể kiểm soát được của các nhà sản xuất AI, cho dù đó là những gã khổng lồ như Microsoft, Meta, Amazon, các siêu kỳ lân như OpenAI, Anthropic, hay các startup hàng đầu như Cohere, họ không muốn sức mạnh tính toán AI của mình bị ràng buộc với một công ty duy nhất.
Mặt khác, chi phí vận hành dịch vụ AI, đối với các công ty mô hình lớn, về lâu dài, chi phí sức mạnh tính toán để chạy các dịch vụ AI sẽ cao hơn chi phí sức mạnh tính toán cho các mô hình đào tạo, và ở giai đoạn này, chi phí vận hành của một người dùng duy nhất của các doanh nghiệp AI là trạng thái thua lỗ, và tổng chi phí sở hữu (TCO) cũng cao. Đối với những gã khổng lồ giàu tiền mặt, khoản lỗ này là phải chăng, nhưng đối với các công ty khởi nghiệp, đó là một gánh nặng rất lớn, làm chậm quá trình mở rộng kinh doanh hơn nữa của họ.
Sức mạnh tính toán lý luận AI của bên thứ ba, chi phí thấp là vô cùng cần thiết cho cả người khổng lồ và công ty khởi nghiệp.
Ở giai đoạn này, những rủi ro mà các công ty khởi nghiệp trong lĩnh vực chip AI phải đối mặt là gì? Tất nhiên, một là sự "độc quyền" của gã khổng lồ NVIDIA, cũng như Microsoft, Meta, Google, OpenAI, những công ty AI lớn nhất tự phát triển chip, và sau đó là vấn đề sinh thái phần mềm hỗ trợ chip.
Và những vấn đề này, d-Matrix đang trong quá trình giải quyết. Nó nhắm mục tiêu thị trường cho các mô hình AI vừa và nhỏ thương mại, và cũng hợp tác với cộng đồng nguồn mở để xây dựng một hệ sinh thái phần mềm, có thể mang lại cho nó một lợi thế cạnh tranh khác biệt trong cuộc cạnh tranh của những người khổng lồ.