Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
AIGC'nin patlamasının arkasında, yapay zeka eğitimi ve yapay zeka muhakemesine yönelik büyük talep var. NVIDIA şu anda en büyük yapay zeka bilgi işlem gücü sağlayıcısıdır ve ikinci çeyrekteki karlılığı (yıllık %854 artış), endüstrinin yapay zeka bilgi işlem gücüne olan talebinin karşılanmaktan çok uzak olduğuna dair bir sinyal göndermektedir.
NVIDIA'nın yapay zeka bilgi işlem gücü üzerindeki tekeli (%80'den fazla pazar payı), yapay zeka bilgi işlem gücünü kullanan birçok şirketi endişelendirdi, Microsoft, Amazon ve OpenAI aktif olarak çekirdek oluşturuyor ve OpenAI, Cerebras ve Atomic Semi gibi yapay zeka çip girişimleriyle de satın alma skandalları yaşadı.
Yapay zeka uygulamalarını çalıştırmak için yapay zeka akıl yürütme bilgi işlem gücü gereksinimleri, gelecekte büyük modelleri eğitmek için bilgi işlem gücü gereksinimlerini büyük ölçüde aşacaktır ve bilgi işlem gücünü akıl yürütme gereksinimleri, eğitimle aynı değildir ve çıkarım yapmak için mevcut GPU'ların maliyet açısından hiçbir avantajı yoktur, bu da tescilli yapay zeka çıkarım yongaları gerektirir.
Son zamanlarda, yapay zeka akıl yürütme çiplerine odaklanan bir girişim olan d-Matrix, Playground Global, M12 (Microsoft Girişim Sermayesi Fonu), Industry Ventures, Ericsson Ventures, Samsung Ventures, SK Hynix vb. gibi önceki finansman turlarından yatırımcılar da dahil olmak üzere Temasek liderliğindeki B Serisi finansmanda 110 milyon dolar aldı. D-Matrix CEO'su Sid Sheth şunları söyledi: "Yarı iletken bir işin nasıl kurulacağını bilen ve bizimle uzun süre çalışabilecek sermayeler. "
D-Matrix'ten gelen yeni finansman, Dijital Bellek İçi Bilgi İşlem (DIMC) Chiplet Çıkarım Hesaplama Kartı olan Corsair'i oluşturmak için kullanılacak. Bu kartın NVIDIA H100 GPU'dan 9 kat daha hızlı olduğu söyleniyor ve bir dizi bilgi işlem kartı söz konusu olduğunda, NVIDIA'nın benzer çözümlerinden 20 kat daha fazla güç verimli, 20 kat daha az gecikme süresi ve 30 kata kadar daha ucuz.
İki çip gazisi, AIGC çağında bilgi işlem gücü ihtiyaçlarını yapay zekaya yönlendirmeyi hedefliyor
Yapay zeka sistemleri, yapay zeka modellerini eğitirken ve tahminler ve çıkarımlar için kullanırken farklı hesaplama türleri kullanır. Yapay zeka çıkarımı daha az bilgi işlem gücü gerektirir, ancak büyük bir yapay zeka hizmeti çalıştırırken uzun vadede eğitimden daha fazla bilgi işlem gücü gerektirir.
Mevcut yapay zeka donanımını kullanarak düşük maliyetle yapay zeka çıkarımı için özel bir veri merkezi kurmak zordur. Microsoft'un GitHub Copilot hizmetinin kullanıcı başına aylık ortalama 20 ABD doları olduğu bildiriliyor ve SemiAnalysis'in baş analisti Dylan Patel'e göre, ChatGPT'yi çalıştıran OpenAI'nin günlük yatırım maliyeti 700.000 ABD dolarına kadar çıkabilir. Bu maliyetler, yapay zeka hizmetleri çalıştırılırken azaltılamayan yapay zeka çıkarım maliyetleridir.
Yapay zeka endüstrisi, yapay zeka çıkarım çiplerinin daha düşük çıkarım maliyetleri ve daha düşük enerji tüketim maliyetleri ile daha sağlıklı gelişmelidir.
İki çip endüstrisi gazisi, Sid Sheth ve Sudeep Bhoja, daha önce Marvell ve Broadcom'da birlikte çalıştıktan sonra 2019'da d-Matrix'i kurdu. 2019 yılında Transformer mimarisinin yapay zeka modeli yeni yeni ortaya çıkıyordu ve bu model mimarisinin büyük potansiyelini ve fırsatını gördüler ve yapay zeka donanımlarını bu büyük dil modelleri için özel olarak tasarlamaya karar verdiler.
d-Matrix'in CEO'su ve kurucu ortağı Sid Sheth şunları söyledi: "2019'da Transformer modelleri için bir hızlandırma platformuna odaklanmak ve çıkarıma odaklanmak için bir iddiaya girdik ve 2022'nin sonunda, üretken yapay zeka patladığında, d-Matrix, üretken bir yapay zeka çıkarım hesaplama platformuna sahip birkaç şirketten biri oldu. Üç yıl boyunca büyüdük ve bu fırsatı değerlendirdik. Tüm donanım ve yazılımlarımız, Transformer modellerini ve üretken yapay zekayı hızlandırmak için oluşturulmuştur. "
Sid Sheth, d-Matrix'in pazar konumlandırmasının benzersizliğini açıklamaya devam etti: "Üretken yapay zeka, insanların ve şirketlerin teknolojiyi nasıl yarattığı, çalıştığı ve teknolojiyle nasıl etkileşime girdiği paradigmasını sonsuza dek değiştirecek.
Ancak yapay zeka çıkarımını çalıştırmak için mevcut toplam sahip olma maliyeti (TCO) hızla artıyor ve d-Matrix ekibi, büyük dil modelleri için amaca yönelik bilgi işlem çözümleriyle yapay zeka çıkarımını dağıtmanın maliyet ekonomisini değiştiriyor ve bu finansman turu sektördeki konumumuzu daha da doğruluyor. "
Microsoft M12'nin yatırımcılarından Michael Stewart şunları söyledi: "Büyük dil modeli çıkarımının toplam sahip olma maliyeti, kuruluşların hizmetlerinde ve uygulamalarında gelişmiş yapay zekayı kullanmaları için önemli bir sınırlayıcı faktör haline geldiğinde resmi olarak üretime girdik. d-Matrix, bellek merkezli bir yaklaşıma dayalı esnek, dayanıklı bir Chiplet mimarisi kullanarak çeşitli potansiyel model hizmet senaryoları için endüstri lideri TCO sağlayacak bir plan izliyor. "
Yapay zeka çıkarımının maliyetini 30 kat azaltın
Yapay zeka eğitimi ve çıkarımı için CPU'ları ve GPU'ları kullanmak en verimli yol değildir. Yapay zeka çıkarım işlemleri için veri hareketi en büyük darboğazdır. Özellikle, verilerin rastgele erişim belleğine ileri geri aktarılması önemli gecikmelere neden olur, bu da daha yüksek enerji tüketimine ve maliyetlere yol açar ve tüm AI sistemini yavaşlatır.
Bu sorunu çözmenin üç yolu vardır.
Birincisi, örnekleme ve işlem hatları aracılığıyla işlenen veri miktarını azaltarak derin öğrenmeyi hızlandırır, ancak aynı zamanda doğruluğu ve kesinliği de sınırlar.
İkincisi, geleneksel işlemcinin yanına özel bir AI motor işlemcisi kurmaktır, Apple, NVIDIA, Intel ve AMD'nin tümü bu yöntemi kullanır, ancak bu çözümler hala SRAM ve harici DRAM belleği entegre etmek için geleneksel von Neumann işlemci mimarisini kullanır, hepsinin verileri belleğe ve bellekten taşıması gerekir, bu da yine de yüksek güç tüketimi ve düşük verimlilik sağlar.
Üçüncüsü, hesaplamayı d-Matrix tarafından benimsenen yaklaşım olan RAM'e (bellek) yaklaştırmaktır. Dijital Bellek İçi Bilgi İşlem (DIMC) adı verilen bu motor mimarisi, gecikmeyi ve enerji tüketimini azaltır. Çıkarım, tekrar tekrar erişilen nispeten statik (ancak büyük) ağırlıklı bir veri kümesi içerdiğinden ve DIMC, enerji aktarım masraflarının ve veri taşıma gecikmelerinin çoğunu ortadan kaldırdığından, yapay zeka çıkarımı için de çok uygundur.
d-Matrix, daha büyük, modüler ve ölçeklenebilir entegre devreler oluşturmak için birden fazla yonga kullanır. Bu, kurumsal düzeyde yapay zeka çıkarım görevleri için ölçeklenebilir platformlar oluşturmasını sağlayarak yapay zeka kuruluşlarının performansı ve verimliliği artırmasına yardımcı olur.
Jayhawk II Yongası
2021'de d-Matrix, Nighthawk Chiplet'i piyasaya sürdü ve ardından enerji verimli organik substrat tabanlı çipten çipe bağlantı sağlamak için tasarlanmış endüstrinin ilk Açık Alana Özgü Mimari (ODSA) Bunch of Vores (BoW) Chiplet platformu olan Jayhawk Chiplet Platformunu piyasaya sürdüler.
D-Matrix'in DIMC mimarisine sahip ilk ürünler, yakın zamanda duyurulan ve yaklaşık 16,5 milyar transistör içeren bir Chiplet olan Jayhawk II işlemciye dayanacak.
Her Jayhawk II Chiplet, onu yönetmek için bir RISC-V çekirdeği, 32 Apollo çekirdeği (her biri paralel olarak çalışan sekiz DIMC birimine sahip) ve 150 TB/s bant genişliğine sahip 256 MB SRAM içerir. Çekirdek, 84 TB/sn bant genişliğine sahip özel bir ağ yongası kullanılarak bağlanır.
Corsair Hesaplama Kartı
d-Matrix ayrıca NVIDIA'nın H100'üne benzer Corsair bilgi işlem kartlarını da tanıttı, her Corsair bilgi işlem kartında 8 Jayhawk II yongası var, her Jayhawk II 2Tb/sn (250 GB/sn) çipten çipe bant genişliği sağlıyor ve tek bir Corsair bilgi işlem kartı 8Tb/sn (1 TB/sn) toplam çipten çipe bant genişliğine sahip.
d-Matrix'in mimarisi ve yazılım ölçeklenebilirliği, entegre SRAM belleğini çok yüksek bant genişliği sağlayan birleşik bir bellek havuzunda toplamasını sağlar. Örneğin, 16 Corsair kartına sahip bir sunucuda 32 GB SRAM ve 2 TB LPDDR5 bulunur, bu da 20 milyar ila 30 milyar parametreli bir Transformer modelini çalıştırmak için yeterlidir.
d-Matrix, Corsair hesaplama kartlarına sahip sunucuların, GPU tabanlı çözümlere kıyasla üretken yapay zeka çıkarımının toplam sahip olma maliyetini 10 ila 30 kat azalttığını, ancak bu donanım setinin 2024 yılına kadar resmi olarak mevcut olmayacağını iddia ediyor.
d-Matrix Aviator yazılım yığını
NVIDIA'nın AI bilgi işlem gücündeki gücü yalnızca GPU'da değil, aynı zamanda CUDA yazılım yığınında ve belirli iş yükleri ve kullanım durumları için optimize edilmiş çok sayıda kitaplıkta yatmaktadır ve böylece eksiksiz bir ekosistem oluşturmaktadır.
d-Matrix ayrıca müşterilere, makine öğrenimi araç zincirleri, iş yükü dağıtımı için sistem yazılımı, üretim dağıtımları için çıkarım sunucusu yazılımı vb. gibi üretimde modelleri dağıtmak için bir dizi yazılım içeren donanımın yanı sıra Aviator yazılım yığını ile eksiksiz bir deneyim sunar. Ve yazılım yığınının çoğu, yaygın olarak benimsenen açık kaynaklı yazılımlardan yararlanır.
Nispeten küçük bir model hedefleyin
D-Matrix CEO'su Sid Sheth, yapay zeka çıkarımını konumlandırmanın yanı sıra, genel amaçlı yüz milyarlarca büyük modelden ziyade multi-milyar ila on milyarlarca küçük ve orta ölçekli modele odaklandıklarına dikkat çekti.
Bir yarı iletken ve yapay zeka araştırma firması olan Cambrian AI'nın kurucusu ve baş analisti Karl Freund da aynı fikirde: "Çoğu şirket, yüz milyarlarca veya trilyonlarca parametreye sahip modeller kullanmıyor. Ancak modele ince ayar yapmak için şirketin kendi verilerini kullanacaklar ve gerçekte dağıtacakları model çok daha küçük olacak. Bu boyuttaki bir model için NVIDIA H100, AI çıkarımı söz konusu olduğunda mutlaka en ekonomik seçenek değildir ve H100 şu anda 40.000 dolara kadar satılmaktadır. "
Ayrıca d-Matrix'in bir fırsat penceresiyle karşı karşıya olduğuna ve Nvidia gibi devler bu pazara yönelmeden önce değerini göstermek için nispeten boş bir süreye sahip olduğuna dikkat çekti.
Şimdilik, d-Matrix bu yıl 10 milyon dolardan fazla olmayan bir gelir bekliyor ve bu gelirler çoğunlukla değerlendirme için çip satın alan müşterilerden geliyor. Kurucu Sheth, d-Matrix'in iki yıl içinde yıllık 70 milyon ila 75 milyon dolar arasında gelir beklediğini ve başabaş olduğunu söyledi. D-Matrix'in karşı karşıya olduğu pazar alanı çok büyük ve Cambrian AI, 2030 yılına kadar AI çıkarım yongalarının bilgi işlem güç tüketimi oranının watt başına 1000 TOPS'un üzerine çıkmasının mümkün olduğunu tahmin ediyor.
Özerklik ve maliyet, yapay zeka çiplerinin zeminidir
Bir yandan, d-Matrix gibi yapay zeka çip girişimlerinin hayatta kalma toprağı, ister Microsoft, Meta, Amazon gibi devler, ister OpenAI, Anthropic gibi süper tek boynuzlu atlar veya Cohere gibi önde gelen girişimler olsun, yapay zeka üreticilerinin bağımsız ve kontrol edilebilir ihtiyaçlarından geliyor, yapay zeka bilgi işlem güçlerinin tek bir şirkete bağlı olmasını istemiyorlar.
Öte yandan, büyük model şirketler için yapay zeka hizmetlerinin işletme maliyeti, uzun vadede, yapay zeka hizmetlerini çalıştırmak için bilgi işlem gücünün maliyeti, eğitim modelleri için bilgi işlem gücünün maliyetinden daha yüksek olacaktır ve bu aşamada, yapay zeka işletmelerinin tek bir kullanıcısının işletme maliyeti zarar eden bir durumdur ve toplam sahip olma maliyeti (TCO) de yüksektir. Nakit zengini devler için bu kayıp karşılanabilir, ancak yeni başlayanlar için büyük bir yüktür ve işlerinin daha da genişlemesini yavaşlatır.
Üçüncü taraf, düşük maliyetli yapay zeka muhakeme bilgi işlem gücü, hem devler hem de yeni başlayanlar için son derece gereklidir.
Bu aşamada, yapay zeka çipleri alanında girişimlerin karşılaştığı riskler nelerdir? Birincisi, elbette, NVIDIA devinin yanı sıra Microsoft, Meta, Google, OpenAI, en büyük AI şirketlerinin kendi geliştirdiği çiplerin "tekeli" ve ardından çipi destekleyen yazılım ekolojik sorunu.
Ve bu problemleri, d-Matrix çözme sürecindedir. Ticari küçük ve orta ölçekli yapay zeka modelleri pazarını hedefliyor ve ayrıca devlerin rekabetinde farklılaştırılmış bir rekabet avantajı sağlayabilecek bir yazılım ekosistemi oluşturmak için açık kaynak topluluğuyla işbirliği yapıyor.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Farklılaşma ile NVIDIA'nın "tekelini" kıran d-Matrix, AI çıkarım bilgi işlem gücünün maliyetini 30 kat azaltıyor
Orijinal kaynak: Alpha Commune
AIGC'nin patlamasının arkasında, yapay zeka eğitimi ve yapay zeka muhakemesine yönelik büyük talep var. NVIDIA şu anda en büyük yapay zeka bilgi işlem gücü sağlayıcısıdır ve ikinci çeyrekteki karlılığı (yıllık %854 artış), endüstrinin yapay zeka bilgi işlem gücüne olan talebinin karşılanmaktan çok uzak olduğuna dair bir sinyal göndermektedir.
NVIDIA'nın yapay zeka bilgi işlem gücü üzerindeki tekeli (%80'den fazla pazar payı), yapay zeka bilgi işlem gücünü kullanan birçok şirketi endişelendirdi, Microsoft, Amazon ve OpenAI aktif olarak çekirdek oluşturuyor ve OpenAI, Cerebras ve Atomic Semi gibi yapay zeka çip girişimleriyle de satın alma skandalları yaşadı.
Yapay zeka uygulamalarını çalıştırmak için yapay zeka akıl yürütme bilgi işlem gücü gereksinimleri, gelecekte büyük modelleri eğitmek için bilgi işlem gücü gereksinimlerini büyük ölçüde aşacaktır ve bilgi işlem gücünü akıl yürütme gereksinimleri, eğitimle aynı değildir ve çıkarım yapmak için mevcut GPU'ların maliyet açısından hiçbir avantajı yoktur, bu da tescilli yapay zeka çıkarım yongaları gerektirir.
Son zamanlarda, yapay zeka akıl yürütme çiplerine odaklanan bir girişim olan d-Matrix, Playground Global, M12 (Microsoft Girişim Sermayesi Fonu), Industry Ventures, Ericsson Ventures, Samsung Ventures, SK Hynix vb. gibi önceki finansman turlarından yatırımcılar da dahil olmak üzere Temasek liderliğindeki B Serisi finansmanda 110 milyon dolar aldı. D-Matrix CEO'su Sid Sheth şunları söyledi: "Yarı iletken bir işin nasıl kurulacağını bilen ve bizimle uzun süre çalışabilecek sermayeler. "
D-Matrix'ten gelen yeni finansman, Dijital Bellek İçi Bilgi İşlem (DIMC) Chiplet Çıkarım Hesaplama Kartı olan Corsair'i oluşturmak için kullanılacak. Bu kartın NVIDIA H100 GPU'dan 9 kat daha hızlı olduğu söyleniyor ve bir dizi bilgi işlem kartı söz konusu olduğunda, NVIDIA'nın benzer çözümlerinden 20 kat daha fazla güç verimli, 20 kat daha az gecikme süresi ve 30 kata kadar daha ucuz.
İki çip gazisi, AIGC çağında bilgi işlem gücü ihtiyaçlarını yapay zekaya yönlendirmeyi hedefliyor
Yapay zeka sistemleri, yapay zeka modellerini eğitirken ve tahminler ve çıkarımlar için kullanırken farklı hesaplama türleri kullanır. Yapay zeka çıkarımı daha az bilgi işlem gücü gerektirir, ancak büyük bir yapay zeka hizmeti çalıştırırken uzun vadede eğitimden daha fazla bilgi işlem gücü gerektirir.
Mevcut yapay zeka donanımını kullanarak düşük maliyetle yapay zeka çıkarımı için özel bir veri merkezi kurmak zordur. Microsoft'un GitHub Copilot hizmetinin kullanıcı başına aylık ortalama 20 ABD doları olduğu bildiriliyor ve SemiAnalysis'in baş analisti Dylan Patel'e göre, ChatGPT'yi çalıştıran OpenAI'nin günlük yatırım maliyeti 700.000 ABD dolarına kadar çıkabilir. Bu maliyetler, yapay zeka hizmetleri çalıştırılırken azaltılamayan yapay zeka çıkarım maliyetleridir.
Yapay zeka endüstrisi, yapay zeka çıkarım çiplerinin daha düşük çıkarım maliyetleri ve daha düşük enerji tüketim maliyetleri ile daha sağlıklı gelişmelidir.
İki çip endüstrisi gazisi, Sid Sheth ve Sudeep Bhoja, daha önce Marvell ve Broadcom'da birlikte çalıştıktan sonra 2019'da d-Matrix'i kurdu. 2019 yılında Transformer mimarisinin yapay zeka modeli yeni yeni ortaya çıkıyordu ve bu model mimarisinin büyük potansiyelini ve fırsatını gördüler ve yapay zeka donanımlarını bu büyük dil modelleri için özel olarak tasarlamaya karar verdiler.
Sid Sheth, d-Matrix'in pazar konumlandırmasının benzersizliğini açıklamaya devam etti: "Üretken yapay zeka, insanların ve şirketlerin teknolojiyi nasıl yarattığı, çalıştığı ve teknolojiyle nasıl etkileşime girdiği paradigmasını sonsuza dek değiştirecek.
Ancak yapay zeka çıkarımını çalıştırmak için mevcut toplam sahip olma maliyeti (TCO) hızla artıyor ve d-Matrix ekibi, büyük dil modelleri için amaca yönelik bilgi işlem çözümleriyle yapay zeka çıkarımını dağıtmanın maliyet ekonomisini değiştiriyor ve bu finansman turu sektördeki konumumuzu daha da doğruluyor. "
Microsoft M12'nin yatırımcılarından Michael Stewart şunları söyledi: "Büyük dil modeli çıkarımının toplam sahip olma maliyeti, kuruluşların hizmetlerinde ve uygulamalarında gelişmiş yapay zekayı kullanmaları için önemli bir sınırlayıcı faktör haline geldiğinde resmi olarak üretime girdik. d-Matrix, bellek merkezli bir yaklaşıma dayalı esnek, dayanıklı bir Chiplet mimarisi kullanarak çeşitli potansiyel model hizmet senaryoları için endüstri lideri TCO sağlayacak bir plan izliyor. "
Yapay zeka çıkarımının maliyetini 30 kat azaltın
Yapay zeka eğitimi ve çıkarımı için CPU'ları ve GPU'ları kullanmak en verimli yol değildir. Yapay zeka çıkarım işlemleri için veri hareketi en büyük darboğazdır. Özellikle, verilerin rastgele erişim belleğine ileri geri aktarılması önemli gecikmelere neden olur, bu da daha yüksek enerji tüketimine ve maliyetlere yol açar ve tüm AI sistemini yavaşlatır.
Bu sorunu çözmenin üç yolu vardır.
Birincisi, örnekleme ve işlem hatları aracılığıyla işlenen veri miktarını azaltarak derin öğrenmeyi hızlandırır, ancak aynı zamanda doğruluğu ve kesinliği de sınırlar.
İkincisi, geleneksel işlemcinin yanına özel bir AI motor işlemcisi kurmaktır, Apple, NVIDIA, Intel ve AMD'nin tümü bu yöntemi kullanır, ancak bu çözümler hala SRAM ve harici DRAM belleği entegre etmek için geleneksel von Neumann işlemci mimarisini kullanır, hepsinin verileri belleğe ve bellekten taşıması gerekir, bu da yine de yüksek güç tüketimi ve düşük verimlilik sağlar.
Üçüncüsü, hesaplamayı d-Matrix tarafından benimsenen yaklaşım olan RAM'e (bellek) yaklaştırmaktır. Dijital Bellek İçi Bilgi İşlem (DIMC) adı verilen bu motor mimarisi, gecikmeyi ve enerji tüketimini azaltır. Çıkarım, tekrar tekrar erişilen nispeten statik (ancak büyük) ağırlıklı bir veri kümesi içerdiğinden ve DIMC, enerji aktarım masraflarının ve veri taşıma gecikmelerinin çoğunu ortadan kaldırdığından, yapay zeka çıkarımı için de çok uygundur.
d-Matrix, daha büyük, modüler ve ölçeklenebilir entegre devreler oluşturmak için birden fazla yonga kullanır. Bu, kurumsal düzeyde yapay zeka çıkarım görevleri için ölçeklenebilir platformlar oluşturmasını sağlayarak yapay zeka kuruluşlarının performansı ve verimliliği artırmasına yardımcı olur.
Jayhawk II Yongası
2021'de d-Matrix, Nighthawk Chiplet'i piyasaya sürdü ve ardından enerji verimli organik substrat tabanlı çipten çipe bağlantı sağlamak için tasarlanmış endüstrinin ilk Açık Alana Özgü Mimari (ODSA) Bunch of Vores (BoW) Chiplet platformu olan Jayhawk Chiplet Platformunu piyasaya sürdüler.
Her Jayhawk II Chiplet, onu yönetmek için bir RISC-V çekirdeği, 32 Apollo çekirdeği (her biri paralel olarak çalışan sekiz DIMC birimine sahip) ve 150 TB/s bant genişliğine sahip 256 MB SRAM içerir. Çekirdek, 84 TB/sn bant genişliğine sahip özel bir ağ yongası kullanılarak bağlanır.
Corsair Hesaplama Kartı
d-Matrix ayrıca NVIDIA'nın H100'üne benzer Corsair bilgi işlem kartlarını da tanıttı, her Corsair bilgi işlem kartında 8 Jayhawk II yongası var, her Jayhawk II 2Tb/sn (250 GB/sn) çipten çipe bant genişliği sağlıyor ve tek bir Corsair bilgi işlem kartı 8Tb/sn (1 TB/sn) toplam çipten çipe bant genişliğine sahip.
d-Matrix, Corsair hesaplama kartlarına sahip sunucuların, GPU tabanlı çözümlere kıyasla üretken yapay zeka çıkarımının toplam sahip olma maliyetini 10 ila 30 kat azalttığını, ancak bu donanım setinin 2024 yılına kadar resmi olarak mevcut olmayacağını iddia ediyor.
d-Matrix Aviator yazılım yığını
NVIDIA'nın AI bilgi işlem gücündeki gücü yalnızca GPU'da değil, aynı zamanda CUDA yazılım yığınında ve belirli iş yükleri ve kullanım durumları için optimize edilmiş çok sayıda kitaplıkta yatmaktadır ve böylece eksiksiz bir ekosistem oluşturmaktadır.
Nispeten küçük bir model hedefleyin
D-Matrix CEO'su Sid Sheth, yapay zeka çıkarımını konumlandırmanın yanı sıra, genel amaçlı yüz milyarlarca büyük modelden ziyade multi-milyar ila on milyarlarca küçük ve orta ölçekli modele odaklandıklarına dikkat çekti.
Bir yarı iletken ve yapay zeka araştırma firması olan Cambrian AI'nın kurucusu ve baş analisti Karl Freund da aynı fikirde: "Çoğu şirket, yüz milyarlarca veya trilyonlarca parametreye sahip modeller kullanmıyor. Ancak modele ince ayar yapmak için şirketin kendi verilerini kullanacaklar ve gerçekte dağıtacakları model çok daha küçük olacak. Bu boyuttaki bir model için NVIDIA H100, AI çıkarımı söz konusu olduğunda mutlaka en ekonomik seçenek değildir ve H100 şu anda 40.000 dolara kadar satılmaktadır. "
Ayrıca d-Matrix'in bir fırsat penceresiyle karşı karşıya olduğuna ve Nvidia gibi devler bu pazara yönelmeden önce değerini göstermek için nispeten boş bir süreye sahip olduğuna dikkat çekti.
Şimdilik, d-Matrix bu yıl 10 milyon dolardan fazla olmayan bir gelir bekliyor ve bu gelirler çoğunlukla değerlendirme için çip satın alan müşterilerden geliyor. Kurucu Sheth, d-Matrix'in iki yıl içinde yıllık 70 milyon ila 75 milyon dolar arasında gelir beklediğini ve başabaş olduğunu söyledi. D-Matrix'in karşı karşıya olduğu pazar alanı çok büyük ve Cambrian AI, 2030 yılına kadar AI çıkarım yongalarının bilgi işlem güç tüketimi oranının watt başına 1000 TOPS'un üzerine çıkmasının mümkün olduğunu tahmin ediyor.
Özerklik ve maliyet, yapay zeka çiplerinin zeminidir
Bir yandan, d-Matrix gibi yapay zeka çip girişimlerinin hayatta kalma toprağı, ister Microsoft, Meta, Amazon gibi devler, ister OpenAI, Anthropic gibi süper tek boynuzlu atlar veya Cohere gibi önde gelen girişimler olsun, yapay zeka üreticilerinin bağımsız ve kontrol edilebilir ihtiyaçlarından geliyor, yapay zeka bilgi işlem güçlerinin tek bir şirkete bağlı olmasını istemiyorlar.
Öte yandan, büyük model şirketler için yapay zeka hizmetlerinin işletme maliyeti, uzun vadede, yapay zeka hizmetlerini çalıştırmak için bilgi işlem gücünün maliyeti, eğitim modelleri için bilgi işlem gücünün maliyetinden daha yüksek olacaktır ve bu aşamada, yapay zeka işletmelerinin tek bir kullanıcısının işletme maliyeti zarar eden bir durumdur ve toplam sahip olma maliyeti (TCO) de yüksektir. Nakit zengini devler için bu kayıp karşılanabilir, ancak yeni başlayanlar için büyük bir yüktür ve işlerinin daha da genişlemesini yavaşlatır.
Üçüncü taraf, düşük maliyetli yapay zeka muhakeme bilgi işlem gücü, hem devler hem de yeni başlayanlar için son derece gereklidir.
Bu aşamada, yapay zeka çipleri alanında girişimlerin karşılaştığı riskler nelerdir? Birincisi, elbette, NVIDIA devinin yanı sıra Microsoft, Meta, Google, OpenAI, en büyük AI şirketlerinin kendi geliştirdiği çiplerin "tekeli" ve ardından çipi destekleyen yazılım ekolojik sorunu.
Ve bu problemleri, d-Matrix çözme sürecindedir. Ticari küçük ve orta ölçekli yapay zeka modelleri pazarını hedefliyor ve ayrıca devlerin rekabetinde farklılaştırılmış bir rekabet avantajı sağlayabilecek bir yazılım ekosistemi oluşturmak için açık kaynak topluluğuyla işbirliği yapıyor.