2023'te AI çip şirketlerine arka arkaya üç kez soruluyor

Kaynak: Insights by Si Rui, yazar | Renee, editör | Sun Yue

2023'te yatırım kurumları ve hissedarlar, yapay zeka çipleri alanında halka açık şirketlere üç ölümcül soru soruyor:

Henüz bir depolama ve hesaplama entegre çipi yaptınız mı?

(Montage Technology'ye soru soran yatırımcıların kaynağı: Tonghuashun Finance)

Bellek bilgi işlem tümleşik çipinin ilerlemesi nasıl?

(Yatırımcılar Dongxin hisselerini soruyor sorunun kaynağı: Tonghuashun Finance)

Tümleşik depolama ve bilgi işlem yongalarının geleceği nedir?

(Yatırımcıların Hengshuo hisselerine sorularının kaynağı: Tonghuashun Finance)

Yukarıdaki soru dizisi, depolama ve hesaplama entegrasyonunun artık akademik ve endüstriyel çevrelerde "kalmadığı" ve ikincil piyasada popüler olduğu görülüyor: hissedarlar ve aracı kurumlar entegrasyonu telafi etmek için fazla mesai yapıyorlar. depolama ve hesaplama, yani geleneksel çip üreticileri 2023'ün başından beri, depolama ve bilgi işlem entegrasyonunun düzeni "işkence gördü".

**Doğal bir soru, mevduat ve hesaplama entegrasyonunun neden birdenbire bu kadar popüler hale geldiğidir. **

7.14'te yeni depolama ürünü OceanStor A310'u piyasaya süren Huawei, kendi yanıtını verdi. Huawei'nin veri depolama ürün serisinin başkanı Zhou Yuefeng, genel amaçlı büyük modellerin ve sektördeki büyük modellerin eğitiminde ve akıl yürütmesinde birçok veri sorunu olduğunu söyledi: büyük verilerin yavaş etki alanları arası toplanması, ön işlemede düşük veri etkileşim verimliliği ve eğitim ve zor veri akışı güvenliği.

Büyük yapay zeka modeli, depolamaya yeni zorluklar getirir. Örneğin, kararlılık, geleneksel yapay zekadan daha kötüdür. Aynı zamanda, büyük miktarda veri ön işleme ve hazırlık çalışması vardır. Belleğe yakın bilgi işlem kullanmak gerekir ( sorunu çözmek için bir tür depolama ve bilgi işlem entegrasyonu) Bu sorunu sistematik olarak ele alın. **

Peki, buradaki "büyük miktarda veri" ne kadar? CIRUI Insight'ın hesaplamasına göre ChatGPT'nin şu anda günlük 100 milyon kullanıcısı var.İnsanların %5'i her gün aynı saatte soru sorarsa, Three Gorges Barajı'nın elektrik üretimini yaklaşık bir yıl boyunca yutar. **

Başka bir deyişle, büyük modeller çılgınca bilgi işlem gücü talep ediyor ve depolama ile bilgi işlemin entegrasyonuyla temsil edilen ortaya çıkan çözümler, büyük modellerin getirdiği birçok zorluğu çözebilir. Aslında, büyük model, bilgi işlem gücüne katı gereksinimler getirmenin yanı sıra, AI çip üreticilerine "yemek için çok şeker" de sağlıyor.

Bu makale, büyük modelin arka planı altında, AI çip üreticilerine hangi faydaların sağlandığını keşfetmeye çalışmaktadır. ChatGPT tarafından "kovulan" depolama ve bilgi işlem tümleşik üreticilerinin gelecekteki modeli nedir?

"Talih ve talihsizlik birbirine bağlıdır" AI çip üreticileri

**Mockup rüzgarları hala esiyor ve maketlerle ilgili tartışmalar tüm hızıyla devam ediyor. **

Ağustos ayının başında, Çin Bilgisayar Federasyonu (CCF) Yapay Zeka Konferansı alt forumunda - "Sınırlarda Kunlun'u Görmek AI Büyük Ölçekli Model Hesaplama Gücü Sınırında", uzmanlar ve akademisyenler büyük ölçekli modeller çağında , son teknoloji akıllı bilgi işlem gücü "kıt" hale geldi. Varlıklar, bilgi işlem güç kaynaklarının nasıl iyi kullanılacağı ve faydalarının nasıl en üst düzeye çıkarılacağı, her katılımcının yüzleşmesi gereken bir zorluk haline geldi.

Yalnızca GPT-3'ün talep ettiği bilgi işlem gücü miktarına gelince, muhafazakar koşullar altında, Three Gorges Barajı'nın aşağıdakileri karşılamak için bütün gece "çalışması" gerekir:

Aynı anda 100 milyon kişinin çevrimiçi olduğunu varsayarsak, bunların %5'i her gün aynı saatte her saniye soru soruyor, her biri 30 jeton kaplıyor ve çıkarım hesaplama gücünü sağlamak için 15,3 milyon H100 yongası gerekiyor; ve güç Her bir H100'ün tüketimi 750W Yaklaşık günde 10 saat çalışırsa bu H100 çiplerin bulunduğu veri merkezinin yıllık elektrik tüketimi 84 milyar kWh'e ulaşırken, Three Gorges Barajı'nın yıllık elektrik üretimi ise 88,2 milyar kWh.

AI çip üreticilerini daha da endişelendiren şey, bunun yalnızca büyük bir ChatGPT modelinin çıkarım aşamasındaki güç tüketimi olması.

**Sonuç olarak, üreticiler tarafından ortaya çıkan bir dizi çözüm ortaya çıkarılmıştır: **Entegre depolama ve hesaplama, chiplet, HBM, vb. Bunların arasında, depolama ve bilgi işlemin entegrasyonu, geleneksel von Neumann mimarisi altındaki depolama duvarını devirdiği için, aslında maliyet azaltma ve verimlilik artışı sağlayarak bu yılın "Ziweixing"i haline geldi.

(Fotoğraf kaynağı: Cirui Insights'tan "AI Big Computing Power Chip Industry Report-Yüzlerce Savaş Gemisi, Önce Yenilikçiler")

**Yapay zeka çip üreticilerine nefes veren yeni çözümlerin ortaya çıkmasının yanı sıra, büyük model çip üreticilerine, özellikle yeni başlayan çip üreticilerine de iyi haberler getiriyor: yazılım ekolojisinin önemi azalıyor. **

İlk günlerde teknoloji yeterince olgunlaşmadığında, araştırmacılar işe ancak belirli bir sorunu çözerek başlayabildi ve bir milyondan az parametreye sahip küçük modeller doğdu. Örneğin, Google'ın sahip olduğu bir yapay zeka şirketi olan DeepMind, AlphaGO'nun milyonlarca profesyonel insan oyuncunun satranç oynama adımlarında özel "öğrenme" yapmasına izin veriyor.

Daha küçük modeller çıktıktan sonra, çip adaptasyonu gibi donanım sorunları da kapıda. Bu nedenle, Nvidia birleşik ekolojik CUDA'yı başlattığında, GPU+CUDA hızla bilgisayar bilimi topluluğunun tanınmasını sağladı ve yapay zeka gelişimi için standart yapılandırma haline geldi.

Bugün birbiri ardına ortaya çıkan büyük modeller, çok modlu yeteneklere sahiptir, metin, resim, programlama ve diğer konuları işleyebilir ve ayrıca ofis, eğitim ve tıbbi bakım gibi birden çok dikey alanı kapsayabilir. Bu aynı zamanda ana akım ekolojiye uyum sağlamanın tek seçenek olmadığı anlamına gelir: büyük modeller için çip talebi hızla arttığında, çip üreticileri yalnızca 1-2 büyük modele uyum sağlayabilir ve birden fazla küçük modelin geliştirilmesini tamamlayabilir. geçmişte Sipariş. **

Başka bir deyişle, ChatGPT'nin ortaya çıkışı, yeni başlayan çip üreticilerine virajlarda sollama fırsatı sağlıyor. Bu, AI çip pazarının yapısının muazzam değişikliklere uğrayacağı anlamına gelir: AI çipleri artık bireysel üreticilerin tek kişilik bir gösterisi değil, birden çok mucitten oluşan bir grup oyunudur. **

**Bilgi işlem gücü kıt bir meta haline geldiğinde ve ana akım ekolojiye uyum sağlamak artık bir zorunluluk olmadığında, depolama ve bilgi işlemin entegrasyonu ışığını pek gizleyemez. **Şu anda, yatırım yapıp yapmamak ve ne kadar yatırım yapmak, AI çip üreticilerinin karşılaştığı ikinci sorun haline geldi. **

Bu konuda çip devi NVIDIA'nın uzun yıllardır verdiği cevap, inovasyon konusunda cesur olmak ve çok para yatırmak:

Gelişmekte olan bir teknolojinin her Ar-Ge üreticisi, şüphesiz teknik keşif engelleri ve alt üreticilerin anlaşmazlığı gibi çeşitli düzeylerde sorunlarla karşı karşıya kalacaktır. Erken aşamada, gelecekteki gelişme eğilimini ilk kim tahmin ederse, keşif adımlarını atma cesaretini gösterir ve denemek için makul kaynakları ortaya koyarsa, fırsatı yakalayacaktır.

Veri merkezleri dalgası henüz ezici bir çoğunlukla vurmadığında ve yapay zeka eğitimi hala niş bir alan olduğunda, Nvidia, genel amaçlı bilgi işlem GPU'larının ve birleşik programlama yazılımı CUDA'nın geliştirilmesine büyük yatırım yaptı ve bu, Nvidia için iyi bir iş. bilgi işlem platformları.

O zamanlar, GPU'yu programlanabilir yapmak "yararsız ve zarar verici" bir seçenekti: Performansı iki katına çıkarılabilir mi bilmiyorum ama ürün geliştirme iki katına çıkacak. Bu nedenle, hiçbir müşteri bunun için ödeme yapmak istemez. Ancak tek işlevli grafik işlemcisinin uzun vadeli bir çözüm olmadığını öngören Nvidia, CUDA'yı tüm ürün gruplarına uygulamaya karar verdi.

Xindongxi ve Nvidia Çin Kıdemli Mühendislik ve Çözümler Direktörü Dr. Lai Junjie arasındaki bir röportajda Lai Junjie şunları söyledi: "Bilgisayar platformunun vizyonu için Huang Renxun, erken dönemlerde Nvidia'dan yukarı ve aşağı birçok kaynağı hızlı bir şekilde seferber etti. günler."

Öngörü + ağır yatırım, 2012'de Nvidia, yenilikçi ödülünü kazandı: 2012'de, derin öğrenme algoritmasının bilgi işlem performansı akademik çevrede bir sansasyon yarattı. Yüksek bilgi işlem, daha çok yönlü ve kullanımı kolay bir üretkenlik aracı olarak, GPU+CUDA hızla popüler hale geldi Bilgisayar bilimi topluluğu, yapay zekanın geliştirilmesi için "standart konfigürasyon" haline geldi.

Büyük bilgi işlem gücüne sahip AI yongalarının yolculuğunda, depolama ve bilgi işlem için hepsi bir arada yonga kendi "altın dönemini" başlattı. **

Teknik olmayan, finansal açıdan zengin, girmeyin

Depolama ve bilgi işlem entegrasyonunun çeşitli faydalarını gören bu aşamada, depolama ve bilgi işlem yongalarını entegre eden oyuncular kampı büyüyor.

(Fotoğraf kaynağı: Cirui Insights'tan "AI Big Computing Power Chip Industry Report-Yüzlerce Savaş Gemisi, Önce Yenilikçiler")

CIRUI Insight'ın eksik istatistiklerine göre, 2019'dan beri yeni AI çip üreticilerinin çoğu entegre depolama ve bilgi işleme sahiptir: 2019-2021'de 20 yeni AI çip üreticisi var ve bunlardan 10'u Para yatırma ve hesaplama entegrasyon yolunu seçin.

Tüm bunlar, depolama ve bilgi işlem entegrasyonunun GPGPU, ASIC ve diğer mimarilerden sonra yükselen bir yıldız olacağını gösteriyor. ** Ve bu yeni yıldızı herkes seçemez. **

Akademik çevreler, endüstri çevreleri ve sermaye, depolama ve bilgi işlemin entegrasyonu konusunda oybirliğiyle iyimser olduğu durumda, ülkenin güçlü teknik gücü, sağlam yetenek havuzu ve geçiş maliyetlerinin kabulü üzerindeki hassas kontrolü, yeni kurulan şirketler için anahtardır. sektördeki rekabet güçlerini sürdürmek için Yeni oyuncuların önünde duran üç engel. **

** Güçlü teknik güç, çip alanındaki her zaman en yüksek dağdır. **

Birincisi, tüm çip üretim sürecini içeren depolama ve bilgi işlemin entegrasyonudur: en düşük cihazdan devre tasarımına, mimari tasarıma, alet zincirine ve ardından yazılım katmanının araştırma ve geliştirmeye; Tüm vücut ”: Her katmanda karşılık gelen değişiklikler yapılırken, her katman arasındaki adaptasyon derecesi de dikkate alınmalıdır.

**Katman katman bakalım, bir bellek-bilgi işlem entegre çipi üretilirken ne tür teknik sorunlar yaşanıyor? **

Her şeyden önce, cihaz seçimi açısından üreticiler "ince buz üzerinde yürüyor": bellek tasarımı çipin verim oranını belirliyor ve yön yanlış olduğunda çip seri üretilemeyebilir.

İkincisi, devre tasarım seviyesidir. Cihaz devre seviyesinde kullanıma sunulduktan sonra, depolama dizisinin devre tasarımı için kullanılması gerekir. Şu anda, devre tasarımında, bellek içi hesaplama için bir EDA aracı kılavuzu yoktur ve bunun manuel olarak yapılması gerekir ki bu da kuşkusuz çalıştırma zorluğunu büyük ölçüde artırır.

Hemen ardından mimari düzeyde devreler oluştuktan sonra mimari katmanı tasarlamak gerekiyor. Her devre temel bir bilgi işlem modülüdür ve tüm mimari farklı modüllerden oluşur.Hafıza-bilgi işlem entegre modülünün tasarımı, çipin enerji verimliliği oranını belirler. Analog devreler gürültüden rahatsız olacak ve çipler gürültüden etkilendiklerinde birçok sorunla karşılaşacaktır.

Bu durumda çip mimarlarının analog bellek içi hesaplamanın süreç özelliklerini tam olarak anlaması ve aynı zamanda mimariyi bu özelliklere göre tasarlaması gerekmektedir.Bu temelde mimari ile yazılım geliştirme arasındaki uyarlanabilirlik de dikkate alınmalıdır. . Yazılım düzeyinde mimari tasarımı tamamlandıktan sonra, ilgili araç zincirinin geliştirilmesi gerekir.

(Fotoğraf kaynağı: Cirui Insights'tan "AI Big Computing Power Chip Industry Report-Yüzlerce Savaş Gemisi, Önce Yenilikçiler")

Orijinal depolama-bilgi işlem entegrasyonu modeli, geleneksel mimari altındaki modelden farklı olduğundan, tüm bilgi işlem birimlerinin donanıma eşlenebilmesini ve sorunsuz çalışmasını sağlamak için derleyicinin tamamen farklı bir depolama-bilgi işlem entegrasyon mimarisine uyum sağlaması gerekir.

**Tam bir teknik zincir, cihazın her bağlantısının, devre tasarımının, mimari tasarımın, araç zincirinin ve yazılım katmanı geliştirmenin yeteneğini test edecek ve her bağlantının adaptasyon yeteneğini koordine edecektir; bu, zaman, çaba ve emek harcayan uzun bir savaştır. para. **

**Aynı zamanda yukarıdaki linklerin işleyiş süreçlerine göre bellek-bilgi işlem entegre çipinin acilen deneyimli devre tasarımcılarına ve çip mimarlarına ihtiyaç duyduğu görülmektedir. **

Depolama ve hesaplama entegrasyonunun özelliği göz önüne alındığında, depolama ve hesaplamayı entegre edebilen şirketlerin, personel rezervleri açısından aşağıdaki iki özelliği taşıması gerekir:

1. Liderin yeterli cesarete sahip olması gerekir. Cihaz seçimi (RRAM, SRAM, vb.) ve bilgi işlem modu (geleneksel von Neumann, entegre depolama ve hesaplama vb.) seçiminde net bir fikir olmalıdır. Bunun nedeni, yıkıcı ve yenilikçi bir teknoloji olarak, depolama ve hesaplama entegrasyonunun kimseyi yönlendirmemesi ve deneme yanılma maliyetinin son derece yüksek olmasıdır. Ticarileşmeyi başarabilen şirketlerin kurucuları genellikle endüstride zengin deneyime, büyük üreticilere ve akademik geçmişe sahiptir ve ekibin ürün yinelemelerini hızla tamamlamasına öncülük edebilir.

2. Çekirdek ekipte, teknolojinin her kademesinde deneyimli yeteneklerin donatılması gerekmektedir. Örneğin, ekibin çekirdeğini oluşturan mimar. Mimarların, altta yatan donanım ve yazılım araçları hakkında derin bir anlayışa ve bilişe sahip olmaları ve konseptteki depolama ve bilgi işlem mimarisini teknoloji aracılığıyla gerçekleştirebilmeleri ve sonunda ürün inişini gerçekleştirebilmeleri gerekir;

3. Ayrıca qubit raporuna göre Çin'de devre tasarımında, özellikle hibrit devreler alanında üst düzey yetenek eksikliği var. Bellek içi bilgi işlem, çok sayıda analog devre tasarımını içerir.Takım çalışmasını vurgulayan dijital devre tasarımıyla karşılaştırıldığında, analog devre tasarımı, süreç, tasarım, düzen, model pdk ve paketlemeye son derece aşina olan bireysel tasarımcılar gerektirir.

Ve bu yetenekler ve teknolojiler dizisi iniş etkisini nihai hedef olarak almalıdır - birinci sınıf üretim birincil üretici güçtür. **Müşterinin teslimat sırasında yalnızca depolama-bilgi işlem tümleşik teknolojisini değil, aynı zamanda depolama-bilgi işlem tümleşik SoC'nin enerji verimliliği oranı, alan verimliliği oranı ve kullanım kolaylığı gibi performans göstergelerinin de buna kıyasla yeterli olup olmadığını dikkate alması gerekir. önceki ürünler İyileştirme ve daha da önemlisi geçiş maliyetinin kabul edilebilir aralıkta olup olmadığı.

Algoritmanın performansını iyileştirmek için yeni bir çip seçmek, bir programlama sisteminin yeniden öğrenilmesini gerektiriyorsa ve model geçişinin işçilik maliyeti, yeni bir GPU satın alma maliyetinden yüksekse, müşteriler büyük ihtimalle yeni bir çip kullanmayı tercih etmeyeceklerdir.

** Bu nedenle, depozito ve hesaplama entegrasyonunun iniş sürecinde taşıma maliyetini en aza indirip indiremeyeceği, müşteriler için ürün seçerken önemli bir faktördür. **

Büyük ölçekli modeller bağlamında, bellek-bilgi işlem entegre çipi, düşük güç tüketimi ancak yüksek enerji verimliliği oranı sayesinde çip izinde yükselen bir yıldız haline geliyor. Günümüzde, entegre mevduat ve hesaplama piyasası hala "Xiaohe yeni ortaya çıkıyor" aşamasında.

**Ancak, entegre depolama ve hesaplama oyuncularının şimdiden üç yüksek duvar ördüklerini ve güçlü teknik güce ve sağlam yetenek rezervlerine sahip olanların girmemesi gerektiğini inkar edemeyiz. **