Büyük ölçekli model pazarı, sadece sıcak HBM değil

Orijinal Kaynak: Yarı İletken Endüstrisi Dikey ve Yatay

Görsel kaynağı: Unbounded AI‌ tarafından oluşturuldu

Son zamanlarda HBM, çip endüstrisinde sıcak bir konu haline geldi. TrendForce'a göre, yüksek bant genişliğine sahip belleğin (HBM) bit hacminin, bir önceki yıla göre yaklaşık %60 artışla 2023'te 290 milyon GB'a ulaşması ve 2024'te %30 daha artması bekleniyor. AMD'nin 2008'de önerdiği HBM bellek konsepti, 2013'te SK Hynix tarafından TSV teknolojisi aracılığıyla hayata geçirildi. HBM, piyasaya sürülmesinden 10 yıl sonra gerçekten büyük ölçekli ticarileştirme çağına gelmiş gibi görünüyor.

HBM kavramının yükselişi doğrudan AIGC'nin popülaritesi ile ilgilidir. AI sunucularının bant genişliği için daha yüksek gereksinimleri vardır. DDR SDRAM ile karşılaştırıldığında, HBM daha yüksek bant genişliğine ve daha düşük enerji tüketimine sahiptir. Ultra yüksek bant genişliği, HBM'yi yüksek performanslı GPU'nun temel bileşeni yapar ve HBM temel olarak AI sunucularının standart yapılandırmasıdır. Şu anda HBM'nin maliyeti, yaklaşık %9'luk payla yapay zeka sunucularının maliyeti arasında üçüncü sırada yer alıyor ve tek bir sunucunun ortalama satış fiyatı 18.000 ABD Doları kadar yüksek.

Geçen yıl ChatGPT'nin ortaya çıkmasından bu yana büyük ölçekli model pazarı hızla büyümeye başladı.İç pazarda Baidu, Ali, HKUST Xunfei, SenseTime ve Huawei gibi teknoloji devleri art arda kendi yapay zekalarını eğiteceklerini açıkladılar. büyük ölçekli modeller. TrendForce, 2025 yılında ChatGPT'ye eşdeğer 5 büyük ölçekli AIGC, Midjourney'in 25 orta ölçekli AIGC ürünü ve 80 küçük ölçekli AIGC ürünü olacağını tahmin ediyor. . Bunlar, HBM için potansiyel büyüme alanlarıdır.

2023'ün başından bu yana Samsung ve SK Hynix'ten HBM siparişleri hızla arttı ve HBM'nin fiyatı da yükseldi Son zamanlarda HBM3 DRAM'in fiyatı 5 kat arttı. Samsung, HBM arzını artırmak için AMD ve Nvidia'dan sipariş aldı. SK hynix, HBM üretim kapasitesini ikiye katlamayı hedefleyen HBM üretim hattını genişletmeye başladı. Kore medyası, Samsung'un HBM üretimini genişletmek için yaklaşık 760 milyon ABD doları yatırım yapmayı planladığını, HBM üretim kapasitesini gelecek yılın sonuna kadar ikiye katlamayı planladığını ve şirketin büyük ekipman siparişleri verdiğini bildirdi.

AIGC'de HBM'nin Avantajları

Açıkça, HBM sunucuların bilgi işlem gücünü artıracaktır. Kısa sürede büyük miktarda veri işlemesi nedeniyle, AI sunucularının bant genişliği için daha yüksek gereksinimleri vardır. HBM'nin işlevi, çerçeve tampon alanında kullanılan her çerçeve ve görüntü gibi görüntü verilerini kaydetmek ve GPU'nun aramasını beklemek olan veri "aktarım istasyonuna" benzer. Geleneksel bellek teknolojisiyle karşılaştırıldığında, HBM daha yüksek bant genişliğine, daha fazla G/Ç miktarına, daha düşük güç tüketimine ve daha küçük boyuta sahiptir; bu da yapay zeka sunucularının veri işleme hacmini ve aktarım hızını büyük ölçüde artırabilir.

Kaynak: Rambus

HBM'nin bant genişliği açısından "yuvarlanma" düzeyinde bir avantaja sahip olduğu görülmektedir. HBM2E, 1024 bit genişliğindeki bir arabirimde 3,6 Gb/sn hızında çalışıyorsa, saniyede 3,7 Tb bant genişliği elde edersiniz; bu, LPDDR5 veya DDR4'ün bant genişliğinin 18 katından fazladır.

Bant genişliği avantajına ek olarak, HBM alandan tasarruf edebilir ve bu da sisteme daha fazla GPU sığdırabilir. HBM belleği, GPU ile aynı fiziksel paket üzerindeki bir bellek yığınından oluşur.

Böyle bir mimari, geleneksel GDDR5/6 bellek tasarımlarına kıyasla önemli ölçüde güç ve alan tasarrufu anlamına gelir ve sisteme daha fazla GPU takılmasına olanak tanır. HPC, yapay zeka ve veri analitiği veri kümelerinin boyutu büyüdükçe ve hesaplama sorunları daha karmaşık hale geldikçe, giderek daha fazla GPU bellek kapasitesi ve bant genişliği bir zorunluluk haline geliyor. H100 SXM5 GPU, A100'ün bellek bant genişliğinin iki katı olan 80 GB (beş yığın) hızlı HBM3 belleği destekleyerek 3 TB/sn'den fazla bellek bant genişliği sağlar.

Fiyat, geçmişte HBM için sınırlayıcı bir faktör olmuştur. Ancak artık büyük model pazarı çekişme dönemine girdi.Büyük model çıkaran devler için vakit nakittir.Bu nedenle "pahalı ve pahalı" olan HBM, büyük modellerin yeni gözdesi oldu. ölçekli model devleri. Üst düzey GPU'lara olan talebin kademeli olarak artmasıyla birlikte HBM, yapay zeka sunucularının standart yapılandırması haline gelmeye başladı.

Şu anda Nvidia'nın A100 ve H100'ü 80 GB'lık HBM2e ve HBM3 ile donatılmıştır.CPU ve GPU'yu entegre eden en yeni Grace Hopper yongasında, tek bir yonganın HBM taşıma kapasitesi %20 artarak 96 GB'a ulaştı.

AMD'nin MI300'ü ayrıca HBM3 ile donatılmıştır. Bunların arasında MI300A kapasitesi önceki nesildeki 128 GB ile aynıdır ve üst düzey MI300X, %50 artışla 192 GB'a ulaşır.

Google'ın AISC AI hızlandırma çipini geliştirmek için 2023'ün ikinci yarısında Broadcom ile iş birliğini aktif olarak genişletmesi bekleniyor TPU'nun ayrıca AI altyapısını genişletmek için HBM bellek ile donatılması planlanıyor.

Depolama tedarikçisi tarafından hızlandırılmış düzen

Böyle bir "para sahnesi", depolama devlerinin HBM bellek düzenini hızlandırmasına olanak tanır. Şu anda, dünyanın en büyük üç bellek yongası üreticisi, HBM üretmek için daha fazla üretim kapasitesi aktarıyor, ancak üretim kapasitesini ayarlamak zaman aldığından, HBM üretimini hızlı bir şekilde artırmak zordur ve HBM arzının sınırlı kalması bekleniyor. önümüzdeki iki yıl içinde.

HBM'nin pazarı, esas olarak üç büyük DRAM devi tarafından kontrol ediliyor. Ancak, Samsung liderliğindeki DRAM pazarının aksine, SK Hynix, HBM pazarında daha iyi gelişti. Başta da belirtildiği gibi, SK Hynix ilk HBM ürününü geliştirdi. Nisan 2023'te SK Hynix, mevcut yongalardan %40 daha ince olan 12 tek ürünlü DRAM yongasını dikey olarak istiflemek için TSV teknolojisini kullanan ve 16 GB ürünlerle aynı yüksekliğe ulaşan ilk 24 GB HBM3 DRAM ürününün geliştirildiğini duyurdu. SK Hynix ise 2023'ün ikinci yarısında 8Gbps veri iletim performansına sahip HBM3E'nin numunelerini hazırlamayı ve 2024'te seri üretime geçirmeyi planlıyor.

Yerli yarı iletken şirketlerinin HBM için düzeni çoğunlukla paketleme ve arayüzler alanı etrafında döner.

NationalChip Teknolojisi şu anda çoklu HBM belleğin 2.5D çip paketleme teknolojisini araştırıyor ve planlıyor ve Chiplet teknolojisinin araştırma, geliştirme ve uygulamasını aktif olarak destekliyor. Tongfu Microelectronics Co., Ltd.'nin 2.5D/3D üretim hattının tamamlanmasının ardından, HBM yüksek performanslı paketleme teknolojisi alanında yerel bir atılım gerçekleştirecek. BIWIN, yüksek performanslı bellek yongaları ve bellek modüllerini piyasaya sürdü ve HBM teknolojisine ilgi göstermeye devam edecek. Montage Technology'nin PCIe 5.0/CXL 2.0 Retimer çipi seri üretime ulaştı. Bu çip, Montage Technology'nin PCIe 4.0 Retimer ürününün önemli bir yükseltmesidir ve sektöre istikrarlı ve güvenilir bir yüksek bant genişliği, düşük gecikme süreli PCIe 5.0/CXL 2.0 sağlayabilir. ara bağlantı çözümü.

HBM iyi olsa da yine de sakin olması gerekiyor HBM hala nispeten erken bir aşamada ve geleceğinin daha kat etmesi gereken çok yolu var. Yapay zeka ve makine öğrenimi gibi alanlarda giderek daha fazla üretici çaba sarf etmeye devam ettikçe, bellek ürün tasarımının karmaşıklığının hızla artması ve bant genişliğine daha yüksek gereksinimlerin getirilmesi öngörülebilir. Artan geniş bant talebi, gelişimi yönlendirmeye devam edecek. HBM'nin.

HBM'nin sıcaklığı, AIGC'nin sürüş yeteneğini yansıtır. Peki HBM ve GPU dışında bu yeni trendden yararlanabilecek başka ürünler var mı?

Diğer tutuşan yongalar hakkında konuşun

FPGA'nın avantajları ortaya çıkmaya başlıyor

FPGA (Field Programmable Gate Array), programlanabilir mantık elemanları, hafıza ve ara bağlantı kaynaklarına sahip bir entegre devredir. ASIC'den (Uygulamaya Özel Entegre Devre) farklı olarak FPGA, esneklik, özelleştirilebilirlik, paralel işleme yeteneği ve kolay yükseltme avantajlarına sahiptir.

Programlama yoluyla, kullanıcılar istedikleri zaman FPGA'nın uygulama senaryolarını değiştirebilir ve FPGA, CPU, GPU ve diğer donanımların çeşitli paralel işlemlerini simüle edebilir. Bu nedenle endüstride “üniversal çip” olarak da adlandırılır.

FPGA'lar, sıklıkla değişen temel modellerin yapay zeka akıl yürütme ihtiyaçları için anlamlıdır. FPGA programlanabilirliği, FPGA kullanımının tipik ekonomisini aşar. Açık olmak gerekirse, FPGA'lar binlerce GPU kullanan büyük ölçekli yapay zeka sistemleri için ciddi rakipler olmayacak, ancak yapay zeka elektroniğe daha fazla nüfuz ettikçe, FPGA'ların uygulama yelpazesi genişleyecektir.

FPGA'nın GPU'ya göre avantajı, daha düşük güç tüketimi ve gecikme süresidir. GPU, çip üzerindeki belleği iyi kullanamaz ve çip dışı DRAM'i sık sık okuması gerekir, bu nedenle güç tüketimi çok yüksektir. FPGA, çip üzerinde depolamayı esnek bir şekilde kullanabilir, bu nedenle güç tüketimi GPU'nunkinden çok daha düşüktür.

27 Haziran'da AMD, FPGA tabanlı uyarlanabilir bir SoC olan AMD Versal Premium VP1902 uyarlanabilir çip üzerinde sistem (SoC) ürününü piyasaya sürdüğünü duyurdu. Bu, giderek daha karmaşık hale gelen yarı iletken tasarımların doğrulanmasını basitleştiren öykünme dereceli, yonga tabanlı bir cihazdır. AMD VP1902'nin dünyanın en büyük FPGA'sı olacağı bildiriliyor.Önceki nesil ürünle (Xilinx VU19P) karşılaştırıldığında, yeni VP1902 Versal işlevi ekliyor ve FPGA'nın temel performansını iki kattan fazla artıran küçük bir çip tasarımı benimsiyor.

Dongxing Menkul Kıymetler Araştırma Raporu, mimarisinin getirdiği gecikme ve güç tüketimi avantajları sayesinde FPGA'nın yapay zeka muhakemesinde büyük bir avantaja sahip olduğuna inanıyor. Zheshang Securities'in önceki araştırma raporu, GPU'ya ek olarak CPU+FPGA çözümünün de yapay zekanın devasa bilgi işlem gücü talebini karşılayabileceğine işaret ediyordu.

Denizaşırı şirketler tarafından tekelleştirilen HBM'nin aksine, yerli şirketler zaten FPGA çipleri biriktirdi.

Anlu Technology'nin ana işi FPGA çiplerinin ve özel EDA yazılımlarının Ar-Ge, tasarım ve satışıdır.Ürünler endüstriyel kontrol, ağ iletişimi, tüketici elektroniği ve diğer alanlarda yaygın olarak kullanılmaktadır. Ziguang Guowei'nin bir yan kuruluşu olan Ziguang Tongchuang, genel amaçlı FPGA yongaları tasarlayan ve satan profesyonel bir FPGA şirketidir. Ziguang Guowei bir keresinde performans brifinginde şirketin FPGA çipinin AI alanında kullanılabileceğini belirtmişti. Dongtu Technology, esas olarak FPGA yongalarının sanayileşmesini gerçekleştiriyor.Şirketin hissedar şirketi Zhongke Yihai Micro ekibi, FPGA ürünlerinin uygulama geliştirmesini desteklemek için bağımsız olarak EDA yazılımı geliştirdi.

Yerli İkame için Yeni Fikir: Depolama ve Bilgi İşlem + Chiplet Entegrasyonu

Performans açısından Nvidia ile rekabet edebilecek AI yongaları geliştirmek için mevcut süreçlerimizi ve teknolojilerimizi kullanabilir miyiz? Depolama ve hesaplama + Chiplet entegrasyonu gibi bazı "yeni fikirler" ortaya çıktı.

Depolama ve hesaplamanın ayrılması, bilgi işlem gücü darboğazlarına yol açacaktır. AI teknolojisinin hızlı gelişimi ile birlikte, bilgi işlem gücüne olan talep patladı. Moore sonrası dönemde, depolama bant genişliği bilgi işlem sisteminin etkin bant genişliğini kısıtlıyor ve sistem bilgi işlem gücünün büyümesi mücadele ediyor. Örneğin, 8 blok 1080TI ile BERT modelini sıfırdan eğitmek 99 gün sürüyor. Depolama-bilgi işlem entegre mimarisi, derin çok düzeyli depolama kavramına sahip değildir.Tüm hesaplamalar bellekte uygulanır, böylece depolama duvarını ve depolama-bilgi işlem heterojenliğinin neden olduğu ek yükü ortadan kaldırır; depolama duvarının ortadan kaldırılması büyük ölçüde veri işlemeyi azaltır. , yalnızca veri iletimini ve işleme hızını iyileştirmekle kalmaz, aynı zamanda enerji verimliliği oranını da birkaç kat artırır.

Bir yandan, depolama-bilgi işlem entegre mimarisi ile geleneksel mimari işlemci arasında aynı bilgi işlem gücünü işlemek için gereken güç tüketimi azaltılacak; Geleneksel mimarinin derleme duvarını açın.

Arizona Eyalet Üniversitesi'ndeki akademisyenler, AI büyük model eğitiminde bu yeni mimarinin potansiyelini değerlendirmek için 2021'de Chiplet tabanlı bir IMC mimarisi kıyaslama simülatörü SIAM yayınladı. SIAM, uçtan uca yüksek performanslı bir bilgi işlem sistemi sağlamak için cihaz, devre, mimari, çip üzerinde ağ (NoC), paket içinde ağ (NoP) ve DRAM erişim modellerini entegre eder. SIAM, derin sinir ağlarını (DNN'ler) destekleme konusunda ölçeklenebilir ve çeşitli ağ yapıları ve yapılandırmaları için özelleştirilebilir. Araştırma ekibi, CIFAR-10, CIFAR-100 ve ImageNet veri kümelerini kullanarak farklı gelişmiş DNN'leri kıyaslayarak SIAM'in esnekliğini, ölçeklenebilirliğini ve simülasyon hızını gösterir. SIAM aracılığıyla elde edilen chiplet +IMC mimarisinin, NVIDIA V100 ve T4 GPU'ya kıyasla ResNet-50'nin ImageNet veri seti üzerindeki enerji verimliliğinin sırasıyla 130 ve 72 arttığını gösterdiği söyleniyor.

Bu, depolama-bilgi işlem entegre AI yongasının, Chiplet teknolojisi ve 2.5D / 3D yığın paketleme teknolojisinin yardımıyla heterojen entegrasyona ulaşması ve böylece büyük ölçekli bir bilgi işlem sistemi oluşturması beklendiği anlamına gelir. Depolama ve hesaplama + Chiplet kombinasyonu, bunu gerçekleştirmenin uygun bir yolu gibi görünüyor. Yizhu Technology'nin bu yolu araştırdığı söyleniyor. Birinci nesil depolama ve hesaplama entegre AI büyük bilgi işlem gücü ticari çipi, tek bir kart bilgi işlem gücüne ulaşabilir. 500T'den fazla ve 75W içinde güç tüketimi. Belki bu, AI bilgi işlem gücünün ikinci büyüme eğrisinin başlangıcını başlatır.

Çözüm

AMD CEO'su Lisa Su, Dünya Yapay Zeka Konferansı'nda önümüzdeki on yılda büyük ölçekli bir bilgi işlem süper döngüsü olacağını söyledi.Bu nedenle, teknoloji tedarikçisi olmak için iyi bir zaman ve aynı zamanda bazı şirketlerden farklı olarak farklı teknolojiler geliştirmek için bu teknolojileri kullanacaktır.Uygulamanın müşterileriyle çalışmak için iyi bir zaman.

Kimse tek bir baskın oyuncunun olduğu bir sektörü istemez. Büyük ölçekli model pazarı, çip sektörünün yeni bir pazar yapısına sahip olmasını sağlayabilir mi ve yeni oyuncular ortaya çıkabilir mi?

"Büyük model pazarı, çip endüstrisine yeni pazar modelleri ve fırsatlar getirdi. Yapay zeka yongalarının gelişimini teşvik ederek, bulut bilgi işlem ve veri merkezi pazarlarının büyümesini teşvik ederek ve rekabet ortamındaki değişiklikleri tetikleyerek, büyük modellerin yükselişi çip endüstrisine yeni fırsatlar getirdi. gelişme yönü.

Çip endüstrisinin oldukça rekabetçi ve teknoloji yoğun bir endüstri olduğunu belirtmek gerekir. Sektöre girmek, karmaşık üretim ve Ar-Ge gereksinimlerini karşılamak için önemli finansal ve teknik kaynaklar gerektirir. Büyük ölçekli model pazarı yeni oyuncular için fırsatlar sağlasa da, son derece rekabetçi çip endüstrisinde başarılı olmak için teknik, finansal ve pazarlama zorluklarının üstesinden gelmeleri gerekiyor. "Chatgpt yanıtladı.