Ingin bersaing dengan Nvidia? Intel mendorong chip cloud AI dan berniat untuk bergandengan tangan dengan produsen dalam negeri untuk mengembangkan server AI
Sumber asli: Harian Dewan Inovasi Sains dan Teknologi
Kredit gambar: Dihasilkan oleh AI Tak Terbatas
Pada 11 Juli, Intel meluncurkan chip pelatihan cloud AI - Habana® Gaudi® 2 di pasar Tiongkok. Chip tersebut dapat memenuhi kebutuhan model bahasa skala besar, model multi-modal, dan model AI generatif. Menurut pengantar di tempat, kinerja chip lebih baik daripada Nvidia A100 dalam beberapa indikator utama.
Dapat dipahami bahwa prosesor Gaudi2 dan kartu mezzanine Gaudi2 HL-225B didasarkan pada arsitektur kinerja tinggi Gaudi generasi pertama dan memiliki 24 inti prosesor Tensor (TPC) yang dapat diprogram.
Setiap chip mengintegrasikan 21 antarmuka Ethernet 100Gbps (RoCEv2 RDMA) yang didedikasikan untuk interkoneksi internal, dilengkapi dengan memori berkecepatan tinggi 96GB HBM dan total bandwidth memori 2,4TB/dtk, memenuhi model bahasa berskala besar, model multimodal, dan model generatif. kebutuhan model AI.
Menurut pengenalan di tempat, kinerja per watt Intel Gaudi2 yang menjalankan ResNet-50 sekitar 2 kali lipat dari NVIDIA A100, dan kinerja per watt menjalankan model parameter BLOOMZ 176 miliar adalah sekitar 1,6 kali lipat dari A100. **
Pada konferensi pers, Liu Jun, wakil presiden senior Informasi Inspur dan manajer umum AI dan HPC, merilis server AI generasi baru NF5698G7 yang dilengkapi dengan Gaudi2 di tempat.
Saat ini, Intel telah bekerja sama dengan Inspur Information untuk membuat server AI NF5698G7 berdasarkan akselerator pembelajaran mendalam Gaudi2. Server ini mengintegrasikan 8 kartu akselerator Gaudi2 HL-225B, dan juga mencakup dua prosesor terukur Intel Xeon generasi keempat, yang mendukung mesin akselerasi AI seperti AMX/DSA. Di hari yang sama, server AI juga resmi dirilis.
Wang Lei, manajer produk senior Inspur Information, menekankan bahwa NF5698G7 adalah server AI generasi baru yang dikembangkan khusus untuk pasar AI generatif.Ini mendukung 8 akselerator Gaudi2 berkecepatan tinggi OAM yang saling terhubung dan akan memberi pelanggan AI pelatihan model skala besar dan kemampuan penalaran.
Liu Hongcheng, wakil presiden lini produk komputasi dan penyimpanan H3C, mengatakan bahwa berdasarkan akselerator AI Intel Gaudi2, H3C bekerja sama dengan Intel untuk mengembangkan server AI berperforma tinggi yang cocok untuk pelatihan dan penalaran model skala besar. **
Pada saat yang sama, Tang Qiming, presiden bidang infrastruktur daya komputasi Super Fusion Digital Technology Co., Ltd., menunjukkan bahwa ** Super Fusion dan Intel akan bersama-sama meluncurkan produk dan solusi baru berdasarkan Gaudi2. **
Sebelumnya, Wang Rui, ketua Intel China, menunjukkan dalam sebuah wawancara dengan seorang reporter dari "Dewan Sains dan Teknologi Harian" bahwa gelombang **ChatGPT telah membawa peningkatan yang signifikan dalam permintaan komputasi, dan saat ini sedang berkembang dengan pelanggan China termasuk Baidu dan Ali Penelitian bersama. **Wang Rui mengungkapkan bahwa komputasi performa tinggi dan komputasi terdistribusi telah ditata.
Seorang reporter dari Science and Technology Innovation Board Daily, seorang pakar teknologi Intel, membagikan tata letak Intel di bidang model besar. Di tingkat pelatihan, untuk komputasi heterogen seperti CPU, GPU, IPU, dan Habana, Intel menggunakan platform oneAPI dan XPU untuk memberikan lebih banyak pilihan. Dalam hal penalaran, setelah rilis Sapphire Rapids generasi keempat, berdasarkan akselerator AMX, dapat menyelesaikan lebih dari 80% kebutuhan penalaran pelanggan di industri. Pada saat yang sama, itu juga memanfaatkan CPU sepenuhnya, termasuk Ponte Vecchio untuk pelatihan, dan Suara Arktik untuk penalaran.
Dengan munculnya model-model besar, model bisnis komputasi awan berkembang menuju MaaS (Model sebagai Layanan), dan permintaan daya komputasi yang dibawa olehnya juga patut diperhatikan.
"Idenya adalah menggunakan model pra-pelatihan untuk melatih data industri untuk membentuk model tersegmentasi untuk skenario tertentu dan untuk berbagai industri. Kita tahu bahwa jumlah parameter model umum sangat besar, misalnya GPT-3 dapat mencapai 175 miliar, Menyebarkan model ini akan rumit, oleh karena itu, model besar mungkin perlu disaring dan dikompresi untuk membentuk model yang dapat digunakan oleh industri." kata pakar teknis tersebut di atas.
Selain itu, Penerapan model besar yang diprivatisasi merupakan permintaan potensial dari banyak industri. "Banyak industri yang terbagi tidak menerima layanan SaaS, terutama keuangan dan industri lainnya. Oleh karena itu, Intel sedang mendiskusikan bagaimana memperkecil model ini dan mengimplementasikan penerapan privatisasi secara lokal sehingga dapat benar-benar diterapkan di industri."
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Ingin bersaing dengan Nvidia? Intel mendorong chip cloud AI dan berniat untuk bergandengan tangan dengan produsen dalam negeri untuk mengembangkan server AI
Sumber asli: Harian Dewan Inovasi Sains dan Teknologi
Pada 11 Juli, Intel meluncurkan chip pelatihan cloud AI - Habana® Gaudi® 2 di pasar Tiongkok. Chip tersebut dapat memenuhi kebutuhan model bahasa skala besar, model multi-modal, dan model AI generatif. Menurut pengantar di tempat, kinerja chip lebih baik daripada Nvidia A100 dalam beberapa indikator utama.
Dapat dipahami bahwa prosesor Gaudi2 dan kartu mezzanine Gaudi2 HL-225B didasarkan pada arsitektur kinerja tinggi Gaudi generasi pertama dan memiliki 24 inti prosesor Tensor (TPC) yang dapat diprogram.
Setiap chip mengintegrasikan 21 antarmuka Ethernet 100Gbps (RoCEv2 RDMA) yang didedikasikan untuk interkoneksi internal, dilengkapi dengan memori berkecepatan tinggi 96GB HBM dan total bandwidth memori 2,4TB/dtk, memenuhi model bahasa berskala besar, model multimodal, dan model generatif. kebutuhan model AI.
Menurut pengenalan di tempat, kinerja per watt Intel Gaudi2 yang menjalankan ResNet-50 sekitar 2 kali lipat dari NVIDIA A100, dan kinerja per watt menjalankan model parameter BLOOMZ 176 miliar adalah sekitar 1,6 kali lipat dari A100. **
Pada konferensi pers, Liu Jun, wakil presiden senior Informasi Inspur dan manajer umum AI dan HPC, merilis server AI generasi baru NF5698G7 yang dilengkapi dengan Gaudi2 di tempat.
Saat ini, Intel telah bekerja sama dengan Inspur Information untuk membuat server AI NF5698G7 berdasarkan akselerator pembelajaran mendalam Gaudi2. Server ini mengintegrasikan 8 kartu akselerator Gaudi2 HL-225B, dan juga mencakup dua prosesor terukur Intel Xeon generasi keempat, yang mendukung mesin akselerasi AI seperti AMX/DSA. Di hari yang sama, server AI juga resmi dirilis.
Wang Lei, manajer produk senior Inspur Information, menekankan bahwa NF5698G7 adalah server AI generasi baru yang dikembangkan khusus untuk pasar AI generatif.Ini mendukung 8 akselerator Gaudi2 berkecepatan tinggi OAM yang saling terhubung dan akan memberi pelanggan AI pelatihan model skala besar dan kemampuan penalaran.
Liu Hongcheng, wakil presiden lini produk komputasi dan penyimpanan H3C, mengatakan bahwa berdasarkan akselerator AI Intel Gaudi2, H3C bekerja sama dengan Intel untuk mengembangkan server AI berperforma tinggi yang cocok untuk pelatihan dan penalaran model skala besar. **
Pada saat yang sama, Tang Qiming, presiden bidang infrastruktur daya komputasi Super Fusion Digital Technology Co., Ltd., menunjukkan bahwa ** Super Fusion dan Intel akan bersama-sama meluncurkan produk dan solusi baru berdasarkan Gaudi2. **
Sebelumnya, Wang Rui, ketua Intel China, menunjukkan dalam sebuah wawancara dengan seorang reporter dari "Dewan Sains dan Teknologi Harian" bahwa gelombang **ChatGPT telah membawa peningkatan yang signifikan dalam permintaan komputasi, dan saat ini sedang berkembang dengan pelanggan China termasuk Baidu dan Ali Penelitian bersama. **Wang Rui mengungkapkan bahwa komputasi performa tinggi dan komputasi terdistribusi telah ditata.
Seorang reporter dari Science and Technology Innovation Board Daily, seorang pakar teknologi Intel, membagikan tata letak Intel di bidang model besar. Di tingkat pelatihan, untuk komputasi heterogen seperti CPU, GPU, IPU, dan Habana, Intel menggunakan platform oneAPI dan XPU untuk memberikan lebih banyak pilihan. Dalam hal penalaran, setelah rilis Sapphire Rapids generasi keempat, berdasarkan akselerator AMX, dapat menyelesaikan lebih dari 80% kebutuhan penalaran pelanggan di industri. Pada saat yang sama, itu juga memanfaatkan CPU sepenuhnya, termasuk Ponte Vecchio untuk pelatihan, dan Suara Arktik untuk penalaran.
Dengan munculnya model-model besar, model bisnis komputasi awan berkembang menuju MaaS (Model sebagai Layanan), dan permintaan daya komputasi yang dibawa olehnya juga patut diperhatikan.
"Idenya adalah menggunakan model pra-pelatihan untuk melatih data industri untuk membentuk model tersegmentasi untuk skenario tertentu dan untuk berbagai industri. Kita tahu bahwa jumlah parameter model umum sangat besar, misalnya GPT-3 dapat mencapai 175 miliar, Menyebarkan model ini akan rumit, oleh karena itu, model besar mungkin perlu disaring dan dikompresi untuk membentuk model yang dapat digunakan oleh industri." kata pakar teknis tersebut di atas.
Selain itu, Penerapan model besar yang diprivatisasi merupakan permintaan potensial dari banyak industri. "Banyak industri yang terbagi tidak menerima layanan SaaS, terutama keuangan dan industri lainnya. Oleh karena itu, Intel sedang mendiskusikan bagaimana memperkecil model ini dan mengimplementasikan penerapan privatisasi secara lokal sehingga dapat benar-benar diterapkan di industri."