Nvidia ile rekabet etmek ister misiniz? Intel, bulut AI yongalarını zorluyor ve AI sunucuları geliştirmek için yerli üreticilerle el ele vermeyi planlıyor
Orijinal kaynak: Science and Technology Innovation Board Daily
Resim kredisi: Sınırsız AI tarafından oluşturuldu
11 Temmuz'da Intel, Çin pazarında bir bulut AI eğitim çipi olan Habana® Gaudi® 2'yi piyasaya sürdü. Çip, büyük ölçekli dil modellerinin, çok modlu modellerin ve üretken AI modellerinin ihtiyaçlarını karşılayabilir. Yerinde tanıtıma göre, çipin performansı bazı temel göstergelerde Nvidia A100'ün performansından daha iyi.
Gaudi2 işlemci ve Gaudi2 ara kartı HL-225B'nin birinci nesil Gaudi yüksek performanslı mimarisini temel aldığı ve 24 adet programlanabilir Tensor işlemci çekirdeğine (TPC) sahip olduğu anlaşılmaktadır.
Her çip, dahili ara bağlantıya ayrılmış, 96 GB HBM yüksek hızlı bellek ve toplam 2,4 TB/s bellek bant genişliği ile donatılmış, büyük ölçekli dil modellerini, çok modlu modelleri ve üretken modelleri karşılayan 21 adet 100 Gb/sn (RoCEv2 RDMA) Ethernet arabirimini entegre eder. AI modeli ihtiyaçları.
Yerinde yapılan tanıtıma göre, ResNet-50 çalıştıran Intel Gaudi2'nin watt başına performansı NVIDIA A100'ün yaklaşık iki katı ve 176 milyar parametreli BLOOMZ modelini çalıştırmanın watt başına performansı A100'ün yaklaşık 1,6 katı. **
Basın toplantısında, Inspur Information'ın kıdemli başkan yardımcısı ve AI ve HPC genel müdürü Liu Jun, yerinde Gaudi2 ile donatılmış yeni nesil bir AI sunucusu NF5698G7'yi piyasaya sürdü.
Şu anda Intel, Gaudi2 derin öğrenme hızlandırıcısına dayalı bir AI sunucusu NF5698G7 oluşturmak için Inspur Information ile işbirliği yaptı. Sunucu, 8 Gaudi2 hızlandırıcı kartı HL-225B'yi entegre eder ve ayrıca AMX/DSA gibi yapay zeka hızlandırma motorlarını destekleyen ikili dördüncü nesil Intel Xeon ölçeklenebilir işlemcileri içerir. Aynı gün AI sunucusu da resmi olarak yayınlandı.
Inspur Information'ın kıdemli ürün müdürü Wang Lei, NF5698G7'nin üretken AI pazarı için özel olarak geliştirilmiş yeni nesil bir AI sunucusu olduğunu vurguladı. 8 adet OAM yüksek hızlı birbirine bağlı Gaudi2 hızlandırıcısını destekliyor ve AI müşterilerine büyük ölçekli model eğitimi sağlayacak ve muhakeme yetenekleri.
H3C'nin bilgi işlem ve depolama ürün serisinin başkan yardımcısı Liu Hongcheng, Intel Gaudi2 AI hızlandırıcıya dayanan H3C'nin, büyük ölçekli model eğitimi ve akıl yürütmeye uygun yüksek performanslı AI sunucuları geliştirmek için Intel ile işbirliği yaptığını söyledi. **
Aynı zamanda Super Fusion Digital Technology Co., Ltd.'nin bilgi işlem gücü altyapısı alanı başkanı Tang Qiming, ** Super Fusion ve Intel'in ortaklaşa Gaudi2'ye dayalı yeni ürünler ve çözümler piyasaya süreceğini belirtti. **
Daha önce Intel China başkanı Wang Rui, "Science and Technology Board Daily" gazetesinden bir muhabirle yaptığı röportajda **ChatGPT dalgasının bilgi işlem talebinde önemli bir artışa yol açtığını ve şu anda Çinli müşterilerle gelişmekte olduğunu belirtti. Baidu ve Ali dahil Ortak araştırma. **Wang Rui, hem yüksek performanslı bilgi işlemin hem de dağıtılmış bilgi işlemin düzenlendiğini açıkladı.
Bir Intel teknoloji uzmanı olan Science and Technology Innovation Board Daily'den bir muhabir, Intel'in büyük modeller alanındaki düzenini paylaştı. Eğitim düzeyinde, CPU, GPU, IPU ve Habana gibi heterojen bilgi işlem için Intel, daha fazla seçenek sağlamak için oneAPI ve XPU platformlarını kullanır. Akıl yürütme açısından, AMX hızlandırıcıya dayalı dördüncü nesil Sapphire Rapids'in piyasaya sürülmesinden sonra, sektördeki müşteri akıl yürütme ihtiyaçlarının %80'inden fazlasını çözebilir. Aynı zamanda, eğitim için Ponte Vecchio ve muhakeme için Arctic Sound dahil olmak üzere CPU'dan tam olarak yararlanır.
Büyük modellerin artmasıyla, bulut bilişimin iş modeli MaaS'a (Hizmet Olarak Model) doğru evriliyor ve bunun getirdiği bilgi işlem gücüne olan talep de dikkate değer.
"Fikri, belirli senaryolar ve çeşitli sektörler için bölümlere ayrılmış bir model oluşturmak üzere sektör verilerini eğitmek için eğitim öncesi modeli kullanmaktır. Genel modelin parametre sayısının çok fazla olduğunu biliyoruz, örneğin GPT-3, 175 milyara ulaşmak, Bu modellerin devreye alınması külfetli olacak, bu nedenle büyük modellerin endüstri tarafından dağıtılabilecek bir model oluşturmak için damıtılması ve sıkıştırılması gerekebilir." yukarıda adı geçen teknik uzmanlar dedi.
Ayrıca Büyük modellerin özelleştirilmiş dağıtımı, birçok sektör için potansiyel bir taleptir. "Birçok alt sektör, özellikle finans ve diğer sektörler olmak üzere SaaS hizmetlerini kabul etmiyor. Bu nedenle Intel, sektörde gerçekten uygulanabilmesi için bu modeli nasıl minyatürleştireceğini ve özelleştirilmiş dağıtımı yerel olarak nasıl uygulayacağını tartışıyor."
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Nvidia ile rekabet etmek ister misiniz? Intel, bulut AI yongalarını zorluyor ve AI sunucuları geliştirmek için yerli üreticilerle el ele vermeyi planlıyor
Orijinal kaynak: Science and Technology Innovation Board Daily
11 Temmuz'da Intel, Çin pazarında bir bulut AI eğitim çipi olan Habana® Gaudi® 2'yi piyasaya sürdü. Çip, büyük ölçekli dil modellerinin, çok modlu modellerin ve üretken AI modellerinin ihtiyaçlarını karşılayabilir. Yerinde tanıtıma göre, çipin performansı bazı temel göstergelerde Nvidia A100'ün performansından daha iyi.
Gaudi2 işlemci ve Gaudi2 ara kartı HL-225B'nin birinci nesil Gaudi yüksek performanslı mimarisini temel aldığı ve 24 adet programlanabilir Tensor işlemci çekirdeğine (TPC) sahip olduğu anlaşılmaktadır.
Her çip, dahili ara bağlantıya ayrılmış, 96 GB HBM yüksek hızlı bellek ve toplam 2,4 TB/s bellek bant genişliği ile donatılmış, büyük ölçekli dil modellerini, çok modlu modelleri ve üretken modelleri karşılayan 21 adet 100 Gb/sn (RoCEv2 RDMA) Ethernet arabirimini entegre eder. AI modeli ihtiyaçları.
Yerinde yapılan tanıtıma göre, ResNet-50 çalıştıran Intel Gaudi2'nin watt başına performansı NVIDIA A100'ün yaklaşık iki katı ve 176 milyar parametreli BLOOMZ modelini çalıştırmanın watt başına performansı A100'ün yaklaşık 1,6 katı. **
Basın toplantısında, Inspur Information'ın kıdemli başkan yardımcısı ve AI ve HPC genel müdürü Liu Jun, yerinde Gaudi2 ile donatılmış yeni nesil bir AI sunucusu NF5698G7'yi piyasaya sürdü.
Şu anda Intel, Gaudi2 derin öğrenme hızlandırıcısına dayalı bir AI sunucusu NF5698G7 oluşturmak için Inspur Information ile işbirliği yaptı. Sunucu, 8 Gaudi2 hızlandırıcı kartı HL-225B'yi entegre eder ve ayrıca AMX/DSA gibi yapay zeka hızlandırma motorlarını destekleyen ikili dördüncü nesil Intel Xeon ölçeklenebilir işlemcileri içerir. Aynı gün AI sunucusu da resmi olarak yayınlandı.
Inspur Information'ın kıdemli ürün müdürü Wang Lei, NF5698G7'nin üretken AI pazarı için özel olarak geliştirilmiş yeni nesil bir AI sunucusu olduğunu vurguladı. 8 adet OAM yüksek hızlı birbirine bağlı Gaudi2 hızlandırıcısını destekliyor ve AI müşterilerine büyük ölçekli model eğitimi sağlayacak ve muhakeme yetenekleri.
H3C'nin bilgi işlem ve depolama ürün serisinin başkan yardımcısı Liu Hongcheng, Intel Gaudi2 AI hızlandırıcıya dayanan H3C'nin, büyük ölçekli model eğitimi ve akıl yürütmeye uygun yüksek performanslı AI sunucuları geliştirmek için Intel ile işbirliği yaptığını söyledi. **
Aynı zamanda Super Fusion Digital Technology Co., Ltd.'nin bilgi işlem gücü altyapısı alanı başkanı Tang Qiming, ** Super Fusion ve Intel'in ortaklaşa Gaudi2'ye dayalı yeni ürünler ve çözümler piyasaya süreceğini belirtti. **
Daha önce Intel China başkanı Wang Rui, "Science and Technology Board Daily" gazetesinden bir muhabirle yaptığı röportajda **ChatGPT dalgasının bilgi işlem talebinde önemli bir artışa yol açtığını ve şu anda Çinli müşterilerle gelişmekte olduğunu belirtti. Baidu ve Ali dahil Ortak araştırma. **Wang Rui, hem yüksek performanslı bilgi işlemin hem de dağıtılmış bilgi işlemin düzenlendiğini açıkladı.
Bir Intel teknoloji uzmanı olan Science and Technology Innovation Board Daily'den bir muhabir, Intel'in büyük modeller alanındaki düzenini paylaştı. Eğitim düzeyinde, CPU, GPU, IPU ve Habana gibi heterojen bilgi işlem için Intel, daha fazla seçenek sağlamak için oneAPI ve XPU platformlarını kullanır. Akıl yürütme açısından, AMX hızlandırıcıya dayalı dördüncü nesil Sapphire Rapids'in piyasaya sürülmesinden sonra, sektördeki müşteri akıl yürütme ihtiyaçlarının %80'inden fazlasını çözebilir. Aynı zamanda, eğitim için Ponte Vecchio ve muhakeme için Arctic Sound dahil olmak üzere CPU'dan tam olarak yararlanır.
Büyük modellerin artmasıyla, bulut bilişimin iş modeli MaaS'a (Hizmet Olarak Model) doğru evriliyor ve bunun getirdiği bilgi işlem gücüne olan talep de dikkate değer.
"Fikri, belirli senaryolar ve çeşitli sektörler için bölümlere ayrılmış bir model oluşturmak üzere sektör verilerini eğitmek için eğitim öncesi modeli kullanmaktır. Genel modelin parametre sayısının çok fazla olduğunu biliyoruz, örneğin GPT-3, 175 milyara ulaşmak, Bu modellerin devreye alınması külfetli olacak, bu nedenle büyük modellerin endüstri tarafından dağıtılabilecek bir model oluşturmak için damıtılması ve sıkıştırılması gerekebilir." yukarıda adı geçen teknik uzmanlar dedi.
Ayrıca Büyük modellerin özelleştirilmiş dağıtımı, birçok sektör için potansiyel bir taleptir. "Birçok alt sektör, özellikle finans ve diğer sektörler olmak üzere SaaS hizmetlerini kabul etmiyor. Bu nedenle Intel, sektörde gerçekten uygulanabilmesi için bu modeli nasıl minyatürleştireceğini ve özelleştirilmiş dağıtımı yerel olarak nasıl uygulayacağını tartışıyor."