Ne tür bir teknoloji zamanın vaftizinden kurtulabilir ve yeni kalabilir?
Cevap, "üçleme" benzeri bir modelde özetlenebilir: yükseliş, gelişme ve geniş ölçekli uygulama ve ayrıca bu sürecin başka bir evrimsel yinelemesi.
Tarihi rehber alarak ilk sanayi devrimine öncülük eden buhar makinesi, içten yanmalı motora evrilip popüler hale geldiğinde, ikinci sanayi devriminin yıkıcısı olan elektrik enerjisi ve onunla ilgili çeşitli ekipmanlar henüz emekleme aşamasındaydı. ekipmanlar mikroelektronikte yinelenen yeniliğe doğru ilerliyor, çeşitli yakıtlı motorlar hâlâ geliştirilmekte ve yaygınlaştırılmaktadır.
Bu kuraldan yola çıkarak, her ne kadar büyük dil modelleri (kısaca Yüksek Lisans) ortaya çıktıklarından beri yapay zeka ile ilgili tüm anahtar kelimelere hakim olmuş ve herkesin dikkatini çekmiş olsa da, bu "LLM'den önce yapay zeka yoktu" anlamına gelmez.
Büyük modeller dikkat çekerken, daha önce karar verme konusunda uzmanlaşmış eski nesil makine öğrenimi uygulamaları ve algılama yeteneklerine odaklanan "geleneksel" derin öğrenme uygulamaları da boş durmuyor. ergenlik ve istikrarlı ve pratik uygulamaya başlama aşaması.
Kanıt nedir?
Büyük bir çip üreticisi, imalat ve enerji, tıp, finans, ulaşım ve lojistik ve eğitim sektörlerindeki yapay zeka uygulamalarını hedef alan bir dizi yapay zeka pratik kılavuzu başlattı.
Lojistik, Taşımacılık ve Sağlık Hizmetlerine Yönelik Yapay Zeka Pratik El Kitabı'nın bu yılki güncellemesinde, uygulanmış veya uygulanmakta olan birçok yapay zeka uygulamasının yanı sıra bunların nasıl sorunsuz ve tam olarak nasıl dağıtılacağı ve performans hızlandırma potansiyellerinin nasıl ortaya çıkarılacağı kaydediliyor. bazı tanıdık kafalarda da kullanılıyorlar.Ön cepheye giden işletmelerin uygulama örnekleri.
Bu nedenle yapay zeka sadece büyük modellerden ibaret değil. Yapay zekanın büyük modellerinin çağı aynı zamanda yalnızca büyük modellerin olduğu yapay zeka çağıdır.
Olgun yapay zeka zaten kullanıma sunuldu
Belki hala yapay zeka teknolojisinin küçük ekspres teslimatların bile arkasında olduğuna inanamıyorsunuz.
Bu doğru ve neredeyse tüm lojistik sürecine dahil oluyor: sipariş verme, nakliye, sınıflandırma, aktarma, dağıtım... Yapay zeka artık her şeyi "yönetmek" zorunda.
Örnek olarak klasik OCR (Optik Karakter Tanıma) teknolojisini ele alalım. Lojistik "teknik dünyasında" durumunun çok önemli olduğu ve iş verimliliğini büyük ölçüde artırdığı söylenebilir.
Örneğin gönderici, gönderim sırasında adres ve kimlik bilgilerini doldurduğunda ve e-ticaret deposu, gönderilen ürün bilgilerini kontrol ettiğinde tek tıklamayla giriş sağlamak için OCR kullanılabilir.
Yapay zeka teknolojisi daha mükemmel hale geldikçe ve uygulaması derinleştikçe bu hız, "en hızlı yoktur, daha hızlı vardır" noktasına ulaştı.
Aşina olduğumuz Yunda Express'te de durum böyle. Üç bölümlü OCR tanıma süreci sırasında, yapay zekanın başlangıçta %95'lik bir OCR tanıma doğruluğu elde edebileceğini umuyordu.
Sonuç olarak, mevcut yapay zeka "Yunda'ya bir ders verdi". Doğruluk yalnızca %98'e yükselmekle kalmadı, aynı zamanda süre de "düştü": 130 ms'den 114 ms'ye.
△Performans testi sonuçları, Yunda tarafından Ekim 2022'de gerçekleştirilen testlere dayanmaktadır
Üstelik OCR tanıma, yapay zekanın lojistik sektörüne katılımının yalnızca küçük bir kısmı. Şu anda oynadığı gücü hissetmek için bir resme bakın:
Yapay zeka o kadar her şeyi yapıyor ki yurt içi lojistiğin hızının artmasına şaşmamalı.
Ama arkadaşlar, bu sadece yapay zekanın binlerce sektörü hızlandırdığı bir durum.Aslında günlük seyahatlerimiz de yapay zekanın "tadı" ile dolu.
Örneğin yapay zeka video analiz teknolojisi, otoyollardaki trafik koşullarını gerçek zamanlı olarak analiz edebiliyor.
Trafik akışının izlenmesi, araç plakası tanıma veya kaza uyarısı vb. olsun, yapay zekanın her şeyin panoramik görüntüsüne sahip olduğu söylenebilir.
Bu şekilde yol koşulları etkili ve doğru bir şekilde kontrol edilebilir.
Bir başka örnek ise havalimanları. Yapay zeka teknolojisiyle desteklenen kameralar aynı zamanda uçak, araç, personel ve sınır ihlallerini de ayrıntılı bir şekilde tespit edebiliyor ve bu da uçuş alanının güvenliği için kesin bir garanti sağlıyor.
……
Yukarıdaki küçük kullanım örneklerinden "olgun" yapay zekanın veya birkaç yıl önceki popüler yıldız yapay zeka uygulamalarının popüler görünmeyebileceğini, ancak aslında hayatımızın her alanına nüfuz ettiklerini ve bunların kullanım alanlarını görmek zor değil. ana odak noktası “harcamalardan tasarruf etmek ve verimliliği arttırmaktır”.
Peki bu "maliyet tasarrufları ve verimlilik kazanımlarının" arkasında ne var?
Fazla iddialı olmayın, sadece cevabı verin——
Intel'in platformları, özellikle de Xeon®️ Ölçeklenebilir işlemcileri yardımcı oluyor. Benzer şekilde yukarıda bahsettiğimiz çip üreticisi de Intel'dir ve birçok sektör için pratik yapay zeka kılavuzları sağlayan da Intel'dir.
Ancak bu yeteneklerin kilidini açan şey sadece CPU değil, Intel'in yazılım düzeyindeki optimizasyon bonusları, yani "yazılım ve donanımın entegre edilmesinin" sonucudur.
Basitçe özetlemek gerekirse: Xeon®️ ölçeklenebilir işlemciler ve bunların yerleşik yapay zeka hızlandırıcısının yanı sıra yardımcı olacak OpenVINO™️ ve oneAPI gibi bir dizi yapay zeka çerçevesi ve optimizasyon yazılımı.
Şu anda yapay zeka uygulamalarının performansını etkileyen yalnızca iki faktör var: bilgi işlem gücü ve veri erişim hızı.
En yeni dördüncü nesil Xeon®️ ölçeklenebilir işlemcilerdeki tek CPU çekirdeği sayısı maksimum 60 çekirdeğe çıktı. Veri erişim hızı açısından her seviyedeki önbellek boyutları, bellek kanalı sayısı, bellek erişim hızı vb. konularda belirli bir seviyeye kadar optimize edilmiş olup ayrıca CPU Max serisine HBM yüksek bant genişlikli bellek teknolojisi de entegre edilmiştir.
Ek olarak, CPU komut seti de optimize edilmiştir ve matris hesaplamalarından ve derin öğrenme iş yüklerinin hızlandırılmasından sorumlu olan Intel®️ Advanced Matrix Extensions (Intel®️ AMX) gibi donanım hızlandırıcılar yerleşiktir. Buna C denilebilir. -bit CPU hızlandırmalı yapay zeka uygulamaları.
GPU'daki Tensör Çekirdeğine biraz benzer.
AMX iki bölümden oluşur; biri 1kb 2D kayıt dosyası, diğeri ise matris çarpım talimatlarını yürütmek için kullanılan TMUL modülüdür. Hem INT8 hem de BF16 veri türlerini destekleyebilir ve BF16, FP32'den daha iyi bilgi işlem performansına sahiptir.
AMX komut setinin desteğiyle performans, önceki nesil Xeon®️ ölçeklenebilir işlemcide yerleşik olan vektör sinir ağı komut seti VNNI'den 8 kata kadar, hatta daha yüksek oranda artırıldı.
Temel donanım platformuna ek olarak, bu endüstrilerin pratik yapay zeka uygulamalarını hayata geçirmesine yardımcı olan şey, Intel'in "kendi" ama "özel" olmayan yapay zeka yazılım araçları serisidir.
Örneğin, daha önce bahsedilen OCR hızlandırması, eğitim kısmı için gerekli olan birçok gereksiz hesaplamayı ortadan kaldıran ve esas olarak çıkarım kısmını destekleyen OpenVINO™️ optimizasyonundan ayrılamaz.
Aynı zamanda Intel donanımı için özel olarak oluşturulmuş optimize edilmiş bir çerçevedir. Orijinal çerçevenin değiştirilmesini tamamlamak için yalnızca 5 satır kod gerekir.
Kullanıcılar farklı iş senaryoları için OpenVINO™️ işletim parametrelerini optimize edebilir.
Yazılım ve donanımın böyle bir kombinasyonuyla Intel, yalnızca CPU'nun bilgi işlem potansiyelini tamamen açığa çıkarmakla kalmıyor, aynı zamanda gerçek muhakeme senaryolarında GPU'nun performansına yakın bir performans elde ediyor.Ayrıca düşük maliyet, düşük eşik ve düşük eşik gibi ek avantajlara da sahip. kullanım kolaylığı.
Ancak bunlar yalnızca Intel®️ platformundaki olgun yapay zeka teknolojilerinin optimizasyonlarıdır. Intel'in yetenekleri bundan çok daha fazlasıdır.
Bu büyük modele geri döndü.
Popüler büyük modeller de hızlandırılıyor
Şu anda, dünya çapındaki büyük teknoloji şirketleri tarafından büyük dil modelleri takip ediliyor, sonuçta teknoloji çevresi bunu artık geleceğin gelişme eğilimi olarak görüyor.
Her ne kadar olgun yapay zeka teknolojileri ve uygulamalarıyla karşılaştırıldığında, büyük ölçekli uygulamalardan hala biraz uzakta olsa da teknolojik liderliği tartışılmaz ve "eski nesil" yapay zeka uygulamalarının bile onunla birleştirilmesi veya onun tarafından dönüştürülmesi bekleniyor. Yenilendi.
Temel bilgi işlem güç çıkışı ve uygulama performansını hızlandırıcı olarak Intel de bu rekabetçi arenada zorlu günlere hazırlanıyor ve planlarını şimdiden belirledi.
Öncelikle büyük bir model ne kadar gelişmiş olursa olsun değerinin tam anlamıyla anlaşılabilmesi için daha fazla kişinin onu kullanması gerekiyor. Eğer onu "oynamak" istiyorsanız, devasa boyutu karşısında maliyet uzun süredir devam eden bir sorundur.
Bu nedenle Intel, milyarlarca parametreye sahip büyük bir dil modelini 3/4 oranında azaltabilen ve doğruluğunu artırabilen ve aynı zamanda Intel'deki büyük modellerin çıkarım performansını da etkili bir şekilde artırabilen gelişmiş bir "ağırlık azaltan sihirli aracı" tanıttı. ®️ platformu.
Özellikle Intel'in kendi platformuna uyarladığı ve geliştirmeler uyguladığı SmoothQuant teknolojisi kullanılıyor. Bu yaklaşım Intel®️ Neural Compressor'a entegre edilmiştir. Bu, niceleme, budama (seyreklik), damıtma (bilgi çıkarma) ve sinir mimarisi araması gibi yaygın olarak kullanılan çeşitli model sıkıştırma tekniklerini içeren açık kaynaklı bir Python kütüphanesidir. Halihazırda çeşitli Intel®️ mimari donanımlarını destekler ve aşağıdakilerle uyumludur: TensorFlow, PyTorch, ONNX Runtime ve MXNet gibi Mainstream çerçeveleri.
İkinci olarak, donanım düzeyinde Intel'in de bazı çabaları var.
Örneğin, son zamanlarda popüler olan ChatGLM-6B, modelin ince ayar hesaplama hızını büyük ölçüde artırmak için dördüncü nesil Xeon®️ ölçeklenebilir işlemcinin yerleşik Intel®️ AMX'ini kullanıyor; Xeon®️ CPU Max serisi işlemciyle entegre HBM'yi kullanıyor Büyük ölçekli kullanıcıların ihtiyaçlarını karşılamak için Modelin ince ayarı için büyük bellek bant genişliği gerekir.
△Intel® AMX Teknoloji Mimarisi
Intel, CPU'ya ek olarak, tek bir sunucuda 8 hızlandırıcı kartı (Habana İşleme Birimi olarak adlandırılır, HPU olarak anılır) dağıtabilen özel bir derin öğrenme hızlandırma çipi Habana®️ Gaudi®️2'ye de sahiptir. Her kartın belleği 96'ya kadar GB, büyük modeller için bol miktarda alan sağlar.
Dolayısıyla 176 milyar parametreye sahip BLOOMZ gibi 100 milyar seviyeli bir dil modeli bile Intel tarafından yapılan optimizasyondan sonra performans gecikmesini 3,7 saniyeye kadar kontrol edebiliyor. 7 milyar parametreye sahip daha küçük model BLOOMZ-7B için Gaudi®️2'deki tek cihaz gecikmesi, birinci nesil Gaudi®️'nin yaklaşık %37,21'i kadardır ve cihaz sayısı 8'e çıkarıldığında bu yüzde Yaklaşık'a daha da düşer. %24,33.
△Gaudi®️2 ve birinci nesil Gaudi®️'de BLOOMZ çıkarım gecikme testi sonuçları
Daha sonra yazılım düzeyinde, ChatGLM gibi popüler büyük dil modelleri için Intel, OpenVINO™ durum bilgisi olan bir model oluşturarak bunu optimize edebilir: bellek bant genişliği kullanımını azaltmak ve çıkarım hızını artırmak için ağırlıkları sıkıştırır.
Bu, Intel'in büyük model uygulamalardaki “yazılım ve donanım entegrasyonu” yaklaşımının doğrudan bir yansımasıdır. Üstelik donanım artık yalnızca CPU ile sınırlı değil, hem eğitim hem de çıkarım performansında GPU'ya rakip olabilecek ve maliyet performansı açısından herkesi şaşırtabilecek Gaudi®️ de var.
Son olarak, güvenlik açısından Intel "her iki dünyanın da en iyisine" ulaştı: Intel®️ SGX/TDX tabanlı Güvenilir Yürütme Ortamı (TEE), performans değişimi olmadan büyük modeller için daha güvenli bir işletim ortamı sağlayabilir.
Bu, Intel'in büyük yapay zeka modelleri çağındaki "hızlandırma yaklaşımıdır".
Başka ne gibi değişiklikler getirecek?
Yapay zeka teknolojisinin gelişimine bakıldığında, Intel'in çok net bir prensip uyguladığını görmek zor değil: kullanım son sözdür. Sadece veri merkezlerinde ve kenarlarda kullanmak bile yeterli değildir. "Temel" tatmini sağlamak için her bilgisayar ve her kişinin her bilgi terminal cihazının yapay zeka uygulamalarını bağımsız olarak hızlandırma yeteneğine sahip olması en iyisidir.
Bu nedenle Intel, inovasyon misyonunu şu şekilde ayarladı: çeşitli donanım ürünlerine yapay zeka yetenekleri eklemek ve açık, çok mimarili yazılım çözümleri aracılığıyla yapay zeka uygulamalarının yaygınlaştırılmasını teşvik etmek ve "çekirdek ekonominin" yükselişini teşvik etmek.
Intel'in "hızlandırma yaklaşımı" yalnızca teknolojinin daha hızlı uygulanmasını ve yaygınlaştırılmasını sağlamak değil, aynı zamanda benimsemeyi, yeniliği ve değişimi teşvik ederek yeni nesil teknolojik değişikliklerin yolunu açmaktır.
Peki Intel'in bu yolda nihai bir hedefi var mı?
Belki Intel İnovasyon 2023'te de tekrarlanıp vurgulandığı gibi: Bırakın yapay zeka her yerde olsun (AI Her Yerde).
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Büyük yapay zeka modellerinin çağı ≠ Yalnızca büyük modellerin olduğu yapay zeka çağı
Yazar丨Jin Lei
Kaynak丨Qubit QbitAI
Ne tür bir teknoloji zamanın vaftizinden kurtulabilir ve yeni kalabilir?
Cevap, "üçleme" benzeri bir modelde özetlenebilir: yükseliş, gelişme ve geniş ölçekli uygulama ve ayrıca bu sürecin başka bir evrimsel yinelemesi.
Tarihi rehber alarak ilk sanayi devrimine öncülük eden buhar makinesi, içten yanmalı motora evrilip popüler hale geldiğinde, ikinci sanayi devriminin yıkıcısı olan elektrik enerjisi ve onunla ilgili çeşitli ekipmanlar henüz emekleme aşamasındaydı. ekipmanlar mikroelektronikte yinelenen yeniliğe doğru ilerliyor, çeşitli yakıtlı motorlar hâlâ geliştirilmekte ve yaygınlaştırılmaktadır.
Bu kuraldan yola çıkarak, her ne kadar büyük dil modelleri (kısaca Yüksek Lisans) ortaya çıktıklarından beri yapay zeka ile ilgili tüm anahtar kelimelere hakim olmuş ve herkesin dikkatini çekmiş olsa da, bu "LLM'den önce yapay zeka yoktu" anlamına gelmez.
Büyük modeller dikkat çekerken, daha önce karar verme konusunda uzmanlaşmış eski nesil makine öğrenimi uygulamaları ve algılama yeteneklerine odaklanan "geleneksel" derin öğrenme uygulamaları da boş durmuyor. ergenlik ve istikrarlı ve pratik uygulamaya başlama aşaması.
Büyük bir çip üreticisi, imalat ve enerji, tıp, finans, ulaşım ve lojistik ve eğitim sektörlerindeki yapay zeka uygulamalarını hedef alan bir dizi yapay zeka pratik kılavuzu başlattı.
Lojistik, Taşımacılık ve Sağlık Hizmetlerine Yönelik Yapay Zeka Pratik El Kitabı'nın bu yılki güncellemesinde, uygulanmış veya uygulanmakta olan birçok yapay zeka uygulamasının yanı sıra bunların nasıl sorunsuz ve tam olarak nasıl dağıtılacağı ve performans hızlandırma potansiyellerinin nasıl ortaya çıkarılacağı kaydediliyor. bazı tanıdık kafalarda da kullanılıyorlar.Ön cepheye giden işletmelerin uygulama örnekleri.
Bu nedenle yapay zeka sadece büyük modellerden ibaret değil. Yapay zekanın büyük modellerinin çağı aynı zamanda yalnızca büyük modellerin olduğu yapay zeka çağıdır.
Olgun yapay zeka zaten kullanıma sunuldu
Belki hala yapay zeka teknolojisinin küçük ekspres teslimatların bile arkasında olduğuna inanamıyorsunuz.
Bu doğru ve neredeyse tüm lojistik sürecine dahil oluyor: sipariş verme, nakliye, sınıflandırma, aktarma, dağıtım... Yapay zeka artık her şeyi "yönetmek" zorunda.
Örnek olarak klasik OCR (Optik Karakter Tanıma) teknolojisini ele alalım. Lojistik "teknik dünyasında" durumunun çok önemli olduğu ve iş verimliliğini büyük ölçüde artırdığı söylenebilir.
Örneğin gönderici, gönderim sırasında adres ve kimlik bilgilerini doldurduğunda ve e-ticaret deposu, gönderilen ürün bilgilerini kontrol ettiğinde tek tıklamayla giriş sağlamak için OCR kullanılabilir.
Yapay zeka teknolojisi daha mükemmel hale geldikçe ve uygulaması derinleştikçe bu hız, "en hızlı yoktur, daha hızlı vardır" noktasına ulaştı.
Sonuç olarak, mevcut yapay zeka "Yunda'ya bir ders verdi". Doğruluk yalnızca %98'e yükselmekle kalmadı, aynı zamanda süre de "düştü": 130 ms'den 114 ms'ye.
Üstelik OCR tanıma, yapay zekanın lojistik sektörüne katılımının yalnızca küçük bir kısmı. Şu anda oynadığı gücü hissetmek için bir resme bakın:
Ama arkadaşlar, bu sadece yapay zekanın binlerce sektörü hızlandırdığı bir durum.Aslında günlük seyahatlerimiz de yapay zekanın "tadı" ile dolu.
Örneğin yapay zeka video analiz teknolojisi, otoyollardaki trafik koşullarını gerçek zamanlı olarak analiz edebiliyor.
Trafik akışının izlenmesi, araç plakası tanıma veya kaza uyarısı vb. olsun, yapay zekanın her şeyin panoramik görüntüsüne sahip olduğu söylenebilir.
Bu şekilde yol koşulları etkili ve doğru bir şekilde kontrol edilebilir.
Bir başka örnek ise havalimanları. Yapay zeka teknolojisiyle desteklenen kameralar aynı zamanda uçak, araç, personel ve sınır ihlallerini de ayrıntılı bir şekilde tespit edebiliyor ve bu da uçuş alanının güvenliği için kesin bir garanti sağlıyor.
……
Yukarıdaki küçük kullanım örneklerinden "olgun" yapay zekanın veya birkaç yıl önceki popüler yıldız yapay zeka uygulamalarının popüler görünmeyebileceğini, ancak aslında hayatımızın her alanına nüfuz ettiklerini ve bunların kullanım alanlarını görmek zor değil. ana odak noktası “harcamalardan tasarruf etmek ve verimliliği arttırmaktır”.
Peki bu "maliyet tasarrufları ve verimlilik kazanımlarının" arkasında ne var?
Fazla iddialı olmayın, sadece cevabı verin——
Intel'in platformları, özellikle de Xeon®️ Ölçeklenebilir işlemcileri yardımcı oluyor. Benzer şekilde yukarıda bahsettiğimiz çip üreticisi de Intel'dir ve birçok sektör için pratik yapay zeka kılavuzları sağlayan da Intel'dir.
Basitçe özetlemek gerekirse: Xeon®️ ölçeklenebilir işlemciler ve bunların yerleşik yapay zeka hızlandırıcısının yanı sıra yardımcı olacak OpenVINO™️ ve oneAPI gibi bir dizi yapay zeka çerçevesi ve optimizasyon yazılımı.
Şu anda yapay zeka uygulamalarının performansını etkileyen yalnızca iki faktör var: bilgi işlem gücü ve veri erişim hızı.
En yeni dördüncü nesil Xeon®️ ölçeklenebilir işlemcilerdeki tek CPU çekirdeği sayısı maksimum 60 çekirdeğe çıktı. Veri erişim hızı açısından her seviyedeki önbellek boyutları, bellek kanalı sayısı, bellek erişim hızı vb. konularda belirli bir seviyeye kadar optimize edilmiş olup ayrıca CPU Max serisine HBM yüksek bant genişlikli bellek teknolojisi de entegre edilmiştir.
Ek olarak, CPU komut seti de optimize edilmiştir ve matris hesaplamalarından ve derin öğrenme iş yüklerinin hızlandırılmasından sorumlu olan Intel®️ Advanced Matrix Extensions (Intel®️ AMX) gibi donanım hızlandırıcılar yerleşiktir. Buna C denilebilir. -bit CPU hızlandırmalı yapay zeka uygulamaları.
GPU'daki Tensör Çekirdeğine biraz benzer.
AMX iki bölümden oluşur; biri 1kb 2D kayıt dosyası, diğeri ise matris çarpım talimatlarını yürütmek için kullanılan TMUL modülüdür. Hem INT8 hem de BF16 veri türlerini destekleyebilir ve BF16, FP32'den daha iyi bilgi işlem performansına sahiptir.
AMX komut setinin desteğiyle performans, önceki nesil Xeon®️ ölçeklenebilir işlemcide yerleşik olan vektör sinir ağı komut seti VNNI'den 8 kata kadar, hatta daha yüksek oranda artırıldı.
Temel donanım platformuna ek olarak, bu endüstrilerin pratik yapay zeka uygulamalarını hayata geçirmesine yardımcı olan şey, Intel'in "kendi" ama "özel" olmayan yapay zeka yazılım araçları serisidir.
Örneğin, daha önce bahsedilen OCR hızlandırması, eğitim kısmı için gerekli olan birçok gereksiz hesaplamayı ortadan kaldıran ve esas olarak çıkarım kısmını destekleyen OpenVINO™️ optimizasyonundan ayrılamaz.
Aynı zamanda Intel donanımı için özel olarak oluşturulmuş optimize edilmiş bir çerçevedir. Orijinal çerçevenin değiştirilmesini tamamlamak için yalnızca 5 satır kod gerekir.
Kullanıcılar farklı iş senaryoları için OpenVINO™️ işletim parametrelerini optimize edebilir.
Yazılım ve donanımın böyle bir kombinasyonuyla Intel, yalnızca CPU'nun bilgi işlem potansiyelini tamamen açığa çıkarmakla kalmıyor, aynı zamanda gerçek muhakeme senaryolarında GPU'nun performansına yakın bir performans elde ediyor.Ayrıca düşük maliyet, düşük eşik ve düşük eşik gibi ek avantajlara da sahip. kullanım kolaylığı.
Ancak bunlar yalnızca Intel®️ platformundaki olgun yapay zeka teknolojilerinin optimizasyonlarıdır. Intel'in yetenekleri bundan çok daha fazlasıdır.
Bu büyük modele geri döndü.
Popüler büyük modeller de hızlandırılıyor
Şu anda, dünya çapındaki büyük teknoloji şirketleri tarafından büyük dil modelleri takip ediliyor, sonuçta teknoloji çevresi bunu artık geleceğin gelişme eğilimi olarak görüyor.
Her ne kadar olgun yapay zeka teknolojileri ve uygulamalarıyla karşılaştırıldığında, büyük ölçekli uygulamalardan hala biraz uzakta olsa da teknolojik liderliği tartışılmaz ve "eski nesil" yapay zeka uygulamalarının bile onunla birleştirilmesi veya onun tarafından dönüştürülmesi bekleniyor. Yenilendi.
Temel bilgi işlem güç çıkışı ve uygulama performansını hızlandırıcı olarak Intel de bu rekabetçi arenada zorlu günlere hazırlanıyor ve planlarını şimdiden belirledi.
Öncelikle büyük bir model ne kadar gelişmiş olursa olsun değerinin tam anlamıyla anlaşılabilmesi için daha fazla kişinin onu kullanması gerekiyor. Eğer onu "oynamak" istiyorsanız, devasa boyutu karşısında maliyet uzun süredir devam eden bir sorundur.
Bu nedenle Intel, milyarlarca parametreye sahip büyük bir dil modelini 3/4 oranında azaltabilen ve doğruluğunu artırabilen ve aynı zamanda Intel'deki büyük modellerin çıkarım performansını da etkili bir şekilde artırabilen gelişmiş bir "ağırlık azaltan sihirli aracı" tanıttı. ®️ platformu.
İkinci olarak, donanım düzeyinde Intel'in de bazı çabaları var.
Örneğin, son zamanlarda popüler olan ChatGLM-6B, modelin ince ayar hesaplama hızını büyük ölçüde artırmak için dördüncü nesil Xeon®️ ölçeklenebilir işlemcinin yerleşik Intel®️ AMX'ini kullanıyor; Xeon®️ CPU Max serisi işlemciyle entegre HBM'yi kullanıyor Büyük ölçekli kullanıcıların ihtiyaçlarını karşılamak için Modelin ince ayarı için büyük bellek bant genişliği gerekir.
Intel, CPU'ya ek olarak, tek bir sunucuda 8 hızlandırıcı kartı (Habana İşleme Birimi olarak adlandırılır, HPU olarak anılır) dağıtabilen özel bir derin öğrenme hızlandırma çipi Habana®️ Gaudi®️2'ye de sahiptir. Her kartın belleği 96'ya kadar GB, büyük modeller için bol miktarda alan sağlar.
Dolayısıyla 176 milyar parametreye sahip BLOOMZ gibi 100 milyar seviyeli bir dil modeli bile Intel tarafından yapılan optimizasyondan sonra performans gecikmesini 3,7 saniyeye kadar kontrol edebiliyor. 7 milyar parametreye sahip daha küçük model BLOOMZ-7B için Gaudi®️2'deki tek cihaz gecikmesi, birinci nesil Gaudi®️'nin yaklaşık %37,21'i kadardır ve cihaz sayısı 8'e çıkarıldığında bu yüzde Yaklaşık'a daha da düşer. %24,33.
Daha sonra yazılım düzeyinde, ChatGLM gibi popüler büyük dil modelleri için Intel, OpenVINO™ durum bilgisi olan bir model oluşturarak bunu optimize edebilir: bellek bant genişliği kullanımını azaltmak ve çıkarım hızını artırmak için ağırlıkları sıkıştırır.
Bu, Intel'in büyük model uygulamalardaki “yazılım ve donanım entegrasyonu” yaklaşımının doğrudan bir yansımasıdır. Üstelik donanım artık yalnızca CPU ile sınırlı değil, hem eğitim hem de çıkarım performansında GPU'ya rakip olabilecek ve maliyet performansı açısından herkesi şaşırtabilecek Gaudi®️ de var.
Son olarak, güvenlik açısından Intel "her iki dünyanın da en iyisine" ulaştı: Intel®️ SGX/TDX tabanlı Güvenilir Yürütme Ortamı (TEE), performans değişimi olmadan büyük modeller için daha güvenli bir işletim ortamı sağlayabilir.
Bu, Intel'in büyük yapay zeka modelleri çağındaki "hızlandırma yaklaşımıdır".
Başka ne gibi değişiklikler getirecek?
Yapay zeka teknolojisinin gelişimine bakıldığında, Intel'in çok net bir prensip uyguladığını görmek zor değil: kullanım son sözdür. Sadece veri merkezlerinde ve kenarlarda kullanmak bile yeterli değildir. "Temel" tatmini sağlamak için her bilgisayar ve her kişinin her bilgi terminal cihazının yapay zeka uygulamalarını bağımsız olarak hızlandırma yeteneğine sahip olması en iyisidir.
Bu nedenle Intel, inovasyon misyonunu şu şekilde ayarladı: çeşitli donanım ürünlerine yapay zeka yetenekleri eklemek ve açık, çok mimarili yazılım çözümleri aracılığıyla yapay zeka uygulamalarının yaygınlaştırılmasını teşvik etmek ve "çekirdek ekonominin" yükselişini teşvik etmek.
Intel'in "hızlandırma yaklaşımı" yalnızca teknolojinin daha hızlı uygulanmasını ve yaygınlaştırılmasını sağlamak değil, aynı zamanda benimsemeyi, yeniliği ve değişimi teşvik ederek yeni nesil teknolojik değişikliklerin yolunu açmaktır.
Peki Intel'in bu yolda nihai bir hedefi var mı?
Belki Intel İnovasyon 2023'te de tekrarlanıp vurgulandığı gibi: Bırakın yapay zeka her yerde olsun (AI Her Yerde).