Büyük modeli cep telefonuna yüklemek kaç adımda gerçekleşir?

Orijinal Kaynak: Işık Konisi Zekası

Görsel kaynağı: Unbounded AI‌ tarafından oluşturuldu

Büyük model cep telefonuna "koşuyor" ve yapay zeka savaşı "buluttan" "mobil terminale" yandı.

"Yapay zeka çağında, Huawei'nin Pangu modeli Hongmeng ekolojisine yardımcı olacak." Huawei'nin yönetici direktörü, terminal BG'nin CEO'su ve akıllı araba çözümü BU'nun CEO'su Yu Chengdong, 4 Ağustos'ta Pangu'nun temel teknolojisi aracılığıyla bunu tanıttı. model, Harmony OS getiriyor İşte yeni nesil akıllı terminal işletim sistemleri geliyor.

Cep telefonlarında büyük modellerin kullanılması yeni değil.Önceden, ChatGPT, Wenxin Yiyan ve Miaoya gibi uygulamalar ve aplet'lerin tümü, mobil terminallerdeki AI uygulamalarının ihtiyaçlarını karşılamak için bulut bilgi işlem gücünü kullanıyordu.

**Bir sonraki adım, büyük modelin doğrudan cep telefonunda çalışmasına izin vermektir. **

Bu yılın Nisan ve Mayıs aylarından bu yana, Amerikan teknolojisinin üç devi Qualcomm, Microsoft ve Nvidia, en çok izlenen AI yıldızı OpenAI ve yerel AI "baş ekibi" Tencent, Baidu vb. mobil terminaller AI büyük modellerinin hafif dağıtımı. Hatta Qualcomm, kademeli olarak bir akıllı uç bilgi işlem şirketine dönüştüğünü (mobil terminaller gibi veri kaynaklarında bilgi işlem hizmetleri sağlayan) bile duyurdu.

Devlerin güçlü baskısı altında, buluttan uca hareket eden büyük ölçekli modellerin sektör trendi çok netleşti.

Neden büyük model cep telefonunda "çalışmalı"?

Büyük modelin en büyük özelliği, on milyarlarca milyarlarca hatta trilyonlarca parametreyle "büyük" olmasıdır ve büyük modeli daha iyi çalıştırmak için bilgi işlem gücü kümesi "on bin kart" düzeyine yükseltilmiştir. Şimdi, neden büyük bir modeli avuç içi büyüklüğünde küçük bir cep telefonuna "doldurmanız" gerekiyor?

Büyük model, cep telefonu kullanıcılarına bazı deneyim iyileştirmeleri getiriyor. Örneğin, Huawei'nin terminal akıllı asistanı Xiaoyi, yalnızca sesli komutlara göre restoran tavsiye etmekle kalmaz, aynı zamanda özetleme, bilgi alma ve çok dilli çeviri gibi bilgi işlemlerini de gerçekleştirir.Binlerce kelimeden oluşan uzun bir İngilizce metin bir cep telefonu tarafından işlenebilir. büyük ölçekli model yeteneklerine sahip akıllı asistan Çince'ye de çevrilebilen bir özet oluşturulur. Özellikle son nokta, bilgi patlaması çağında, öğrenme ve çalışma verimliliğini artırmak için hala çok değerlidir.

**Huawei'nin Terminal BG Yapay Zekası ve Akıllı Tüm Senaryolar İş Departmanı Başkanı Jia Yongli, bir yandan büyük dil modelinin genelleştirme yeteneğine sahip olduğunu ve bunun cep telefonu akıllı yardımcılarının anlayışlarını geliştirmelerine yardımcı olabileceğini açıkladı. Öte yandan, büyük model Plug-in'in eklenti yeteneği, cep telefonundaki uygulamalar arasındaki engelleri aşabilir ve araçlar yardımıyla yetenekleri genişletebilir. **

Ek olarak, ChatGPT gibi AIGC uygulamalarına her zaman güçlü gizlilik ve güvenlik anlaşmazlıkları eşlik etmiştir, ancak bunlar tamamen uç tarafta çalıştırılırsa bu sorun tamamen önlenebilir. Büyük model uç tarafta çalıştığı için veriler uç taraftan ayrılmayacaktır. Ayrıca, tepki hızı daha hızlı olacaktır.

** Öte yandan, cep telefonu gibi mobil terminallere büyük modellere olan talep zaten çok acil. **

Büyük modellerin çalkantılı eğilimi, bulutu giderek daha fazla tek başına bilgi işlem gücü talebini karşılayamaz hale getiriyor. Qualcomm'un kıdemli başkan yardımcısı Alex Katouzian kısa süre önce açıkça şöyle dedi: "Bağlantılı cihazların ve veri trafiğinin büyümesi hızlanırken ve üst üste binen veri merkezlerinin maliyeti arttıkça, (bizim için) tüm içeriği buluta göndermek imkansız."

Veri iletimi tarafından tüketilen ağ bant genişliği, depolama ve donanım gibi büyük miktardaki kaynakları saymazsak, tek başına bulutun bilgi işlem gücü, ilgili üreticileri çoktan bunalttı. ChatGPT yalnızca çıkarım aşamasındadır ve ihtiyatlı bir şekilde aylık bilgi işlem gücü maliyetinin yaklaşık 10 milyon ABD doları olduğu tahmin edilmektedir.

En büyük sorun "pahalı" değil, "eksik".

Daha önce, OpenAI'nin kurucusu Sam Altaman bile GPU sıkıntısı olduğunu ortaya koymuştu ve hatta açıkça çok fazla kişinin ChatGPT kullanmasını istemediğini söylemişti. Son zamanlarda, bazı kaynaklar, küçük ve büyük bulut sağlayıcılarından oluşan büyük ölçekli H100 kümelerinin kapasitesinin tükenmek üzere olduğunu ve H100 için talep eğiliminin en az 2024'ün sonuna kadar devam edeceğini düşünüyor. Nvidia H100'ün mevcut üretim kapasitesi, tedarik zinciri tarafından hala ciddi şekilde kısıtlanıyor.

Bu nedenle, bulut ve terminal bir işbirliği oluşturur ve "merkezi" bilgi işlem gücü ile "dağıtılmış" talep arasındaki uyumsuzluğu çözmek için cep telefonlarının ve diğer terminallerin atıl bilgi işlem güç kaynakları kullanılır. Daha da önemlisi, sınırlı sayıda merkezi düğümle karşılaştırıldığında, binlerce senaryoya dokunan çok sayıda mobil terminal "kılcal damar" olarak adlandırılabilir, bu da bu girişin büyük modellerin uygulama penetrasyonunu hızlandırmanın anahtarı olacağını belirler.

Büyük model nasıl "cebe koyulur"?

Huawei'nin Terminal İş Yazılım Departmanı Başkanı Gong Ti, "Geleneksel PC'ler veya sunucularla karşılaştırıldığında, mobil terminaller için en büyük zorluk, deneyim ve enerji tüketimini nasıl dengeleyeceğidir. Bu, Hongmeng çekirdek tasarımının en önemli temel noktalarından biridir." , vurguladı .

Büyük bir model, özellikle verimliliği artırmak ve enerji tüketimini azaltmak için yazılım sisteminin koordinasyonunu gerektiren mevcut cep telefonu donanım yapılandırmasına dayalı olarak çok sayıda bilgi işlem kaynağı ve depolama kaynağı gerektirir.

Şu anda, cep telefonlarının performansını artırmak için en az 8 çip çekirdeğinin cep telefonu sistemi tarafından koordine edilmesi gerekiyor ve bu işlem çok fazla bilgi işlem gücü tüketecek. Heterojen kaynak planlaması benimsenirse, CPU, GPU ve NPU verimli bir şekilde koordine edilebilir. Gong Ti'ye göre, programlama verimliliği %60'tan fazla artırılabilir.

Cep telefonu sistemi hesaplamalar yapabilir ve en küçük programlama birimine iş parçacığı adı verilir.Geleneksel bir işletim sisteminde onbinlerce iş parçacığı aynı anda çalışır ve çok sayıda geçersiz iş parçacığı olacaktır. Bunun ışığında, eşzamanlı işlemleri işlemek ve geçersiz iş parçacığı değiştirme yoluyla bilgi işlem gücü tüketimini azaltmak için daha hafif bir eşzamanlılık modeli kullanılabilir. Gong Ti'ye göre eşzamanlılık modeli, görev değiştirme ek yükünden %50 tasarruf sağlayabilir.

Ayrıca işletim sistemindeki görev çizelgeleme açısından da bu sorunsuz deneyimi etkileyen en temel unsurdur.Adil çizelgelemeye kıyasla dinamik öncelik çizelgeleme enerji tüketimini büyük ölçüde azaltacaktır. Dinamik öncelik planlaması, trafik ışıklarının aydınlatma durumunu yol koşullarına ve trafik akışına, sıkışıklığa ve gecikmelere göre dinamik olarak ayarlayabilen akıllı bir ulaşım sistemine benzer.

Ancak büyük modelin cep telefonuna konuşlandırılması ve çalışmaya devam etmesi için cep telefonu işletim sistemini yükseltmek ve iyileştirmek yeterli değil.

Büyük modellerin tahminleri daha doğru hale geldikçe ve ağlar derinleştikçe, sinir ağları tarafından tüketilen bellek kapasitesi temel bir konu haline geldi. Aynı zamanda bellek bant genişliği sorununu da beraberinde getirir.Şebeke çalışırken bellek, CPU ve pil hızla tüketilir.Bu kesinlikle mevcut cep telefonları için dayanılmaz bir yüktür.

** Bu nedenle, cep telefonuna dağıtılmadan önce, çıkarım bilgi işlem gücü talebini azaltmak için büyük modelin sıkıştırılması gerekir. Ancak, orijinal performansın ve doğruluğun temel olarak değişmediğinden emin olmak önemlidir. **

Niceleme, model tarafından kullanılan bellek alanını azaltabilen ve çıkarım performansını artırabilen yaygın ve önemli bir sıkıştırma işlemidir. Özünde, kayan nokta işlem modelini bir tamsayı işlem modeline dönüştürmektir, çünkü tamsayı işlemi kayan nokta işleminden daha yüksek hassasiyete ve daha hızlı işlem hızına sahiptir.

Şu anda, nicel teknoloji de atılımları hızlandırıyor. Sunucu üzerinde eğitilen model genellikle 32-bit kayan nokta işlemleri (FP32) kullanır.Cep telefonu tarafında Qualcomm, FP32 modelini nicelleştirip INT4 modeline sıkıştırarak 64 bellek ve bilgi işlem enerji verimliliği iyileştirmesi elde etti. Qualcomm'un uygulama verileri, Qualcomm'un niceleme algılama eğitimini kullandıktan sonra, birçok AIGC modelinin INT4 modellerine nicemlenebileceğini gösteriyor.INT8 ile karşılaştırıldığında, performans yaklaşık %90 oranında iyileştirildi ve enerji verimliliği yaklaşık %60 oranında iyileştirildi.

Büyük model sıkıştırma teknolojisi, şüphesiz yapay zeka devlerinin mobil terminal savaş alanını kazanmasındaki kilit faktördür. Bu aynı zamanda Nvidia'nın bu yılın Şubat ayında sıkıştırma büyük model teknolojisinde uzmanlaşan bir yapay zeka girişimi olan OmniML'yi neden "sessizce" satın aldığını da bir dereceye kadar açıklıyor.

Büyük model, terminal donanımını yükseltmeye zorlar

Qualcomm'da ürün yönetiminden sorumlu kıdemli başkan yardımcısı ve yapay zeka başkanı olan Ziad Asghar, "Bu yıl, bir cep telefonunda çalışan 10 milyar parametreye sahip üretken bir yapay zeka modelini destekleyebileceğiz." Milyar parametre, verilerin çoğunu kapsayabilir. Çoğu AIGC kullanım durumu. Terminal zaten bu parametre seviyesini destekliyorsa, tüm hesaplamalar terminalde yapılabilir ve cep telefonu gerçek bir kişisel asistan olur.

Bununla birlikte, mevcut nesil amiral gemisi cep telefonu çipleri, 1 milyar parametre düzeyine sahip büyük bir modeli de taşıyabilir ve çalıştırabilir. Qualcomm, bu Haziran ayındaki en iyi bilgisayar vizyonu akademik konferansı olan CVPR'de Android sisteminde çalışan büyük bir modeli başarıyla gösterdi. yıl, ancak yalnızca 1,5 milyar.parametre.

Parametreler neredeyse on kat arttı ve mobil terminale giden büyük model "hızlandırıcıya" çoktan bastı, bu nedenle cep telefonunun bununla başa çıkmak için yükseltilmesi gerekiyor.

**Cep telefonu donanımı, yapay zeka hızlandırıcıları ve bellekte acilen yeniliklere ihtiyaç duyar. **

İlk olarak, daha büyük parametrelere sahip büyük modeller, model parametrelerini ve ara sonuçları saklamak için daha büyük bellek ve depolama alanı gerektirir. Bu, mobil terminal bellek yongası kapasitesinin ve bellek arayüzü bant genişliğinin yükseltilmesini gerektirir.

İkincisi, daha büyük parametreler, girdi verilerini ve çıktı sonuçlarını işlemek için kaçınılmaz olarak daha güçlü bilgi işlem ve muhakeme yetenekleri gerektirir.

Cep telefonu çiplerindeki AI hızlandırıcıları (çeşitli NPU IP'leri gibi) neredeyse standart olsa da, tasarım tamamen büyük modeller için değil, temelde önceki nesil evrişimli sinir ağı tasarımı içindir.

Büyük modellere uyum sağlamak için yapay zeka hızlandırıcılarının daha büyük bellek erişim bant genişliğine sahip olması ve bellek erişim gecikmesini azaltması gerekir. Bu, AI hızlandırıcının arayüzünde bazı değişiklikler (bellek arayüzüne daha fazla pin atamak gibi) ve ayrıca AI hızlandırıcının bellek erişim gereksinimlerini karşılamak için çip üzerindeki veri ara bağlantısında ilgili değişiklikleri gerektirir.

Qualcomm'un "yıl içinde 10 milyar parametre ile çalışan cep telefonları" diyebilmesinin önemli nedenlerinden biri, Qualcomm tarihindeki en hızlı ve en gelişmiş AI motoruyla donatılmış ikinci nesil Snapdragon 8 işlemciye sahip olmasıdır. , AI performansı 4,35 kat artırıldı ve enerji verimliliği %60 artırıldı.

**Elbette, bulutta bile, ultra büyük ölçekli parametre modellerinin eğitimi ve muhakemesinin beş duvarı aşması gerekir: bellek duvarı + bilgi işlem gücü duvarı + iletişim duvarı + ayarlama duvarı + dağıtım duvarı ve cep telefonlarının bunu yapması gerekir. katman katman kırmak. **

Bununla birlikte, cep telefonları için "akıllı"dan "yapay zekaya" kadar, fırsatlar zorluklardan daha ağır basmaktadır.

"İnovasyon döngüsünün tüketici elektroniği üzerindeki etkisi daha önemli ve hatta bir sektörü ekonomik döngünün etkisinden kurtarabilir." Glory Terminal CEO'su Zhao Ming, mevcut akıllı telefon endüstrisinin yeni bir inovasyon döngüsü içinde olduğuna karar verdi. AI ve 5G+ tarafından başlatıldı.