Büyük modelde yer alan cep telefonu üreticilerinin yeni anlatısı

Yazar｜Wu Jingjing

Düzenle｜Kestane

Kaynak: Jiazi Guangnian

Xiaomi'nin büyük modeli, Lei Jun'un 2023 yıllık konuşması sırasında halka tanıtıldı.

Lei Jun, birçok İnternet platformunun aksine, Xiaomi'nin büyük modelinin temel atılım yönünün, cep telefonu tarafında sorunsuz çalışabilen hafiflik ve yerel dağıtım olduğunu belirtti.

Şu anda 1,3 milyar parametre ölçeğine sahip MiLM1.3B modelinin cep telefonlarında çalıştırıldığını ve etkinin bulut bilişimde 6 milyar parametreye sahip büyük modellerin sonuçlarıyla karşılaştırılabilir olduğunu söyledi. Yayınladığı karnede, büyük Xiaomi uçtan uca modeli, CMMLU Çin değerlendirmesinin çeşitli konularında Zhipu AI'nın ChatGLM2-6B modelinden daha iyi performans gösterdi ve Baichuan Intelligent'in Baichuan-13B büyük modeli ile puan farkı yaklaşık 5 dakikaydı.

(Kaynak: Xiaomi)

Daha önce, Xiaomi tarafından geliştirilen büyük ölçekli eğitim öncesi dil modeli MiLM-6B/1.3B, kod barındırma platformu GitHub'a indi ve C-genel listesinde onuncu sırada yer aldı, aynı parametre büyüklüğünde birinci sırada yer aldı ve sıralandı. Çin büyük model kıyaslamasında birinci olan "CMMLU", "MiLM-6B" birinci sırada yer aldı.

Elbette bu test listelerinin boyutları herkese açık olduğu için birçok büyük ölçekli model firmasının test görevlerine göre puanlama yapması zor değildir.Bu nedenle bu değerlendirme sonuçları sadece referans olarak kullanılabilir ve herhangi bir anlam ifade etmez. Sonuçların kesinlikle mükemmel olduğunu.

Aynı zamanda Lei Jun, Xiaomi'nin büyük modelinin ilk uygulama işletmesi olan Xiao Ai'nin yeni bir yükseltmeden geçtiğini ve resmi olarak davet testini açtığını duyurdu.

Bu, Xiaomi'nin bu yıl Nisan ayında yeni büyük ölçekli model ekibinin duyurulmasından bu yana dört ay içinde elde ettiği aşamalı büyük ölçekli model başarısıdır.

Xiaomi'nin uygulaması, büyük modellerin uygulanmasına hangi yeni düşünceyi getiriyor? Yeni teknoloji yinelemelerine güvenen cep telefonu üreticileri için bu ne anlama geliyor?

1. Xiaomi genel amaçlı büyük modeller yapmaz ve çekirdek ekip yaklaşık 30 kişiden oluşur

Xiaomi, büyük ölçekli modellerin rotasındaki rasyonel okula aittir-** parametre ölçeğini takip etmez ve genel amaçlı büyük ölçekli modeller yapmaz. **

Kazanç konferans görüşmesinde daha önce Xiaomi Group başkanı Lu Weibing, Xiaomi'nin büyük ölçekli modelleri aktif olarak benimseyeceğini ve yönün ürünleri ve işletmeleri derinlemesine entegre etmek olduğunu ve OpenAI gibi genel amaçlı büyük ölçekli modeller yapmayacağını söyledi. .

Shenran'ın önceki raporlarına göre, Xiaomi Group'un AI Laboratuvarı yöneticisi Dr. Wang Bin, bir keresinde Xiaomi'nin ChatGPT benzeri bir ürünü tek başına piyasaya sürmeyeceğini ve kendi geliştirdiği büyük modelin sonunda ürün tarafından çıkarılacağını söylemişti. ilgili hükümet on milyonlarca RMB seviyesinde yatırım yapacak. **

"Büyük modeller için, rasyonel okula aitiz. Xiaomi'nin uygulama senaryolarında avantajları var ve gördüğümüz şey, büyük modellerin ve senaryoların kombinasyonu için büyük bir fırsat."

ChatGPT'nin doğumundan önce, Xiaomi'nin büyük modellerin dahili araştırma ve geliştirmesini ve uygulamasını yaptığını, o zamanlar bir parametre ölçeğiyle insan-makine diyaloğunu yürütmek için ön eğitim + aşağı akış görev denetimi ve ince ayar kullandığını açıkladı. 2,8 milyar ila 3 milyar. Bu, esas olarak, şimdi adı verilen genel amaçlı büyük modele değil, önceden eğitilmiş temel modele dayalı olarak diyalog verilerinin ince ayarı yoluyla elde edilir.

Kamuya açık bilgilere göre, Xiaomi'nin büyük model ekibinin şu anki başkanı, teknik komite başkan yardımcısı ve AI laboratuvarının direktörü Wang Bin'e rapor veren, AI sesi yönünde uzman olan Luan Jian. Büyük model ekibinin tamamında yaklaşık 30 kişi vardır.

Luan Jian, Toshiba (Çin) Araştırma Enstitüsü'nde bir araştırmacı ve Microsoft (Çin) Mühendislik Akademisi'nde kıdemli bir ses bilimcisi olan akıllı ses robotu "Microsoft Xiaoice"nin baş ses bilimcisi ve ses ekibi lideriydi. Luan Jian, Xiaomi'ye katıldıktan sonra sırasıyla ses üretimi, NLP ve diğer ekiplerden ve Xiao Ai gibi ürünlerde ilgili teknolojilerin uygulanmasından sorumluydu. Wang Bin, Xiaomi'ye 2018'de katıldı ve 2019'dan beri AI laboratuvarından sorumlu. bilgi alma ve doğal dil işleme alanlarında deneyim.

Büyük ölçekli model aynı zamanda Xiaomi'nin arkasındaki yapay zeka ekibine de güveniyor.Lei Jun, 7 yıl ve 6 genişletmenin ardından Xiaomi'nin AI ekibinin CV, NLP, AI görüntüleme, otonom sürüş, robotik ve diğer konuları kapsayan 3.000'den fazla kişiye sahip olduğunu söyledi. alanlar. .

(Kaynak: Xiaomi)

2. Google, Qualcomm ve Huawei peş peşe oyuna girdiler

Xiaomi'nin yanı sıra cep telefonlarında çalışan büyük modeller yapmak birçok teknoloji şirketinin şu anki temel hedefi.

Teknoloji şirketleri büyük modellerin olasılığını hayal ediyor: WPS, grafit belgeler veya e-postalar ne açarsanız açın, yazma gibi komutları girdiğiniz sürece, cep telefonu eksiksiz bir makale veya e-posta oluşturmak için yerel yetenekleri arayabilir. Cep telefonunda, tüm Uygulamalar, işle başa çıkmak ve yaşam sorunlarını çözmek için herhangi bir zamanda yerel büyük ölçekli modeli arayabilir. Cep telefonunda insanlar ve çeşitli Uygulamalar arasındaki etkileşim artık sık tıklamalar değil, akıllıca çağrılabilir. sesle.

Birçok şirket, modelin boyutunu küçültmeye çalışarak, büyük modelleri yerel olarak cep telefonlarında çalıştırmayı daha pratik ve ekonomik hale getiriyor. Google, bu yıl Mayıs ayında Google I/O konferansında PaLM2'yi piyasaya sürdüğünde, boyutuna göre Gecko, Otter, Bison ve Unicorn olmak üzere küçükten büyüğe dört spesifikasyona ayrıldı. Ve hızlıdır, saniyede 20 belirteç işleyebilir, kabaca 16 veya 17 kelimeye eşdeğerdir ve cep telefonlarının çevrimdışı çalışmasını da destekleyebilir. Ancak o sırada Google, modelin hangi telefonda kullanılacağını söylemedi.

Şu anda, belirli sonuçlarla gelen Qualcomm'dur. Qualcomm, bu yılın Mart ayındaki 2023MWC'de, ikinci nesil Snapdragon 8 ile donatılmış bir akıllı telefonda 1 milyardan fazla parametreye sahip bir Wensheng grafik modeli olan Stable Diffusion'ı çalıştırdı. Gösteride personel, İnternet bağlantısı olmayan bir Android telefonda görüntü oluşturmak için Stable Difüzyon kullandı ve tüm süreç 15 saniye sürdü.

Qualcomm, Haziran ayında bilgisayarlı görü akademisyenlerinin en önemli konferansı olan CVPR'de, 1,5 milyar parametre ölçeğinde bir Android telefon üzerinde çalışan ControlNet modelini gösterdi ve çizim süresi yalnızca 11,26 saniyeydi. Qualcomm'da ürün yönetiminden sorumlu kıdemli başkan yardımcısı ve yapay zeka başkanı Ziad Asghar şunları söyledi: **Teknik olarak, 1 milyardan fazla parametreye sahip bu büyük modelleri cep telefonlarına taşımak bir aydan kısa sürüyor. **

En son eylem, Qualcomm'un akıllı telefonlar, PC'ler, AR/VR başa takılan görüntüleme cihazları, arabalar ve Qualcomm Snapdragon çipine dayalı diğer cihazlarda ağ bağlantısı olmadan Llama 2 modeline dayalı uygulamaları ve uygulamaları keşfetmek için Meta ile işbirliği yaptığını duyurmasıdır. Sert. Qualcomm'a göre, bulut tabanlı LLM ile karşılaştırıldığında, cihazda yerel olarak Llama 2 gibi büyük ölçekli dil modellerini çalıştırmak yalnızca daha düşük maliyet ve daha iyi performans sağlamakla kalmaz, aynı zamanda çevrimiçi hizmetlere** ve hizmete bağlanmaya ihtiyaç duymaz. daha kişiselleştirilmiş ve daha verimli.Güvenli ve daha özel.

Resmi olarak herhangi bir büyük ölçekli model eylemi duyurmayan Apple, cihaz tarafında da büyük ölçekli modellerin inişini araştırıyor. "Financial Times" raporuna göre Apple, iPhone ve iPad'de verimli bir şekilde çalışabilmeleri için büyük dil modellerini sıkıştırmak için tamamen mühendisler ve araştırmacılar işe alıyor ve başlıca sorumlu ekip Machine Intelligence ve Neural Design ( MIND) ekibi.

Şu anda, Github'da, popüler bir açık kaynak modeli olan MLC LLM projesi yerel dağıtımı destekleyebilir. Tahsisi dikkatli bir şekilde planlayarak ve model parametrelerini aktif olarak sıkıştırarak bellek kısıtlamalarını çözer ve iPhone gibi çeşitli donanım cihazlarında yapay zeka modellerini çalıştırabilir. Proje, CMU Yardımcı Doçent, OctoML CTO Chen Tianqi ve diğer araştırmacılar tarafından ortaklaşa geliştirildi.Ekip, yapay zeka modellerini verimli bir şekilde dağıtmak için temel olarak Makine Öğrenimi Derleme (MLC) teknolojisini kullanıyor. MLC-LLM'nin çevrimiçi hale gelmesinin üzerinden iki günden kısa bir süre sonra GitHub'daki yıldız sayısı 1.000'e yaklaştı. Birisi iPhone'un uçak modunda yerel olarak büyük bir dil modeli çalıştırmayı test etti.

Büyük modellerin cihaz tarafında yerel olarak konuşlandırılabileceğini ve çevrimdışı çalışabileceğini vurgulayan yabancı Google ve Qualcomm'un aksine, şu anda yerli cep telefonu üreticileri büyük modelleri cep telefonu sesli asistanlarına veya mevcut görsel arama işlevlerine uygulamaya öncelik veriyor. bu yükseltme, büyük modelleri kullanmak için daha fazla bulut özelliği çağırmak içindir.

Bu kez Xiaomi, sesli asistan Xiao Ai'de büyük modeli kullandı. Bununla birlikte, Xiaomi uçtan uca büyük modeli hakkında ilgili bilgiler açıklanmadığı için, Xiaomi büyük modelinin gelecekteki gelişim yolunu doğru bir şekilde yargılamak imkansız. Lei Jun'un vurguladığı yerel dağıtım ve hafiflik yönüne bakılırsa, Xiaomi gelecekte büyük modeli cep telefonunda çevrimdışı çalıştırmayı deneyebilir.

Huawei ayrıca cep telefonlarında büyük ölçekli modeller uygulamaya çalışıyor, ancak odak noktası hala cep telefonu sesli asistanları ve görsel arama sahneleri üzerinde. Nisan ayının başlarında Huawei'nin yeni piyasaya sürdüğü cep telefonu P60'ta, akıllı görsel aramanın yeni işlevinin arkasında multi-modal büyük ölçekli model teknolojisi vardı ve model, süreç içinde cep telefonu tarafında minyatürleştirildi. Son zamanlarda, Huawei'nin yakın zamanda yükseltilmiş terminal akıllı asistanı Xiaoyi, deneyimi büyük modele dayalı olarak optimize etti ve sesli komutlara göre restoranlar önerebilir ve özetler gibi yeni işlevler gerçekleştirebilir.

OPPO ve vivo da bu yönde çaba sarf ediyor.13 Ağustos'ta OPPO, AndesGPT tabanlı yeni Xiaobu Assistant'ın yakında deneyimlenmeye başlayacağını duyurdu.Verilerden de görülebileceği gibi, Xiaobu Assistant büyük modellerin yeteneklerini entegre ettikten sonra, diyalog ve metin yazarlığında daha etkili olacak.Yazma yeteneği ve diğer yönleri güçlenecek. AndesGPT, OPPO Andes Intelligent Cloud Team tarafından oluşturulan hibrit bulut mimarisine dayalı üretken bir büyük dil modelidir.

Cep telefonu üreticileri için, ister yerel dağıtım ister bulut yeteneklerini çağırıyor olsun, büyük modeller, cep telefonları için kaçırılmaması gereken yeni bir fırsattır.

**3. Büyük model cep telefonunda çalışır, anahtar sorun nerede? **

Büyük bir modeli cep telefonunda çalıştırmak kolay bir iş değil.

Bilgi işlem gücü birincil sorundur. Büyük modeli cep telefonunda kullanmak, yalnızca bulutun bilgi işlem gücünü değil, aynı zamanda terminal cihazının bilgi işlem gücünü de gerektirir.Büyük modelin büyük kaynak tüketimi nedeniyle, her arama yüksek bir maliyet anlamına gelir. Alfabe başkanı John Hennessy bir keresinde büyük bir dil modeli kullanmanın arama maliyetinin önceki anahtar kelime arama maliyetinden 10 kat daha yüksek olduğundan bahsetmişti. Geçen yıl, Google'ın her biri bir sentin beşte birine mal olan 3,3 trilyon arama sorgusu vardı. Wall Street analistleri, Google'ın arama sorgularının yarısını işlemek için her biri yaklaşık 50 kelimelik yanıt sağlayan** büyük dil modelleri kullanması durumunda, Google'ın 2024 yılına kadar harcamalarında 6 milyar dolarlık bir artışla karşı karşıya kalabileceğini tahmin ediyor. **

(Kaynak: Reuters)

Cep telefonunda büyük modelleri çalıştırmak benzer maliyet sorunlarıyla karşı karşıyadır.Qualcomm tarafından yayınlanan "Hibrit AI, AI'nın Geleceğidir" raporunda bahsediliyor, tıpkı geleneksel bilgi işlemin bir ana bilgisayar ve istemciden bulut ve uç terminallerin bir kombinasyonuna dönüşmesi gibi. Aynı modda, terminal tarafında büyük bir modelin çalıştırılması, AI iş yüklerinin bulut ve uç terminaller arasında dağıtılmasına ve koordine edilmesine** olanak tanıyan hibrit bir yapay zeka mimarisi gerektirir ve cep telefonu üreticilerinin uç terminallerin bilgi işlem gücünü kullanmasına olanak tanır. maliyetleri azaltmak için. Büyük modellerin yerel olarak dağıtılabilmesi bu maliyet değerlendirmesinin dışındadır.

Ayrıca herkesin kişisel eşyası olan cep telefonu verinin üretildiği yerdir ve büyük miktarda özel veri de yerel olarak saklanmaktadır.Lokal dağıtım gerçekleştirilebilirse, güvenlik ve mahremiyet açısından bireyler için koruma sağlayacaktır. .

Bu da ikinci sorunu gündeme getiriyor: Büyük modelleri çalıştırmak için uçtan uca daha fazla yetenek kullanmak istiyorsanız, cep telefonunun güç tüketimini nasıl çok düşük hale getirebilir ve aynı zamanda modeli daha etkili hale getirebilirsiniz?

Qualcomm bir keresinde, büyük modelleri cep telefonları gibi yerel cihazlara dağıtma konusundaki kilit yeteneğin, Qualcomm'un Qualcomm AI Model Enhancement Toolkit (AIMET), Qualcomm AI Engine ve aşağıdakiler gibi Qualcomm ile İlgili teknolojiler dahil olmak üzere donanım ve yazılımın tam kapsamlı AI optimizasyonunda yattığını belirtmişti. AI yazılım yığını, model hacmini sıkıştırabilir, muhakemeyi hızlandırabilir ve çalışma zamanı gecikmesini ve güç tüketimini azaltabilir. Qualcomm'un küresel başkan yardımcısı ve Qualcomm AI araştırmasının başkanı Hou Jilei, bir keresinde Qualcomm'un yüksek verimli AI araştırma ve geliştirmesinin önemli bir bölümünün genel model verimliliği araştırması olduğundan bahsetmişti.Amaç, AI modelini birden fazla yönde azaltmaktır. böylece donanım üzerinde verimli bir şekilde çalışabilir. .

Tek model sıkıştırma küçük bir zorluk değildir. Bazı model sıkıştırma, büyük modellerin performansında kayba neden olur ve bazı teknik yöntemlerle kayıpsız sıkıştırma elde edilebilir, bunların tümü çeşitli araçlar yardımıyla farklı yönlerde mühendislik denemeleri gerektirir.

Bu önemli yazılım ve donanım yetenekleri, cep telefonu üreticileri için büyük bir zorluktur. Günümüzde pek çok cep telefonu üreticisi büyük modelleri cep telefonlarında çalıştırmak için ilk adımı attı. Daha sonra, her cep telefonuna düşen daha büyük bir modelin daha ekonomik ve verimli bir şekilde nasıl yapılacağı daha zor ve daha kritik bir adımdır.

Macera yeni başladı.