Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Kendi geliştirdiği üçüncü nesil ayaklı model ChatGLM3 bugün piyasaya sürüldü!
Bu, Haziran ayında ikinci nesil modelin piyasaya sürülmesinden bu yana Zhipu AI ekibi tarafından ChatGLM temel modelinin bir başka optimizasyonudur.
Buna ek olarak, 27 Ekim'deki 2023 Çin Bilgisayar Konferansı'nda (CNCC) Zhipu AI, ChatGLM3-6B (32k), multimodal CogVLM-17B ve ajan AgentLM'yi de açık kaynaklı hale getirdi.
ChatGLM3 serisi modellerin piyasaya sürülmesinden sonra Zhipu, Çin'de OpenAI'nin tam model ürün serisini kıyaslayan tek şirket oldu.
Üretken yapay zeka asistanı Zhipu Qingyan, Çin'de kod etkileşimi yeteneklerine sahip ilk büyük ölçekli model ürün oldu.
Model, daha güçlü performans ve daha açık kaynaklı bir ekosistem ile yerli çiplere uyum sağlayarak tamamen kendi kendini geliştirdi.
Büyük ölçekli model araştırmasına giren ilk şirket olan Zhipu AI, makaleyi ilk gönderen şirket oldu!
Ayrıca, Zhipu AI bu yıl toplam 2,5 milyar yuan'dan fazla finansman sağladı, Meituan, Ant, Alibaba, Tencent... Lüks yatırımcı listesinin tümü, endüstrinin Zhipu AI'ya olan güçlü güvenini gösteriyor.
GPT-4V'nin teknik yükseltmesini hedefliyor
Şu anda, çok modlu vizyon modeli GPT-4V, güçlü görüntü tanıma yetenekleri göstermiştir.
Aynı zamanda GPT-4V'yi hedefleyen Zhipu AI, bu sefer ChatGLM3'ün diğer yeteneklerini de yinelemeli olarak yükseltti. Bunlar arasında, çok modlu anlama modeli CogVLM, 10+ uluslararası standart grafik ve metin değerlendirme veri kümesi SOTA'yı anlamaya ve yenilemeye çalışabilir. Şu anda, CogVLM-17B açık kaynaklıdır.
Kod Yorumlayıcı, veri analizi ve dosya işleme gibi karmaşık görevleri otomatik olarak tamamlayarak kullanıcı ihtiyaçlarına göre kod üretebilir ve yürütebilir.
Web araması, soruya göre İnternet'teki ilgili bilgileri otomatik olarak bulabilen ve yanıtlarken ilgili literatüre veya makalelere referans veren bağlantılar sağlayan WebGLM'yi geliştirir.
Ek olarak, ChatGLM3'ün anlamsal ve mantıksal yetenekleri de büyük ölçüde geliştirildi.
Sürüm 6B Doğrudan Açık Kaynak
ChatGLM3 piyasaya sürüldükten sonra, Zhipu AI'nın 6B parametre modelini doğrudan topluluğa açık kaynaklı hale getirdiğini belirtmekte fayda var.
Değerlendirme sonuçları, ChatGLM 2 ile karşılaştırıldığında ve aynı boyuttaki yerli modellerle karşılaştırıldığında, ChatGLM3-6B'nin 44 Çince ve İngilizce genel veri seti testinin 9'unda ilk sırada yer aldığını gösteriyor.
MMLU %36, C %33, GSM8K %179 ve BBH %126 arttı.
Açık kaynaklı 32k sürümü ChatGLM3-6B-32K, LongBench'te en iyi performansı gösterir.
Ayrıca, mevcut çıkarım çerçevesini aynı donanım ve model koşulları altında daha verimli hale getiren en son "verimli dinamik çıkarım + video belleği optimizasyon teknolojisi" dir.
Berkeley Üniversitesi tarafından başlatılan vLLM ve Hugging Face TGI'nin en son sürümü ile karşılaştırıldığında, mevcut en iyi açık kaynak uygulamasıyla karşılaştırıldığında, çıkarım hızı 2-3 kat artar ve çıkarım maliyeti 1 kat azalır, en düşük maliyet olan bin jeton başına sadece 0,5 puan.
Kendi geliştirdiği AgentTuning, temsilci yeteneği aktivasyonu
Daha da şaşırtıcı olan şey, ChatGLM3'ün yeni bir ajan yeteneği de getirmesi.
Zhipu AI, büyük modellerin API'ler aracılığıyla harici araçlarla daha iyi iletişim kurabilmesini ve hatta aracılar aracılığıyla büyük model etkileşimi gerçekleştirebilmesini umuyor.
Kendi geliştirdiği AgentTuning teknolojisini entegre ederek, modelin akıllı ajan yeteneği, özellikle ChatGLM 2'den %1000 daha yüksek olan akıllı planlama ve yürütme açısından etkinleştirilebilir.
En son AgentBench'te ChatGLM3-turbo, GPT-3.5'e yakındır.
Aynı zamanda, AgentLM açık kaynak topluluğuna da açıktır. Zhipu AI ekibinin umduğu şey, açık kaynak modelinin kapalı kaynak modelinin aracı kapasitesine ulaşmasını ve hatta aşmasını sağlamaktır.
Bu, aracının "araç çağırma, kod yürütme, oyunlar, veritabanı işlemleri, bilgi grafiği arama ve çıkarım ve işletim sistemleri" gibi karmaşık senaryolar için yerel büyük modellerin yerel desteğini etkinleştireceği anlamına gelir.
1.5B/3B aynı anda piyasaya sürüldü, cep telefonu çalışabilir
Telefonunuzda ChatGLM özelliğini çalıştırmak ister misiniz? TAMAM!
Bu sefer ChatGLM3, 1.5B ve 3B olmak üzere iki parametreyle cep telefonlarına dağıtılabilen bir terminal test modeli de başlattı.
Vivo, Xiaomi, Samsung ve araç içi platformlar dahil olmak üzere çeşitli cep telefonlarını destekleyebilir ve hatta 20 jeton/sn'ye kadar hızla mobil platformlarda CPU çiplerinin çıkarımını destekler.
Doğruluk açısından, 1.5B ve 3B modellerinin performansı, halka açık kıyaslama değerlendirmesinde ChatGLM2-6B modelininkine yakındır, bu yüzden devam edin ve deneyin!
Yeni nesil "Zhipu Qingyan" tamamen piyasaya sürüldü
ChatGPT'nin arkasında güçlü bir GPT-4 modeli olduğu gibi, Zhipu AI ekibinin üretken yapay zeka asistanı "Zhipu Qingyan" da ChatGLM3 tarafından kutsanmıştır.
Bu ekibin canlı yayın gösteriminden sonra, işlev doğrudan başlatıldı ve asıl şey bir samimiyet!
Test adresi:
Kod Yorumlayıcısı
ChatGPT'nin en popüler eklentilerinden biri olan Gelişmiş Veri Analizi (eski adıyla Code Interpreter), doğal dil girdisine dayalı daha matematiksel düşünme ile sorunları analiz edebilir ve aynı zamanda uygun kod üretebilir.
Şimdi, yeni yükseltilen ChatGLM3'ün desteğiyle, "Zhipu Qingyan", Çin'de görüntü işleme, matematiksel hesaplama, veri analizi ve diğer kullanım senaryolarını destekleyebilen Gelişmiş Veri Analizi yeteneklerine sahip ilk büyük ölçekli model ürün haline geldi.
Bilim ve mühendislik adamlarının romantizmi sadece "Zhipu Qingyan" tarafından anlaşılabilir.
CEO Zhang Peng, "kırmızı kalp" devrilmesini sağlamak için canlı bir performans sergilese de, tekrar deneyin ve sonuç saniyeler içinde çıktı.
Benzer şekilde, yükseltilmiş ChatGLM3 de veri analizinde çok iyidir.
Bazı analizlerden sonra, alanın uzunluğuna bağlı olarak uzunluk dağılımının bir histogramı çizilebilir.
### Arama Geliştirmeleri
WebGLM büyük model yeteneklerinin eklenmesiyle, "Zhipu Qingyan" artık gelişmiş arama yeteneğine de sahip - İnternet'teki en son bilgilere dayanarak soruların cevaplarını özetleyebilir ve referans bağlantıları ekleyebilir.
Örneğin, iPhone 15 son zamanlarda bir fiyat indirimi dalgası başlattı, belirli dalgalanma ne kadar büyük?
"Zhipu Qingyan" tarafından verilen cevap fena değil!
### Grafik Anlayışı
CogVLM modeli, Zhipu Qingyan'ın Çince görüntü ve metin anlama yeteneğini geliştirir ve GPT-4V'ye yakın resim anlama yeteneği elde eder.
Çeşitli görsel soruları yanıtlayabilir ve karmaşık nesne algılama, etiketleme ve tam otomatik veri açıklamasını tamamlayabilir.
Örnek olarak, CogVLM'nin resimde kaç kişi olduğunu belirlemesine izin verin.
Biraz zorluk ekleyin ve ardından birlikte üç portakalın resmini verin ve miktarı da doğru bir şekilde tanımlayabilirsiniz.
Neymar, Messi, Ronaldo, CogVLM de açık.
2 elma ve 1 elmanın eklendiği görsel matematik problemleri için CogVLM de bunu doğru yapabilir.
**GLM vs GPT: OpenAI'nin tüm ürün yelpazesini kıyaslama! **
Bir sohbet ve sohbet uygulaması olan ChatGPT'den, bir kod oluşturma eklentisi olan Code Interpreter'dan DALL· E 3 ve ardından görsel çok modlu model GPT-4V'ye, OpenAI şu anda eksiksiz bir ürün mimarisi setine sahiptir.
Çin'e baktığımızda, en kapsamlı ürün kapsamını elde edebilen tek şirket Zhipu AI'dır.
### Konuşma: ChatGPT ve SohbetGLM
Popüler kızarmış tavuk ChatGPT'nin tanıtımı hakkında daha fazla şey söylemeye gerek yok.
Bu yılın başında Zhipu AI ekibi, 100 milyar seviyeli bir diyalog modeli olan ChatGLM'yi de piyasaya sürdü.
ChatGPT'nin tasarım fikirlerinden yararlanan geliştiriciler, 100 milyar temel model GLM-130B'ye kod ön eğitimi enjekte etti.
Aslında, 2022 gibi erken bir tarihte Zhipu AI, GLM-130B'yi araştırma topluluğuna ve endüstriye açtı ve bu araştırma ACL 2022 ve ICLR 2023 tarafından da kabul edildi.
Hem ChatGLM-6B hem de ChatGLM-130B modelleri, denetimli ince ayar (SFT), geri bildirim önyüklemesi ve insan geri bildirimi pekiştirmeli öğrenme (RLHF) kullanılarak 1T belirteçleri içeren Çince ve İngilizce derlemler üzerinde eğitildi.
ChatGLM modeli, insan tercihlerine uygun yanıtlar üretme yeteneğine sahiptir. Kuantizasyon teknolojisi ile birleştiğinde, kullanıcılar tüketici sınıfı grafik kartlarına yerel olarak dağıtabilir (INT4 niceleme düzeyinde yalnızca 6 GB video belleği gerekir) ve GLM modeline dayalı dizüstü bilgisayarlarda kendi ChatGLM'lerini çalıştırabilir.
14 Mart'ta Zhipu AI, ChatGLM-6B'yi topluluğa açık kaynaklı hale getirdi ve Çince doğal dili, Çince diyalog, Çince Soru-Cevap ve akıl yürütme görevlerinin üçüncü taraf değerlendirmesinde birinciliği kazandı.
Aynı zamanda, ChatGLM-6B'ye dayalı yüzlerce proje veya uygulama doğdu.
Büyük model açık kaynak topluluğunun gelişimini daha da teşvik etmek için Zhipu AI, Haziran ayında ChatGLM2'yi piyasaya sürdü ve 100 milyar temel diyalog modeli, 6B, 12B, 32B, 66B ve 130B farklı boyutlar dahil olmak üzere yükseltildi ve açık kaynaklı hale getirildi, yetenekler geliştirildi ve senaryolar zenginleştirildi.
ChatGLM 2, 25 Haziran 2023 itibariyle Çin listesinde ilk sırada yer alırken, ChatGLM2 C listesinde 0. sırada ve ChatGLM2-6B 6. sırada yer alıyor. Birinci nesil modelle karşılaştırıldığında ChatGLM 2, MMLU, C- ve GSM8K'da sırasıyla %16, %36 ve %280 iyileştirme elde etti.
Sadece birkaç ay içinde ChatGLM-6B ve ChatGLM2-6B'nin yaygın olarak kullanıldığını belirtmekte fayda var.
Şu anda GitHub'da toplam 50.000+ yıldız toplandı. Buna ek olarak, Hugging Face'de 10.000.000+ indirme var ve dört haftalık trendde ilk sırada yer alıyor.
SohbetGLM-6B:
ChatGLM2-6B:
Arama Geliştirmeleri: WebGPT ve WebGLM
Büyük modellerin "yanılsama" sorununu çözmek için genel çözüm, arama motorundaki bilgileri birleştirmek ve büyük modelin "geri alma geliştirmesi" yapmasına izin vermektir.
OpenAI, 2021 gibi erken bir tarihte, GPT-3 - WebGPT'ye dayalı olarak arama sonuçlarını toplayabilen bir modele ince ayar yaptı.
WebGPT, insan arama davranışını modeller, ilgili yanıtları bulmak için web sayfalarında arama yapar ve çıktı sonuçlarının izlenebilmesi için alıntı kaynakları verir.
En önemlisi, açık alan uzun Soru-Cevap'ta mükemmel sonuçlar elde etti.
Bu fikrin rehberliğinde, ChatGLM'nin 10 milyar parametre ince ayarına dayanan bir model olan ve ana odak noktası ağ araması olan ChatGLM'nin "ağ tabanlı sürüm" modeli olan WebGLM doğdu.
Adres:
Örneğin, gökyüzünün neden mavi olduğunu bilmek istediğinizde. WebGLM, cevabı hemen çevrimiçi olarak verir ve modelin yanıtının güvenilirliğini artırmak için bir bağlantı içerir.
Mimari olarak, WebGLM arama geliştirme sistemi üç önemli bileşen içerir: bir av köpeği, bir jeneratör ve bir puanlayıcı.
LLM tabanlı alıcı, biri kaba taneli ağ alımı (arama, edinme, çıkarma) ve diğeri ince taneli damıtma alımı olmak üzere iki aşamaya ayrılmıştır.
Retriever'ın tüm sürecinde, zaman esas olarak web sayfasını getirme sürecinde tüketilir, bu nedenle WebGLM, verimliliği artırmak için paralel asenkron teknolojiyi kullanır.
Önyükleme oluşturucu çekirdektir ve retriever'dan elde edilen referans sayfalarından sorulara yüksek kaliteli yanıtlar üretmekten sorumludur.
Yüksek kaliteli QA veri kümeleri oluşturmak için büyük modellerin bağlamsal çıkarım özelliklerini kullanır ve eğitim için yüksek kaliteli alt kümeleri filtrelemek için düzeltme ve seçim stratejileri tasarlar.
Nihai değerlendirici, insan tercihleriyle uyumlu hale getirmek için WebGLM tarafından oluşturulan yanıtları RLHF aracılığıyla puanlamak için kullanılır.
Deneysel sonuçlar, WebGLM'nin daha doğru sonuçlar sağlayabileceğini ve Soru-Cevap görevlerini verimli bir şekilde tamamlayabileceğini göstermektedir. Hatta 10 milyar parametrelik bir performansla 175 milyar parametreli WebGPT'ye yaklaşabilir.
Şu anda, bu araştırma KDD 2023 tarafından kabul edildi ve Zhipu AI ekibi de yetenekleri ve veri kümelerini açık kaynaklı hale getirdi.
Proje Adresi:
Görüntü ve metin anlama: GPT-4V ve CogVLM
Bu yılın Eylül ayında OpenAI, GPT-4'ün inanılmaz çok modlu yetenekleri üzerindeki yasağı resmen kaldırdı.
Bununla desteklenen GPT-4V, görüntüleri anlama konusunda güçlü bir yeteneğe sahiptir ve keyfi olarak karıştırılmış çok modlu girdileri işleyebilir.
Örneğin, resimdeki yemeğin mapo tofu olduğunu söyleyemez ve hatta onu yapmak için gerekli malzemeleri bile verebilir.
Ekim ayında Zhipu, herhangi bir NLP görevinin performansından ödün vermeden görsel dil özelliklerinin derin entegrasyonunu gerçekleştirebilen yeni bir görsel dil temel modeli olan CogVLM'yi açık kaynaklı hale getirdi.
Yaygın sığ füzyon yöntemlerinden farklı olarak CogVLM, dikkat mekanizmasına ve ileri beslemeli sinir ağı katmanına eğitilebilir bir görme uzmanı modülü içerir.
Bu tasarım, görüntü ve metin özellikleri arasında derin bir uyum sağlayarak önceden eğitilmiş dil modeli ile görüntü kodlayıcı arasındaki farkları etkili bir şekilde telafi eder.
Şu anda, CogVLM-17B, çok modlu yetkili akademik listede ilk kapsamlı puana sahip modeldir ve 14 veri setinde SOTA veya ikinci sırada yer almıştır.
NoCaps, Flicker30k altyazı, RefCOCO, RefCOCO+, RefCOCOg, Visual7W, GQA, ScienceQA, VizWiz-VQA ve TDIUC dahil olmak üzere 10 yetkili çapraz modal kıyaslamada en iyi (SOTA) performansı elde eder.
CogVLM'nin temel fikri "önce görsel"dir.
Önceki çok modlu modeller genellikle görüntü özelliklerini doğrudan metin özelliklerinin giriş alanına hizalar ve görüntü özelliklerinin kodlayıcısı genellikle küçüktür, bu durumda görüntü metnin bir "vassalı" olarak kabul edilebilir ve etki doğal olarak sınırlıdır.
Öte yandan CogVLM, metnin 7B parametre miktarından bile daha fazla olan toplam 11B parametreli görüntü özelliklerini modellemek için 5B parametreli bir görüntü kodlayıcı ve 6B parametreli bir görüntü uzmanı modülü kullanarak çok modlu modelde görsel anlayışa öncelik verir.
Bazı testlerde CogVLM, GPT-4V'den bile daha iyi performans gösterdi.
Resimde 4 ev var, 3'ü tamamen görünüyor ve 1'i sadece yakınlaştırırsanız görülebiliyor.
CogVLM bu 4 evi doğru bir şekilde tanımlayabilirken, GPT-4V yalnızca 3'ünü tanımlayabilir.
Bu soruda metinli resimler test edilmiştir.
CogVLM, sahneyi ve ilgili metni aslına uygun olarak tanımlar.
### Wensheng Diyagramı: DALL· E ve E Dişli Görünüm
OpenAI'nin en güçlü Wensheng grafik modeli DALL· E 3 de.
Buna karşılık, Zhipu AI ekibi, Transformer tabanlı metinden görüntüye evrensel önceden eğitilmiş bir model olan CogView'ı piyasaya sürdü.
Adres:
CogView'ın genel fikri, metin özelliklerini ve görüntü belirteci özelliklerini birleştirerek otoregresif eğitim gerçekleştirmektir. Son olarak, yalnızca metin belirteci özelliği girilir ve model sürekli olarak görüntü belirteçleri oluşturabilir.
Özellikle, "Sevimli bir yavru kedinin avatarı" metni önce bir jetona dönüştürülür ve burada SentencePiece modeli kullanılır.
Daha sonra bir kedinin görüntüsü beslenir ve görüntü kısmı ayrı bir otomatik kod çözücü aracılığıyla bir jetona dönüştürülür.
Ardından, metin ve görüntü belirteci özellikleri bir araya getirilir ve ardından görüntü oluşturmayı öğrenmek için Transformer mimarisinin GPT modeline girilir.
Son olarak, eğitim tamamlandıktan sonra model, metinden görüntüye oluşturma görevi sırasında en eşleşen sonuçları seçmek için bir Altyazı Puanı hesaplayarak oluşturulan sonuçları sıralayacaktır.
DALL'ın Karşılaştırılması· E ve ortak GAN şemaları, CogView'in sonuçları büyük ölçüde iyileştirildi.
2022'de araştırmacılar, Wensheng grafik modeli CogView2'yi tekrar yükseltti ve etki doğrudan DALL· E2。
Adres:
CogView ile karşılaştırıldığında, CogView2'nin mimarisi, görüntü üretimi için hiyerarşik transfomer ve paralel otoregresif modu benimser.
Makalede, araştırmacılar 6 milyar parametreli bir Transformatör modeli olan Cross-Modal General Language Model'i (CogLM) önceden eğittiler ve hızlı süper çözünürlük elde etmek için ince ayar yaptılar.
DENEYSEL SONUÇLAR, DALL ILE ILIŞKININ · E2 ayrıca CogView2 ile sonuç üretme avantajına sahiptir ve ayrıca görüntülerin etkileşimli metin kılavuzlu düzenlemesini de destekleyebilir.
Aynı yılın Kasım ayında ekip, CogView2 modelini temel alan bir metinden videoya oluşturma modeli olan CogVideo'yu oluşturdu.
Model mimarisi iki modüle ayrılmıştır: ilk bölüm CogView2'yi temel alır ve metinden birkaç görüntü karesi oluşturur. İkinci bölüm, daha yüksek kare hızına sahip eksiksiz bir video oluşturmak için görüntüyü iki yönlü dikkat modeline dayalı olarak enterpolasyon yapmaktır.
Şu anda, yukarıdaki modellerin tümü açık kaynak kodludur. Tsinghua'dan gelen ekipler bu kadar doğrudan ve samimi mi?
Kod: Codex vs. CodeGeeX
Kod oluşturma alanında OpenAI, Ağustos 2021 gibi erken bir tarihte yeni ve yükseltilmiş bir Codex yayınladı ve Python, Java, Go, Perl, PHP, Ruby, Swift, Type ve hatta Shell dahil olmak üzere 10'dan fazla programlama dilinde uzmandır.
Adres:
Kullanıcılar basit bir istem verebilir ve Codex'in otomatik olarak doğal dilde kod yazmasını sağlayabilir.
Codex, GPT-3 üzerinde eğitilmiştir ve veriler milyarlarca satır kaynak kodu içerir. Ayrıca Codex, GPT-3'ten 3 kat daha uzun bağlamsal bilgileri destekleyebilir.
Çin'de öncü olan Zhipu, Eylül 2022'de 13 milyar parametreli çoklu programlama dillerinin kod üretimi, çevirisi ve yorumlanması için önceden eğitilmiş bir model olan CodeGeeX'i açık kaynaklı hale getirdi ve daha sonra KDD 2023 (Long Beach) tarafından kabul edildi.
Adres:
Temmuz 2023'te Zhipu, 100'den fazla dili destekleyebilen daha güçlü, daha hızlı ve daha hafif bir CodeGeeX2-6B'yi piyasaya sürdü ve ağırlığı tamamen akademik araştırmalara açık.
Proje Adresi:
CodeGeeX2, yeni ChatGLM2 mimarisini temel alır ve otomatik kod tamamlama, kod oluşturma, kod çevirisi, dosyalar arası kod tamamlama ve daha fazlası gibi programlamayla ilgili çeşitli görevler için optimize edilmiştir.
ChatGLM2'nin yükseltilmesi sayesinde, CodeGeeX2 yalnızca Çince ve İngilizce girişin yanı sıra maksimum 8192 dizi uzunluğunu daha iyi desteklemekle kalmaz, aynı zamanda çeşitli performans göstergelerini de büyük ölçüde iyileştirir - Python +%57, C++ +%71, Java +%54, Java +%83, Go +%56, Rust +%321.
İnsan incelemesinde CodeGeeX2, 15 milyar parametreli StarCoder modelini ve OpenAI'nin Code-Cushman-001 modelini (GitHub Copilot tarafından kullanılan model) kapsamlı bir şekilde aştı.
Ek olarak, CodeGeeX2'nin çıkarım hızı, nicelemeden sonra çalışması için yalnızca 6 GB video belleğine ihtiyaç duyan ve hafif yerelleştirilmiş dağıtımı destekleyen birinci nesil CodeGeeX-13B'den daha hızlıdır.
Şu anda CodeGeeX eklentisi VS Code, IntelliJ IDEA, PyCharm, GoLand, WebStorm ve Android Studio gibi ana akım IDE'lerde indirilebilir ve deneyimlenebilir.
Yerli büyük model tamamen kendi kendini geliştirmiştir
Konferansta, Zhipu AI CEO'su Zhang Peng, başlangıçta kendi fikrini ortaya koydu - büyük modelin ilk yılı, ChatGPT'nin LLM patlamasını tetiklediği yıl değil, GPT-3'ün doğduğu 2020'deydi.
O zamanlar, bir yıldır yeni kurulmuş olan Zhipu AI, tüm şirketin gücünü büyük modellerde HEPSİ için kullanmaya başladı.
Büyük ölçekli model araştırmasına giren ilk şirketlerden biri olan Zhipu AI, yeterli kurumsal hizmet yetenekleri biriktirdi; Açık kaynakta "yengeç yiyen ilk şirketlerden" biri olan ChatGLM-6B, lansmanından sonraki dört hafta içinde Hugging face trend listesinin zirvesine yerleşti ve GitHub'da 5w+ yıldız kazandı.
ChatGLM3'ün piyasaya sürülmesi, Zhipu AI'nın oluşturduğu tam model ürün serisini daha güçlü hale getiriyor.
Büyük model endüstrisinde savaşın şiddetlendiği 2023'te, Zhipu AI bir kez daha ilgi odağı oluyor ve yeni yükseltilen ChatGLM3 ile ilk hamle avantajını ele geçiriyor.
Kaynaklar:
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Tsinghua Departmanı ChatGLM3 canlı yüz gösterimi! Multimodalite GPT-4V'ye yakın ve yerli Kod Yorumlayıcısı geliyor
Orijinal kaynak: Yeni Zhiyuan
Kendi geliştirdiği üçüncü nesil ayaklı model ChatGLM3 bugün piyasaya sürüldü!
Bu, Haziran ayında ikinci nesil modelin piyasaya sürülmesinden bu yana Zhipu AI ekibi tarafından ChatGLM temel modelinin bir başka optimizasyonudur.
Buna ek olarak, 27 Ekim'deki 2023 Çin Bilgisayar Konferansı'nda (CNCC) Zhipu AI, ChatGLM3-6B (32k), multimodal CogVLM-17B ve ajan AgentLM'yi de açık kaynaklı hale getirdi.
ChatGLM3 serisi modellerin piyasaya sürülmesinden sonra Zhipu, Çin'de OpenAI'nin tam model ürün serisini kıyaslayan tek şirket oldu.
Model, daha güçlü performans ve daha açık kaynaklı bir ekosistem ile yerli çiplere uyum sağlayarak tamamen kendi kendini geliştirdi.
Büyük ölçekli model araştırmasına giren ilk şirket olan Zhipu AI, makaleyi ilk gönderen şirket oldu!
Ayrıca, Zhipu AI bu yıl toplam 2,5 milyar yuan'dan fazla finansman sağladı, Meituan, Ant, Alibaba, Tencent... Lüks yatırımcı listesinin tümü, endüstrinin Zhipu AI'ya olan güçlü güvenini gösteriyor.
GPT-4V'nin teknik yükseltmesini hedefliyor
Şu anda, çok modlu vizyon modeli GPT-4V, güçlü görüntü tanıma yetenekleri göstermiştir.
Aynı zamanda GPT-4V'yi hedefleyen Zhipu AI, bu sefer ChatGLM3'ün diğer yeteneklerini de yinelemeli olarak yükseltti. Bunlar arasında, çok modlu anlama modeli CogVLM, 10+ uluslararası standart grafik ve metin değerlendirme veri kümesi SOTA'yı anlamaya ve yenilemeye çalışabilir. Şu anda, CogVLM-17B açık kaynaklıdır.
Kod Yorumlayıcı, veri analizi ve dosya işleme gibi karmaşık görevleri otomatik olarak tamamlayarak kullanıcı ihtiyaçlarına göre kod üretebilir ve yürütebilir.
Web araması, soruya göre İnternet'teki ilgili bilgileri otomatik olarak bulabilen ve yanıtlarken ilgili literatüre veya makalelere referans veren bağlantılar sağlayan WebGLM'yi geliştirir.
Ek olarak, ChatGLM3'ün anlamsal ve mantıksal yetenekleri de büyük ölçüde geliştirildi.
Sürüm 6B Doğrudan Açık Kaynak
ChatGLM3 piyasaya sürüldükten sonra, Zhipu AI'nın 6B parametre modelini doğrudan topluluğa açık kaynaklı hale getirdiğini belirtmekte fayda var.
Değerlendirme sonuçları, ChatGLM 2 ile karşılaştırıldığında ve aynı boyuttaki yerli modellerle karşılaştırıldığında, ChatGLM3-6B'nin 44 Çince ve İngilizce genel veri seti testinin 9'unda ilk sırada yer aldığını gösteriyor.
MMLU %36, C %33, GSM8K %179 ve BBH %126 arttı.
Açık kaynaklı 32k sürümü ChatGLM3-6B-32K, LongBench'te en iyi performansı gösterir.
Ayrıca, mevcut çıkarım çerçevesini aynı donanım ve model koşulları altında daha verimli hale getiren en son "verimli dinamik çıkarım + video belleği optimizasyon teknolojisi" dir.
Berkeley Üniversitesi tarafından başlatılan vLLM ve Hugging Face TGI'nin en son sürümü ile karşılaştırıldığında, mevcut en iyi açık kaynak uygulamasıyla karşılaştırıldığında, çıkarım hızı 2-3 kat artar ve çıkarım maliyeti 1 kat azalır, en düşük maliyet olan bin jeton başına sadece 0,5 puan.
Kendi geliştirdiği AgentTuning, temsilci yeteneği aktivasyonu
Daha da şaşırtıcı olan şey, ChatGLM3'ün yeni bir ajan yeteneği de getirmesi.
Zhipu AI, büyük modellerin API'ler aracılığıyla harici araçlarla daha iyi iletişim kurabilmesini ve hatta aracılar aracılığıyla büyük model etkileşimi gerçekleştirebilmesini umuyor.
Kendi geliştirdiği AgentTuning teknolojisini entegre ederek, modelin akıllı ajan yeteneği, özellikle ChatGLM 2'den %1000 daha yüksek olan akıllı planlama ve yürütme açısından etkinleştirilebilir.
En son AgentBench'te ChatGLM3-turbo, GPT-3.5'e yakındır.
Aynı zamanda, AgentLM açık kaynak topluluğuna da açıktır. Zhipu AI ekibinin umduğu şey, açık kaynak modelinin kapalı kaynak modelinin aracı kapasitesine ulaşmasını ve hatta aşmasını sağlamaktır.
Bu, aracının "araç çağırma, kod yürütme, oyunlar, veritabanı işlemleri, bilgi grafiği arama ve çıkarım ve işletim sistemleri" gibi karmaşık senaryolar için yerel büyük modellerin yerel desteğini etkinleştireceği anlamına gelir.
1.5B/3B aynı anda piyasaya sürüldü, cep telefonu çalışabilir
Telefonunuzda ChatGLM özelliğini çalıştırmak ister misiniz? TAMAM!
Bu sefer ChatGLM3, 1.5B ve 3B olmak üzere iki parametreyle cep telefonlarına dağıtılabilen bir terminal test modeli de başlattı.
Vivo, Xiaomi, Samsung ve araç içi platformlar dahil olmak üzere çeşitli cep telefonlarını destekleyebilir ve hatta 20 jeton/sn'ye kadar hızla mobil platformlarda CPU çiplerinin çıkarımını destekler.
Doğruluk açısından, 1.5B ve 3B modellerinin performansı, halka açık kıyaslama değerlendirmesinde ChatGLM2-6B modelininkine yakındır, bu yüzden devam edin ve deneyin!
Yeni nesil "Zhipu Qingyan" tamamen piyasaya sürüldü
ChatGPT'nin arkasında güçlü bir GPT-4 modeli olduğu gibi, Zhipu AI ekibinin üretken yapay zeka asistanı "Zhipu Qingyan" da ChatGLM3 tarafından kutsanmıştır.
Bu ekibin canlı yayın gösteriminden sonra, işlev doğrudan başlatıldı ve asıl şey bir samimiyet!
Test adresi:
Kod Yorumlayıcısı
ChatGPT'nin en popüler eklentilerinden biri olan Gelişmiş Veri Analizi (eski adıyla Code Interpreter), doğal dil girdisine dayalı daha matematiksel düşünme ile sorunları analiz edebilir ve aynı zamanda uygun kod üretebilir.
Şimdi, yeni yükseltilen ChatGLM3'ün desteğiyle, "Zhipu Qingyan", Çin'de görüntü işleme, matematiksel hesaplama, veri analizi ve diğer kullanım senaryolarını destekleyebilen Gelişmiş Veri Analizi yeteneklerine sahip ilk büyük ölçekli model ürün haline geldi.
Bilim ve mühendislik adamlarının romantizmi sadece "Zhipu Qingyan" tarafından anlaşılabilir.
CEO Zhang Peng, "kırmızı kalp" devrilmesini sağlamak için canlı bir performans sergilese de, tekrar deneyin ve sonuç saniyeler içinde çıktı.
WebGLM büyük model yeteneklerinin eklenmesiyle, "Zhipu Qingyan" artık gelişmiş arama yeteneğine de sahip - İnternet'teki en son bilgilere dayanarak soruların cevaplarını özetleyebilir ve referans bağlantıları ekleyebilir.
Örneğin, iPhone 15 son zamanlarda bir fiyat indirimi dalgası başlattı, belirli dalgalanma ne kadar büyük?
"Zhipu Qingyan" tarafından verilen cevap fena değil!
CogVLM modeli, Zhipu Qingyan'ın Çince görüntü ve metin anlama yeteneğini geliştirir ve GPT-4V'ye yakın resim anlama yeteneği elde eder.
Çeşitli görsel soruları yanıtlayabilir ve karmaşık nesne algılama, etiketleme ve tam otomatik veri açıklamasını tamamlayabilir.
Örnek olarak, CogVLM'nin resimde kaç kişi olduğunu belirlemesine izin verin.
**GLM vs GPT: OpenAI'nin tüm ürün yelpazesini kıyaslama! **
Bir sohbet ve sohbet uygulaması olan ChatGPT'den, bir kod oluşturma eklentisi olan Code Interpreter'dan DALL· E 3 ve ardından görsel çok modlu model GPT-4V'ye, OpenAI şu anda eksiksiz bir ürün mimarisi setine sahiptir.
Çin'e baktığımızda, en kapsamlı ürün kapsamını elde edebilen tek şirket Zhipu AI'dır.
Popüler kızarmış tavuk ChatGPT'nin tanıtımı hakkında daha fazla şey söylemeye gerek yok.
Bu yılın başında Zhipu AI ekibi, 100 milyar seviyeli bir diyalog modeli olan ChatGLM'yi de piyasaya sürdü.
ChatGPT'nin tasarım fikirlerinden yararlanan geliştiriciler, 100 milyar temel model GLM-130B'ye kod ön eğitimi enjekte etti.
Aslında, 2022 gibi erken bir tarihte Zhipu AI, GLM-130B'yi araştırma topluluğuna ve endüstriye açtı ve bu araştırma ACL 2022 ve ICLR 2023 tarafından da kabul edildi.
Hem ChatGLM-6B hem de ChatGLM-130B modelleri, denetimli ince ayar (SFT), geri bildirim önyüklemesi ve insan geri bildirimi pekiştirmeli öğrenme (RLHF) kullanılarak 1T belirteçleri içeren Çince ve İngilizce derlemler üzerinde eğitildi.
14 Mart'ta Zhipu AI, ChatGLM-6B'yi topluluğa açık kaynaklı hale getirdi ve Çince doğal dili, Çince diyalog, Çince Soru-Cevap ve akıl yürütme görevlerinin üçüncü taraf değerlendirmesinde birinciliği kazandı.
Aynı zamanda, ChatGLM-6B'ye dayalı yüzlerce proje veya uygulama doğdu.
Büyük model açık kaynak topluluğunun gelişimini daha da teşvik etmek için Zhipu AI, Haziran ayında ChatGLM2'yi piyasaya sürdü ve 100 milyar temel diyalog modeli, 6B, 12B, 32B, 66B ve 130B farklı boyutlar dahil olmak üzere yükseltildi ve açık kaynaklı hale getirildi, yetenekler geliştirildi ve senaryolar zenginleştirildi.
Sadece birkaç ay içinde ChatGLM-6B ve ChatGLM2-6B'nin yaygın olarak kullanıldığını belirtmekte fayda var.
Şu anda GitHub'da toplam 50.000+ yıldız toplandı. Buna ek olarak, Hugging Face'de 10.000.000+ indirme var ve dört haftalık trendde ilk sırada yer alıyor.
Arama Geliştirmeleri: WebGPT ve WebGLM
Büyük modellerin "yanılsama" sorununu çözmek için genel çözüm, arama motorundaki bilgileri birleştirmek ve büyük modelin "geri alma geliştirmesi" yapmasına izin vermektir.
OpenAI, 2021 gibi erken bir tarihte, GPT-3 - WebGPT'ye dayalı olarak arama sonuçlarını toplayabilen bir modele ince ayar yaptı.
WebGPT, insan arama davranışını modeller, ilgili yanıtları bulmak için web sayfalarında arama yapar ve çıktı sonuçlarının izlenebilmesi için alıntı kaynakları verir.
En önemlisi, açık alan uzun Soru-Cevap'ta mükemmel sonuçlar elde etti.
Bu fikrin rehberliğinde, ChatGLM'nin 10 milyar parametre ince ayarına dayanan bir model olan ve ana odak noktası ağ araması olan ChatGLM'nin "ağ tabanlı sürüm" modeli olan WebGLM doğdu.
Örneğin, gökyüzünün neden mavi olduğunu bilmek istediğinizde. WebGLM, cevabı hemen çevrimiçi olarak verir ve modelin yanıtının güvenilirliğini artırmak için bir bağlantı içerir.
LLM tabanlı alıcı, biri kaba taneli ağ alımı (arama, edinme, çıkarma) ve diğeri ince taneli damıtma alımı olmak üzere iki aşamaya ayrılmıştır.
Retriever'ın tüm sürecinde, zaman esas olarak web sayfasını getirme sürecinde tüketilir, bu nedenle WebGLM, verimliliği artırmak için paralel asenkron teknolojiyi kullanır.
Önyükleme oluşturucu çekirdektir ve retriever'dan elde edilen referans sayfalarından sorulara yüksek kaliteli yanıtlar üretmekten sorumludur.
Yüksek kaliteli QA veri kümeleri oluşturmak için büyük modellerin bağlamsal çıkarım özelliklerini kullanır ve eğitim için yüksek kaliteli alt kümeleri filtrelemek için düzeltme ve seçim stratejileri tasarlar.
Deneysel sonuçlar, WebGLM'nin daha doğru sonuçlar sağlayabileceğini ve Soru-Cevap görevlerini verimli bir şekilde tamamlayabileceğini göstermektedir. Hatta 10 milyar parametrelik bir performansla 175 milyar parametreli WebGPT'ye yaklaşabilir.
Görüntü ve metin anlama: GPT-4V ve CogVLM
Bu yılın Eylül ayında OpenAI, GPT-4'ün inanılmaz çok modlu yetenekleri üzerindeki yasağı resmen kaldırdı.
Bununla desteklenen GPT-4V, görüntüleri anlama konusunda güçlü bir yeteneğe sahiptir ve keyfi olarak karıştırılmış çok modlu girdileri işleyebilir.
Örneğin, resimdeki yemeğin mapo tofu olduğunu söyleyemez ve hatta onu yapmak için gerekli malzemeleri bile verebilir.
Yaygın sığ füzyon yöntemlerinden farklı olarak CogVLM, dikkat mekanizmasına ve ileri beslemeli sinir ağı katmanına eğitilebilir bir görme uzmanı modülü içerir.
Bu tasarım, görüntü ve metin özellikleri arasında derin bir uyum sağlayarak önceden eğitilmiş dil modeli ile görüntü kodlayıcı arasındaki farkları etkili bir şekilde telafi eder.
Şu anda, CogVLM-17B, çok modlu yetkili akademik listede ilk kapsamlı puana sahip modeldir ve 14 veri setinde SOTA veya ikinci sırada yer almıştır.
NoCaps, Flicker30k altyazı, RefCOCO, RefCOCO+, RefCOCOg, Visual7W, GQA, ScienceQA, VizWiz-VQA ve TDIUC dahil olmak üzere 10 yetkili çapraz modal kıyaslamada en iyi (SOTA) performansı elde eder.
Önceki çok modlu modeller genellikle görüntü özelliklerini doğrudan metin özelliklerinin giriş alanına hizalar ve görüntü özelliklerinin kodlayıcısı genellikle küçüktür, bu durumda görüntü metnin bir "vassalı" olarak kabul edilebilir ve etki doğal olarak sınırlıdır.
Öte yandan CogVLM, metnin 7B parametre miktarından bile daha fazla olan toplam 11B parametreli görüntü özelliklerini modellemek için 5B parametreli bir görüntü kodlayıcı ve 6B parametreli bir görüntü uzmanı modülü kullanarak çok modlu modelde görsel anlayışa öncelik verir.
Bazı testlerde CogVLM, GPT-4V'den bile daha iyi performans gösterdi.
CogVLM bu 4 evi doğru bir şekilde tanımlayabilirken, GPT-4V yalnızca 3'ünü tanımlayabilir.
Bu soruda metinli resimler test edilmiştir.
OpenAI'nin en güçlü Wensheng grafik modeli DALL· E 3 de.
CogView'ın genel fikri, metin özelliklerini ve görüntü belirteci özelliklerini birleştirerek otoregresif eğitim gerçekleştirmektir. Son olarak, yalnızca metin belirteci özelliği girilir ve model sürekli olarak görüntü belirteçleri oluşturabilir.
Özellikle, "Sevimli bir yavru kedinin avatarı" metni önce bir jetona dönüştürülür ve burada SentencePiece modeli kullanılır.
Daha sonra bir kedinin görüntüsü beslenir ve görüntü kısmı ayrı bir otomatik kod çözücü aracılığıyla bir jetona dönüştürülür.
Ardından, metin ve görüntü belirteci özellikleri bir araya getirilir ve ardından görüntü oluşturmayı öğrenmek için Transformer mimarisinin GPT modeline girilir.
DALL'ın Karşılaştırılması· E ve ortak GAN şemaları, CogView'in sonuçları büyük ölçüde iyileştirildi.
2022'de araştırmacılar, Wensheng grafik modeli CogView2'yi tekrar yükseltti ve etki doğrudan DALL· E2。
CogView ile karşılaştırıldığında, CogView2'nin mimarisi, görüntü üretimi için hiyerarşik transfomer ve paralel otoregresif modu benimser.
Makalede, araştırmacılar 6 milyar parametreli bir Transformatör modeli olan Cross-Modal General Language Model'i (CogLM) önceden eğittiler ve hızlı süper çözünürlük elde etmek için ince ayar yaptılar.
Aynı yılın Kasım ayında ekip, CogView2 modelini temel alan bir metinden videoya oluşturma modeli olan CogVideo'yu oluşturdu.
Model mimarisi iki modüle ayrılmıştır: ilk bölüm CogView2'yi temel alır ve metinden birkaç görüntü karesi oluşturur. İkinci bölüm, daha yüksek kare hızına sahip eksiksiz bir video oluşturmak için görüntüyü iki yönlü dikkat modeline dayalı olarak enterpolasyon yapmaktır.
Kod: Codex vs. CodeGeeX
Kod oluşturma alanında OpenAI, Ağustos 2021 gibi erken bir tarihte yeni ve yükseltilmiş bir Codex yayınladı ve Python, Java, Go, Perl, PHP, Ruby, Swift, Type ve hatta Shell dahil olmak üzere 10'dan fazla programlama dilinde uzmandır.
Kullanıcılar basit bir istem verebilir ve Codex'in otomatik olarak doğal dilde kod yazmasını sağlayabilir.
Codex, GPT-3 üzerinde eğitilmiştir ve veriler milyarlarca satır kaynak kodu içerir. Ayrıca Codex, GPT-3'ten 3 kat daha uzun bağlamsal bilgileri destekleyebilir.
Temmuz 2023'te Zhipu, 100'den fazla dili destekleyebilen daha güçlü, daha hızlı ve daha hafif bir CodeGeeX2-6B'yi piyasaya sürdü ve ağırlığı tamamen akademik araştırmalara açık.
CodeGeeX2, yeni ChatGLM2 mimarisini temel alır ve otomatik kod tamamlama, kod oluşturma, kod çevirisi, dosyalar arası kod tamamlama ve daha fazlası gibi programlamayla ilgili çeşitli görevler için optimize edilmiştir.
ChatGLM2'nin yükseltilmesi sayesinde, CodeGeeX2 yalnızca Çince ve İngilizce girişin yanı sıra maksimum 8192 dizi uzunluğunu daha iyi desteklemekle kalmaz, aynı zamanda çeşitli performans göstergelerini de büyük ölçüde iyileştirir - Python +%57, C++ +%71, Java +%54, Java +%83, Go +%56, Rust +%321.
İnsan incelemesinde CodeGeeX2, 15 milyar parametreli StarCoder modelini ve OpenAI'nin Code-Cushman-001 modelini (GitHub Copilot tarafından kullanılan model) kapsamlı bir şekilde aştı.
Ek olarak, CodeGeeX2'nin çıkarım hızı, nicelemeden sonra çalışması için yalnızca 6 GB video belleğine ihtiyaç duyan ve hafif yerelleştirilmiş dağıtımı destekleyen birinci nesil CodeGeeX-13B'den daha hızlıdır.
Şu anda CodeGeeX eklentisi VS Code, IntelliJ IDEA, PyCharm, GoLand, WebStorm ve Android Studio gibi ana akım IDE'lerde indirilebilir ve deneyimlenebilir.
Yerli büyük model tamamen kendi kendini geliştirmiştir
Konferansta, Zhipu AI CEO'su Zhang Peng, başlangıçta kendi fikrini ortaya koydu - büyük modelin ilk yılı, ChatGPT'nin LLM patlamasını tetiklediği yıl değil, GPT-3'ün doğduğu 2020'deydi.
O zamanlar, bir yıldır yeni kurulmuş olan Zhipu AI, tüm şirketin gücünü büyük modellerde HEPSİ için kullanmaya başladı.
Büyük ölçekli model araştırmasına giren ilk şirketlerden biri olan Zhipu AI, yeterli kurumsal hizmet yetenekleri biriktirdi; Açık kaynakta "yengeç yiyen ilk şirketlerden" biri olan ChatGLM-6B, lansmanından sonraki dört hafta içinde Hugging face trend listesinin zirvesine yerleşti ve GitHub'da 5w+ yıldız kazandı.
Büyük model endüstrisinde savaşın şiddetlendiği 2023'te, Zhipu AI bir kez daha ilgi odağı oluyor ve yeni yükseltilen ChatGLM3 ile ilk hamle avantajını ele geçiriyor.
Kaynaklar: