Büyük model, açık kaynak kapalı kaynağı öldüremez

Kaynak: Serebropolar Vücut

Görsel kaynağı: Unbounded AI tarafından oluşturuldu

Açık kaynaklı büyük modellerin kapalı kaynaklı büyük modeller üzerindeki etkisi çok şiddetli hale geldi.

Bu yılın Mart ayında Meta, AI topluluğundaki en güçlü açık kaynaklı büyük model ve birçok model için temel model haline gelen Llama'yı (alpaka) piyasaya sürdü. Bazı insanlar, mevcut büyük ölçekli model kümesinin sadece çeşitli renklerde bir grup "alpaka" olduğu konusunda şaka yaptı.

Ve sadece birkaç gün önce Meta, performans açısından GPT-3.5 ile karşılaştırılabilir olduğu söylenen "Alpaca 2" - Llama2'nin ücretsiz bir ticari sürümünü piyasaya sürdü.

Bu, tüm büyük ölçekli model çemberinde çok patlayıcıdır.

Çeşitli İnternet ve teknoloji şirketlerinin kendi büyük ölçekli modellerini eğitmek ve piyasaya sürmek için çok fazla bilgi işlem kaynağı ve maliyeti yatırarak rekabet ettiğini biliyoruz. Etkin bir şekilde ticarileştirilemezlerse, bu büyük ölçekli modellerin maliyetini telafi etmek zor olacaktır. Sonraki yinelemeler, güncellemeler ve yükseltmeler sorun haline gelecektir. Yalnızca Ar-Ge şirketleri para kaybetmekle kalmayacak, aynı zamanda "önceki tüm çabalarını boşa harcayan" kullanıcılar muhtemelen daha fazla sıkıntı çekecektir.

Ama artık özgür, açık ve güçlü açık kaynak modelleri varken, kim kapalı kaynak modellere para vermeye istekli?

Gerçekten var.

Açık kaynak genel eğilimdir, ancak kapalı kaynak büyük modelin varlığı, önemi ve ticari değeri hala vardır. AI endüstrisindeki mevcut deneyime göre, büyük modellerden iyi bir şekilde yararlanmak için hala kapalı kaynaklara güvenmeniz gerekiyor.

Bugün bu konu hakkında konuşacağız, kapalı kaynaklı büyük bir modele kimin ihtiyacı var?

Sektöre gidin, sektöre gidin

Büyük modellerin ticarileştirilmesinin son noktası endüstridir ve çok fazla açıklama gerektirmeyen bir fikir birliği olmalıdır.

Kısa bir süre önce yerli bir büyük ölçekli modelin iç iletişim toplantısına katılmıştım ve karşı tarafın üst düzey yöneticileri, büyük ölçekli modelleri eğitmeyi ve sektör ortaklarıyla işbirliği yapmayı düşündükleri ve özel verilerin birçoğunun açık kaynak kodlu olması sakıncalı olduğu için hepsinin kapalı kaynak kodu kullandıklarını ve kapalı kaynak yolunda ısrar ettiklerini açıkça belirtmişlerdi.

Resmin tamamına bir göz atabilirsiniz, en azından kısa vadede büyük ölçekli modeller sektöre gidecek ve uygulama hala kapalı kaynaklara bağlı.

** Modeller açısından kapalı kaynak büyük modellerin kalitesi daha yüksektir. **

Örnek olarak şu anda en yetenekli olan Llama 2'yi ele alalım. Meta, Llama 2 70B'nin sonuçlarını kapalı kaynak modeliyle karşılaştırdı. Sonuçlar MMLU ve GSM8K'de GPT-3.5'e yakın, ancak kodlama kıyaslamasında hala önemli bir boşluk var ve birçok veri çeşitlilik ve kalite açısından eksik.

Tabii ki, açık kaynaklı büyük modellerin optimizasyon yineleme hızı çok hızlıdır. Ama açık kaynağın özü "cinsel üreme"ye çok benzer, yani tıpkı başlangıçtaki "alpaka kümesi" gibi kitlesel üreme ve mutasyon yoluyla, belirsiz bir gelecek karşısında, evrimin "en güçlü olanın hayatta kalması" yardımıyla en kaliteli yavrular ortaya çıkmaya devam edecektir. Bu nedenle açık kaynak yazılımların birçok dalı bulunmaktadır.Kullanıcılar için bu tercihin maliyeti oldukça yüksektir.Geliştirici sayısının fazla olmasının yanı sıra sürüm kontrolü de sorun teşkil etmektedir.

**Güvenlik açısından, kapalı kaynaklı büyük modeller daha güvenilirdir. **

Açık kaynaklı büyük modeller, açık kaynak sözleşmesine uymalı ve ticari kullanıma izin verilmelidir.Yurtdışı açık kaynaklı büyük modeller de bölgesel yargı yetkisine tabi olmalıdır.GitHub bir zamanlar Rus geliştirici hesaplarını yasaklamıştı. Ürün ve tedarik zinciri risklerini geliştirmek için denizaşırı açık kaynaklı büyük modellerin kullanılması nesnel olarak var olur.

Peki yerli açık kaynak büyük modelleri kullanmaya ne dersiniz? Güvenlik garanti edilir, ancak ticari açıdan, büyük devlet kuruluşları gibi birçok müşteri, iş dünyasında büyük modellerin güvenilirliğine de büyük önem verir ve satın alırken genellikle büyük şirketlerin marka onayını ister. Bir yandan, Ar-Ge'ye yapılan yatırım daha fazla ve ağızdan ağza iletişim daha yüksek, diğer yandan, büyük modelin yanlış üretilmesi, ticari kayıp veya iyi niyet sorunlarına yol açması durumunda, kapalı kaynak büyük modelin kullanılması hizmet sağlayıcıyı sorumlu tutabilir ve açık kaynak büyük modelin kullanılması, küresel geliştiricilerle hesaplaşamaz, değil mi?

Örneğin, büyük ölçekli bir model startup şirketi olan Huging Face, müşterilerine yapay zeka danışmanlığı sağlıyor ve açık kaynak topluluğunun bir ayağı.Çok sayıda müşterinin özel verilerini/profesyonel verilerini eğitim modelleri için kullanmak istediğini ve bu verileri OpenAl'a vermek istemediğini söyledi.

** Sanayileşme açısından, kapalı kaynaklı büyük modellerin uzun vadeli hizmet kabiliyeti daha güçlü ve daha kullanışlıdır. **

Büyük bir model oluşturmak, API'lere erişmek, veri eklemek ve parametreleri ayarlamakla bitmez. Gelişmekte olan bir teknoloji olarak, büyük modellerin ve iş senaryolarının entegrasyonunda hala birçok zorluk var. Örneğin, büyük modellerin cihaz tarafında konuşlandırılmadan önce modelin boyutunu küçültmek için damıtma yoluyla sıkıştırılması gerekir.Pek çok şirkette bu tür profesyoneller yoktur.

Başka bir örnek olarak, büyük modellerin ve işin birleşimi, ürün, operasyon ve test mühendisleri gibi birden çok rolün katılımını gerektirir.Bu hizmet yeteneklerinin, çoğunlukla kodlayıcılardan oluşan açık kaynak ekipleri için sağlanması zordur. Ek olarak, büyük modellerin uzun vadeli uygulaması, bilgi işlem gücü, depolama, ağ ve diğer destekleyici tesisler ayak uydurmalı ve açık kaynak topluluğu, kullanıcıların bu ayrıntılı sorunları "tek elden" çözmelerine yardımcı olamaz.

Veri gizliliği endişeleri de var.Büyük modeller doğrudan endüstri tarafından kullanılamaz, ancak özel sahne verileriyle optimize edilmelidir ve bu veriler üzerinde eğitilen modeller açık kaynaklı olacak ve piyasaya sürülecek, bu da işletmeleri çok endişelendiriyor.

Bir keresinde akıllı bir tıbbi araştırma ve geliştirme ekibiyle görüştük. Diğer taraf, büyük miktarda tıbbi verinin büyük hastanelerde ve araştırma kurumlarında dağıtıldığını ve bunun hasta mahremiyetini de içerdiğini söyledi. Verilerin bir endüstri modelini ortaklaşa eğitmek için kullanılması konusunda herkesin endişeleri var. Bir yanda güvenlik garanti edilemiyor, diğer yanda kendi verilerinin kalitesi yüksek ama bundan düzgün getiri alamıyorlar.Veri kalitesi düşük diğer kuruluşlar gibi koordinasyonu zor. Açık kaynak kodlu büyük modellerin birlikte oluşturulmasında, verilerin nasıl elde edileceği, formülün nasıl kavranacağı ve tüm tarafların katkılarının nasıl belirleneceği konusunda hala birçok zorluk bulunmaktadır.

Açık kaynaklı büyük modellerin, teknolojik yenilik özgürlüğü ve telif hakları arasındaki çatışmayı dengelemesi gerekirken, kapalı kaynaklı büyük modellerde bu sorun yoktur.Verilerin ve modellerin mülkiyet ve kullanım hakları çok nettir ve kesin olarak işletmenin elindedir.

Mevcut açık kaynak kodlu büyük modelin gerçek iş ihtiyaçlarını karşılayamadığı söylenebilir. Bununla birlikte, açık kaynak büyük model kullanıcılarının ve ISV entegratörlerinin ticari getiri elde etmesi gerekir.Açık kaynak büyük model ticari olarak mevcut değilse, etkisi iyi değilse ve ücretsiz olsa bile para kazanmak zorsa, kuruluş, onu geliştirmek için insanlara yatırım yapıp yapmayacağını dikkatlice değerlendirecektir.

Bu nedenle, bir süre daha kapalı kaynak, büyük ölçekli model iniş endüstrisi için popüler bir seçim olmaya devam edecek.

Kitlelere gidin, kitlelere gidin

Bazı insanlar anlamayabilir, açık kaynak ticari kullanım için ücretsizdir ve herkes büyük bir modeli lahana fiyatına kullanabilir.Geliştiriciler ve kurumsal kullanıcılar için bu kadar kolay, neden hala kapalı kaynağın daha iyi olduğunu söylüyorsunuz? Para kazanmaya odaklanmış büyük bir fabrikanın platformu mu?

HAYIR.

Açık kaynağı anlayan herkes açık kaynağı destekleyecektir. Açık kaynağı destekleyen herkes, açık kaynağın ticarileşmesine dikkat edecektir.

Çin Bilimler Akademisi'nden Akademisyen Mei Hong, bir keresinde açık kaynağın idealizmden kaynaklandığını ve şiddetle ticarileşmeden beslendiğini söylemişti. Ticarileştirme olmadan açık kaynak olamaz.

Bu nedenle, ister açık kaynak ister kapalı kaynak olsun, kim daha önce "ticari" olabilirse, daha iyi bir geleceğe sahip olacaktır. Bu konuda kapalı kaynaklı büyük ölçekli modellerin bir avantajı olabilir.Sonuçta, kaynağı kapatma konusunda kendine güvenen üreticilerin hala iki fırçası ve Ar-Ge altyapısı var.

Peki, açık kaynaklı büyük modellerin avantajları nelerdir? Kapalı kaynaklı büyük ölçekli model endüstriye gidiyorsa, açık kaynaklı büyük ölçekli model bir kişinin gücüne odaklanarak kitlelere gitmelidir.

(LeCun, Llama-v2'nin LLM'nin pazar yapısını değiştireceğine inanıyor)

Açık kaynaklı büyük model, kaynak kodunun üzerine konulduğu geleneksel açık kaynaklı yazılımdan farklıdır ve ardından dünyanın her yerinden geliştiriciler koda katkıda bulunur ve hepsi bu. Büyük modellerin işbirliği ve birlikte inşası, topluluğun refahına daha fazla yansır.Herkes, modeli optimize etmek, verileri zenginleştirmek, araçları iyileştirmek ve uygulamayı kapsamlı hale getirmek için birlikte çalışır...

Şu anda, açık kaynak modeli çeşitli avantajlar sağlayabilir:

1. Teknolojik yenilik. Açık kaynak topluluğu, modelin yinelemelerini optimize etmek, iyileştirmek ve hızlandırmak için çok sayıda teknoloji şirketini, araştırma kurumunu ve geliştiriciyi bir araya getirebilir, model teknolojisini ve destekleyici veri kümelerini, uygulama araçlarını vb. Zengin ve yüksek kaliteli hale getirerek önde olabilir.

2. Yetenek yarışması. Gelişmekte olan bir teknoloji olarak, büyük modeller yetenek arzında yetersiz kalıyor. Açık kaynak toplulukları aracılığıyla katkıda bulunmak için dünyanın her yerinden olağanüstü yetenekleri çekerek ve büyük modellerin yükseltilmesini hızlandırarak boşluk genişletilebilir. Rekabet olduğunda baskı vardır, bu nedenle LLama 2'nin piyasaya sürülmesinden sonra, kısa bir süre sonra OpenAI'nin altı ay içinde açık kaynaklı GPT-3.5'i de düşünmeye başladığı bildirildi. Geliştiriciler kutsanmıştır.

3. Ekolojik kapanma. Şu anda, hayatın her alanında BT çözümleri ve dijital dönüşüm, büyük ölçekli bir açık kaynak ekosistemi oluşturmak için çok sayıda açık kaynak teknolojisi ve uygulaması kullanıyor; Örneğin, OpenAI'nin ortağı/yatırımcısı olan Microsoft da bu kez Llama 2'nin ana ortağı olmayı seçti ve bireysel geliştiricilerin ve küçük ve orta ölçekli şirketlerin Llama 2'yi en düşük maliyetle aramasını destekledi ki bu şüphesiz masmavi için büyük bir avantaj.

Tüm büyük açık kaynak modelleri başarılı olamaz ve ekoloji kilit hendektir.

**Sandviç bisküvi, nereye gidiyorsun? **

Tıpkı mobil işletim sistemi iOS ve Android gibi, açık kaynak ve kapalı kaynak arasındaki rekabet, belirli bir alanda bir "ölüm kalım" mücadelesi değil, her biri farklı bir yol izliyor ve kendi dünyasını açıyor. Aynı şey büyük modeller için de geçerli.

Kapalı kaynaklı büyük ölçekli modeller müşterilere açıktır, açık kaynaklı büyük ölçekli modeller patlama yaşıyor ve herkesin parlak bir geleceği var.

Bu durumda, neden bazı uzmanlar Llama 2'nin açık kaynağının açık kaynak için büyük bir sıçrama, ancak kapalı kaynak büyük model şirketler için büyük bir darbe olduğuna inanıyor?

Kime vurdu?

Cevap, yalnızca bir uygulama katmanı olmaya istekli olmayan, aynı zamanda büyük bir üreticiyi alt edemeyen temel bir büyük ölçekli model üreticisi olmalıdır.

Google araştırmacıları bir keresinde, açık kaynak topluluğu nedeniyle bizim (Google ve OpenAI) hendeğimiz olmadığını yazmıştı. Ancak OpenAI'nin öldürücü özelliği olarak GPT-4 gibi kapalı kaynaklı büyük modelleri de var.Sadece açık kaynağa zorlandığında GPT-3.5'i açık kaynak olarak kabul ediyor.Bunda teknik bir boşluk var. Ayrıca, GPT-3.5'in açık kaynağı yalnızca kulaktan kulağa yayıldı ve spesifik ilerleme hala bilinmiyor.

Bu nedenle, denizaşırı Google, OpenAI ve yerli BATH gibi önde gelen teknoloji üreticileri ve bulut devleri, kartlar, para, yetenekler, veriler, pazar farkındalığı ve müşteri tabanı açısından avantajlara sahiptir.

Bu, temel genel amaçlı büyük modeli eğitmek isteyen ikinci ve üçüncü kademe üreticiler için bir sıkıntı.

Daha önce, dünyanın dört bir yanındaki büyük ve küçük teknoloji şirketleri ve çeşitli bilimsel araştırma kurumları, bazı yapay zeka tek boynuzlu atları gibi temel büyük modelleri eğitmek için akın etti ve yanlışlıkla temel katman ile uygulama katmanı arasında "sandviç bisküvi" haline geldi.

Güç açısından GPT'yi yenemez ve maliyet açısından Llama'yı yenemez.Eğitilen temel genel amaçlı büyük model, resmi olarak ticari kullanıma açılmadan önce zaten modası geçmiş ve geçmişte kalmaya mahkumdur. Pazar devlerle rekabet edemez ve açıklık derecesi açık kaynak topluluğununki kadar iyi değildir.Yüksek geliştirme maliyetlerini telafi etmek neredeyse imkansızdır.

Büyük modelden bir an önce vazgeçmek akıllıca bir seçim olabilir.

Örneğin yerli bir AI şirketinin büyük ölçekli modeli daha önce yıllık 300.000 yuan bedelle özelleştirildi ve ardından tamamen akademik araştırmaya açık olduğu açıklandı ve ücretsiz ticari kullanıma izin verildi. Büyük ölçekli model açık kaynak topluluğunda ticarileştirme (Linux/Android/Red Hat gibi) olasılığı da vardır ve aynı zamanda, genel büyük ölçekli kafa modeli ile "kafa kafaya" olmaktan kaçınabilir.

Uygulama katmanı geliştiricileri ve ISV entegratörleri için, yüksek endüstri kabulüne sahip kapalı kaynaklı büyük modellerin iyi bir şekilde kullanılması, müşterilerin bunları daha hızlı kabul etmesine, özelleştirilmiş özel dağıtımın iş gereksinimlerine daha uygun olmasına ve ticari iniş ve gelir artışını daha hızlı tamamlamasına olanak sağlayabilir.

AI start-up'ları için, açık kaynak doğrudan kullanılabilir ve tekrar tekrar çark oluşturmaktan kaçınılabilir. Bu, daha ideal ve düşük maliyetli bir deneme yanılma ticarileştirme yöntemi olabilir. "Grubun ısınması için raporlanması", büyük ölçekli açık kaynak projelerine katkıda bulunur, büyük ölçekli açık kaynak topluluklarının gelişimini destekler ve ayrıca topluluk geri bildirimi ve iş geri bildirimi alır.

Çin'in büyük ölçekli modelinin yüksek bir seviyeye geliştirilmesi, yalnızca dünyanın önde gelen kapalı kaynaklı büyük ölçekli modelinin liderliğini değil, aynı zamanda dünya etkisine sahip açık kaynaklı büyük ölçekli bir model topluluğunu da gerektiriyor.

Yol tıkalı ve uzun ama yolculuk yaklaşıyor. Açık kaynak ve kapalı kaynak anlaşmazlıklarına yapıcı bir tavırla bakmak, yerel kapalı kaynak büyük modeline biraz güven vermek ve ayrıca yerel açık kaynak topluluğuna biraz cesaret ve destek vermek isteyebilir.