Bu makalenin ilk taslağı ağustos ayının sonunda boş zamanımda tamamlandı, aceleyle yayınladıktan sonra birçok tavsiye aldım, bu yüzden insanları güldürmemek için bazı içerik ekledim, değiştirdim ve sildim.
Bu makalenin içeriği esas olarak yapay zeka sektörünün mevcut durumunu yatırım perspektifinden değerlendirmekte, farklı şirketlerin teknoloji/ürün rotalarını yansıtmakta ve tahmin etmekte ve yapay zeka endüstrisindeki şirketlerin stratejilerini soyut olarak özetlemektedir. Bu nedenle, belirli teknolojiler söz konusu olduğunda kaçınılmaz olarak bazı eksiklikler söz konusudur, bu nedenle lütfen sabırlı olun.
Ancak son tahlilde, makale yayınlayabilen birçok büyük şirket hâlâ parçalanmış durumda ve hiç kimse bu makalenin içeriğinin doğruluğunu değerlendiremeyecek gibi görünüyor. Tıpkı GPT-3.5'i GPT-4 ile puanlamak gibi makul gibi görünse de düşündüğünüzde biraz soyut kalıyor.
Bu nedenle yazar, bu makalenin belirsiz endüstriler hakkında bilgi toplandıktan sonra oluşturulmuş bir "karar" olarak değerlendirilmesini önermektedir. Bir hüküm olduğundan, konumun açık olması ve ifadenin anlamlı olması gerekir. Doğru olup olmadığına gelince, zaman içinde test edelim.
Yazar her zaman yeni endüstrilerin gürültülü olduğuna inanmıştır, bu nedenle beyninizi daha fazla kullanmanın ve yargılamaya cesaret etmenin her zaman doğru olduğunu düşünmüştür. Yargı sorusunda kör tahminde bulunma oranı %50, üst üste üç kez yanlış tahmin etme olasılığı ise %12,5'tir. Yazı tura atarak yargılamak bile anlamlıdır. Yargılamak korkunç değil, en korkunç olanı ise yargının doğruluğunun yazı tura atmaktan daha düşük olmasıdır.
Bu makaleye resmi olarak başlamadan önce, bu makale için değerli ilham ve veri kaynakları sağlayan aşağıdaki kişilere çalışmaları için teşekkür etmek istiyorum. Elbette bu makaledeki birçok çıkarım bu eserlere dayandığından, eğer hata varsa ya da yazarın anlayışı yanlışsa, bu makaledeki çıkarımlar artık sağlam olmayacaktır ve okuyucuların kendilerinin karar vermesi istenmektedir. Bu makale yatırım tavsiyesi niteliğinde değildir ve neredeyse hiç yatırım tavsiyesi niteliği taşımaz.
Düşünce Zinciri Merkezi: Büyük Dil Modellerinin Akıl Yürütme Performansını Ölçmeye Yönelik Sürekli Bir Çaba（
LIMA: Hizalama için Daha Az Daha Fazladır（
Haziran 2023, Talimat Ayarlamasının Aşama İncelemesi（
GPT-4 Mimarisi, Altyapı, Eğitim Veri Seti, Maliyetler, Vizyon, MEB（
Tamam, bu makaleye resmi olarak başlayalım.
Büyük Model: Siber Roketi Başlat
2023'te yapay zekayı tartışmanın ilk adımı, büyük ölçekli girişimciliğin hâlâ yapılıp yapılamayacağını tartışmaktır.
Büyük model (ön eğitim) artık roket fırlatma problemine dönüştürüldü, ateş başlatıldığı ve yönü doğru olduğu sürece herkes bunu yapabilir. Büyük modellerin eğitiminin siber roket fırlatmaya benzediği söylenebilir.
Sağduyuya aykırı olan şey, yatırımcıların büyük modelleri eğitmenin zorluğunu hafife alması, ancak gerçek roketleri fırlatmanın zorluğunu abartmasıdır. Aynı 60 milyon ABD Doları tutarındaki maliyetle yatırımcılar, roket fırlatma başarısızlığı için ikinci bir şansın olduğunu düşünecek, büyük bir modelin eğitilmesindeki başarısızlık ise para israfı olarak değerlendirilecektir.
GPT-4, OpenAI'nin GPU kullanım verimliliğinde hâlâ 60 milyon dolar harcıyor (yaklaşık %30 olduğu rapor ediliyor). Bu bir {performans=verimlilik×maliyet} meselesidir ve performans bir duvardır. Diğer start-up'lar %30 × 60 milyon = 18 milyon ABD dolarından daha yüksek bir performans etkisi elde edemezse, kullanıcılar GPT-4'ü kullanabilirler. direkt olarak.
Şu anda, büyük modelleri eğittiğini iddia eden birçok şirketin 1 milyon ABD Doları ila 5 milyon ABD Doları aralığında finansman turları var. Başka bir deyişle, en büyük miktarda finansmana sahip şirketlerin bile yalnızca bir fırlatmayı destekleyecek kadar mühimmatı var. Bu lansmanın GPU kullanımı %100'e ulaşsa bile GPT-4'ü aşmak zor olacak.
Bu açıdan bakıldığında roket fırlatmak daha iyidir, çünkü roketlerin çoğu fırlatma araçlarıdır, uyduları gökyüzüne taşırlar ve tek yük sınırlıdır, dolayısıyla küçük roket şirketleri başkalarının fırlatmaya vakti olmayan uyduların siparişlerini alabilmektedir.
Büyük modeller farklıdır.Büyük modellerin yatay genişlemesinin marjinal maliyeti yalnızca bilgi işlem gücünün maliyetidir ve bilgi işlem gücünün maliyeti elastik olarak genişletilebilir, bu da büyük model şirketler için her siparişin kârının bedava kâr olduğu anlamına gelir. , neredeyse hiçbir ek maliyet yoktur ve taahhüt kapasitesi çok büyüktür. Yeni kurulan ve kalitesiz büyük model firmalar için taşma talebi almak zordur.
Eğitim maliyetleri önemli ölçüde düşmediği sürece, GPT-4'ün tüm mimarisi bilinse bile, kısa vadede pazara sürülebilecek büyük modeller yapmak birçok firma için zor olacaktır.
Kişiselleştirme: "Kazanan her şeyi alır" sorunuyla yüzleşmek
Donanım endüstrisinde yaygın bir olgu, özelleştirilmiş gereksinimler yoluyla erken kar elde etmek ve ardından erken kar yoluyla teknolojik atılımlar (veya bağlantılar) elde etmektir. Bununla birlikte, büyük model endüstrisinde kişiselleştirme, yeni girenler için pek bir çıkış yolu değildir.
Bu yargının açıklaması çok basit: İnce ayarlı modellerin büyük çoğunluğu GPT-4'e yetişemiyor, yetişseler bile genelleme için doğrudan GPT-4'ü kullanmak daha ucuz, daha az personel gerektiriyor ve daha az şans gerektiriyor. Veri gereksinimleri daha azdır. GPT-4 ile diğer modeller arasındaki performans farkı devam ettiği sürece özelleştirme büyük model firmalar için çözüm olamaz.
Bunun çok tipik bir örneği, kurumsal müşterilere hizmet vermek için ince ayarlı GPT-3 kullanan Jasper'dır. Ancak OpenAI, ChatGPT'yi (GPT-3.5) piyasaya sürdükten sonra kullanıcıları hızla kaybetti. Çünkü Jasper'ın çıktısı, genellemesi zayıf olan ve dahili kullanımla sınırlı olan bir "geri sürüm" kullanılmadan sadece GPT-3.5 girilerek elde edilebilir.
Yeni şirketlerle karşılaştırıldığında Jasper'ın geliştirme için en az bir GPT-3 ila GPT-3.5 pencere dönemi vardır. Ancak yeni şirketlerin artık düşük maliyetli ve yüksek hızlı GPT-3.5 ile yüksek performanslı GPT-4'ün aynı anda ortaya çıkmasıyla yüzleşmesi gerekiyor.
Bu nedenle, teknolojik atılımlara ulaşmak için özelleştirme yoluyla kar biriktirmeyi ummanın hayatta kalma olasılığı çok düşüktür.
İnce ayar: Gerekli, batıl inançlara kapılmayın
Mevcut yapay zeka endüstrisinin ince ayar konusunda gerçekçi olmayan beklentileri var ve bu beklenti, spesifik teknik uygulama ve makro teknik ritim açısından olduğundan fazla tahmin ediliyor.
Şu anda sektörde tartışılan ince ayar çoğunlukla "önceden eğitilmiş modele dayalıdır, böylece insan niyetleriyle tutarlı cevaplar üretebilir". Bu tür ince ayara "hizalama" adı verilebilir, yani büyük modele bilgelik katmak yerine cevabı insan niyetleriyle hizalamak.
Birçok makalenin araştırma sonuçlarına göre, büyük modellere ilişkin bilgi esas olarak ön eğitimden gelmelidir, ince ayar ise daha çok hizalama için kullanılır.
Basit açıklama, ön eğitimin beyin boyutunu belirlemesi ve ince ayarın ana dili belirlemesidir. Önceden eğitilmiş modele ince ayar yapmak, "okuma yazma bilmemeyi ortadan kaldırma" sürecidir.
Ancak ince ayar, sektörde sıklıkla modele "zeka ekleme", yani model performansını iyileştirme ve ince ayar yoluyla model bilgisini artırma yöntemi olarak görülüyor. Bu şekilde "Kutsal Kase"nin ortaya çıktığına inanılıyor. yapay zekaya" ulaşılabilir. Bu düşünce tarzı biraz taraflıdır.
Her şeyden önce, modelin performansı artmamıştır, ancak insan niyetlerini daha iyi hizalayabilir.Görevin karmaşıklığı modelin performansını aşarsa, ince ayar beklenen sonuçları vermeyecektir. Bu, insan beynine kuantum hesaplamaları yaptırmak gibidir, yapılamıyorsa eğitim meselesi değildir.
İkinci olarak, "niyet hizalama" kısmındaki "bilgi takviyesi"nin etkisi "papağan öğrenme"ye daha çok benzemektedir. Yani: model sadece uzmanın konuşmasını taklit ediyor ancak anlamını anlamıyor. Her ne kadar pek çok sektör "tekrarlayarak" iyi çözümler elde edebilmiş olsa da (sonuçta çoğu sektör karmaşık değildir...), uzun vadede takip etmemiz gereken sonucun bu olmadığı açıktır.
Son olarak, "ek veri setlerinin desteklenmesi, model performansının iyileştirilmesi ve model bilgisinin arttırılması" eğitimi için, modelin "artımlı öğrenme/sürekli öğrenme" yeteneğine, yani modelin tüm parametrelerine sahip olduğu dikkate alınmalıdır. artımlı veri kümeleri optimizasyonu yoluyla geliştirilebilir. Bu, sözde "talimatların ince ayarı" ile aynı kavram değildir.
Genel olarak ince ayar çok önemlidir, ancak mevcut ince ayara karşı "batıl inançlı" bir tutuma sahip olmak, özellikle de mevcut ince ayarı Kutsal Kase olarak mühürleme hevesine sahip olmak yanlıştır. Günümüz fiziğinin "Yüzen yalnızca iki kara bulut var."
Bir adım geri gidersek, eğer "zekayı artırma" talebi gerçekten öğretimin ince ayarıyla çözülebilirse, basit bir vektör araması yapın, bilgiyi doğrudan bağlama yerleştirin ve ardından sadece birkaç şablon yazın, yüksek olasılık var aynı veya hatta daha iyi bir Etkinin olacağını.
Herkes ince ayarı sever, belki de bu, modern zamanlarda simya becerilerinin bir tür canlanışıdır...
Büyük Modeller İçin Beklentiler: Dört Aritmetik İşlem
(İçeriğin bu kısmının tamamen Dylan Patel tarafından açıklanan verilere dayandığını ve güvenilirliğinin henüz doğrulanamayacağını unutmayın)
GPT-4'ün eğitimi A serisi N kartlarına dayanmaktadır.Eğitim verimliliği %30'dur.Eğitim süresi yaklaşık 2 aydır.Maliyeti yaklaşık 60 milyondur.Toplam parametre miktarı {1,7 trilyon = 110 milyar × 16 uzman model}. Tek bir problemi çözebilir. Parametreler 280 milyar civarındadır.
Başka bir deyişle, büyük model eğitiminin deseninde değişikliklere neden olacak birkaç anahtar parametre vardır.
Eğitim verimliliği: %30'dan %60'a çıkmak doğrudan süreyi iki kat kısaltabilir
Artan bilgi işlem gücü yoğunluğu: A serisinden H serisine ve ardından AI özel karta geçiş yapıldıktan sonra bilgi işlem gücü yoğunluğu artar ve verimliliği etkileyen birçok mimari sorun çözülebilir.
Bilgi işlem gücünün maliyeti düştü: Lao Huang (Nvidia'nın kurucusu) grafik kartlarında indirim yaparak önemli maliyet düşüşleri sağladı
Parametre verimliliğinin iyileştirilmesi: Modelin parametre verimliliğinde iyileştirmeye yer vardır.Geçmişe dönersek, yeni modelin parametre verimliliği genellikle eski modele göre birçok kez iyileştirilebilmektedir.%30 kullanmak mümkündür. Benzer etkileri elde etmek için GPT-4 parametrelerinin kullanılması.
Özetlemek gerekirse GPT-4 düzeyinde performansa sahip bir modeli sıfırdan eğitmenin maliyeti, optimizasyon alanının 10 ila 20 katı kadar olabilir, yani 3 milyon ABD Dolarından 6 milyon ABD Dolarına kadar sıkıştırılabilir. Bu maliyet oldukça maliyetlidir. startuplar ve büyük şirketler için etkili, daha kabul edilebilir.
Bu değişikliğin tamamlanması yaklaşık 2 yılı bulabilir.
Şu anda ana akım büyük modelin teknolojisi hala transformatöre dayanıyor, temel yapı değişmedi ve simya ve parametrelerle mucizeler yaratma fikri tükenmedi. GPT-4'ün eğitimi, büyük bir hesaplama gücü sınırı temelinde gerçekleştiriliyor ve eğitim süresi yeterince uzun değil.
Parametreler eğitim süresiyle doğrusal olarak büyüyorsa, GPT-4 benzeri mimariye sahip bir model için parametrelerin üst sınırı 10 trilyon civarında olabilir, yani: iki kat daha fazla eğitim süresi (× 2) ve iki kat daha fazla paralel grafik kartı ( × 2), eğitim verimliliği yarı yarıya daha hızlı (× 1,5), parametre verimliliği yarı yarıya daha yüksek (× 1,5) ve son olarak on kat sonuç elde ediliyor. Silikon Vadisi'nin risk iştahı tarzına göre, performansın iyileşip iyileşmediğine bakılmaksızın bu parametrenin yüksek olasılığı bir yıl içinde yakalanabilecek.
Ancak 10 trilyon parametreye ulaştıktan sonra LLM'nin hala mucizeler yaratmak için parametreleri artırma fikrini kullanıp kullanamayacağı tamamen bilinmiyor.
Parametrelerin sayısı model performansını azalan bir oranda artırırsa, o zaman 10 trilyonun bir engel teşkil etmesi muhtemeldir. Bununla birlikte, parametre sayısının marjinal bir artışla model performansını iyileştirdiğine dair bir varsayım da vardır; "bir kişi yeterince akıllıysa, her şeyi hızlı bir şekilde öğrenebilir." İlki sorun değil, ancak ikincisi gerçekleşirse modelin performansı katlanarak artabilir ve bundan sonra ne olacağı tamamen tahmin edilemez.
İksiri tahmin etmek zordur ama bir şirketin stratejik ritmini tahmin etmek kolaydır. İster Google/MS/APPL gibi dev ister daha küçük OpenAI olsun, çoğu kuruluş için toplam parametresi 10 trilyon olan bir model, durup bazı teknik keşifler yapmak için kullanılabilecek bir kilometre taşı son noktasıdır.
İşletmenin/sermayenin risk tercihi "dayanıklılık süresine" dönüştürülebilir.Katlanma süresinin tamamı yoğun olarak yakıcı giderlerden oluşuyorsa 6 ayı aşmak zordur. İnsan işçiliği yeterince hızlı gelişmiyor ve bir döngü genellikle 5 yıl veya daha fazla sürüyor. Dolayısıyla 5 yıl içerisinde modelin nihai parametre miktarı tahmin edilebilecek ve 20 trilyon ila 50 trilyon arasında olması gerekmektedir. Teknoloji/mimaride yeniden büyük bir atılım gerçekleşmediği sürece bu büyüklüğün aşılma ihtimali çok düşük.
Çok modluluk: Odadaki fil
Multimodalite odadaki fildir ve yarış pistinin manzarasını derinden etkileyebilir.
Multimodal'ın basit tanımı şudur: birden fazla modal bilginin girişi ve çıkışı için destek. Bu tanım oldukça gevşektir, örneğin piyasada çok modlu giriş yapabildiğini iddia eden bazı ürünler aslında ChatBot'un dışında bulunan bir OCR katmanıdır. Multimodalite tanımını tam olarak karşılayan modeller de mevcut ancak performansları hayal kırıklığı yaratıyor. Hatta GPT-4'ün görüntü multimodal giriş yeteneği henüz geniş bir şekilde açılmamıştır ve bu fonksiyonun pek stabil olmadığı görülmektedir.
Ancak multimodal lansmanlar çok uzakta değil. GPT-5'in çoklu yöntemi yerel olarak destekleme olasılığı yüksektir, bu da yapının yeniden tasarlanması ve yeniden eğitilmesi gerektiği anlamına gelir. Önceki mantığa göre, büyük modelin parametrelerinin hala 10 ila 50 kat büyüme payı var ve buna çok modlu yeteneklerin dahil edilmesi yeterli olmalı. Dolayısıyla 2 yıl içinde kullanılabilirliği yüksek, performansı yüksek multi-modal modellerin ortaya çıkması beklenebilir, iyimser olursak neredeyse 1 yıl olacak.
Multimodalite odadaki fildir, herkes eninde sonunda böyle bir şeyin olacağını biliyor, ancak birçok ürün/araştırma/strateji bunun varlığını görmezden geliyor, dolayısıyla kilit kısımlarda yanlış kararlar veriliyor.
Örneğin, tek imajlı modeller teorik olarak çok modlu modeller tarafından ciddi şekilde baskı altına alınabilir, ancak çoğu araştırma/yatırım şu anda bu konuyu göz ardı ediyor ve bu da bazı imaj odaklı şirketlerin aşırı değerlenmesine yol açıyor. Bu şirketlerin gelecekte teknik engelleri aşıp hizmet sağlayıcılara dönüşmeleri muhtemeldir.Değerleme sistemleri teknoloji şirketleri yerine hizmet sağlayıcıları referans almalıdır.
"Yatırım insana bağlıdır, aynı ekip işi dönüştürebilir" hikayesini anlatmak istiyorsanız, bunu ben söylememiş gibi davranın. Efsaneler her zaman vardır ama araştırma yaparken onlara inanamazsınız.
GPT-4'ü kim eğitebilir: Yapabilirsiniz, ancak gerekli değil
İksirlerin rafine edilmesi o kadar uzun sürmüyor ve büyük şirketler grafik kartları satın alıyor. Çok açık olan bir şey var ki, bir yıl içinde büyük şirketler GPT-4 düzeyindeki modelleri eğitebilecek. Ancak antrenman yapıp yapmama başka bir sorudur.
Oyun alanında, "Yuanshin Yuanshen oynuyor" adı verilen klasik bir öneri vardır, yani: oyuncular Yuanshen'i veya Yuanshen'in rakip bir ürününü oynamayı tercih edebildiğinde, eğer rakip ürün Yuanshen kadar iyi değilse, o zaman Orijinal Tanrı'yı oynayın .
Bu “kazanan her şeyi alır” yaklaşımı büyük model endüstrisi için de geçerlidir. Bir şirket OpenAI'yi takip ederse, altı aylık bir araştırma ve geliştirme sürecinin ardından, GPT-4'ün %90'ına benzer bir performansa sahip kendi büyük ölçekli modelini pazara sunmayı umarak piyasaya sürer. Bu durumda şirket aşağıdaki sorunlarla karşı karşıya kalacaktır:
OpenAI, bulut kaynaklarının ölçek avantajına ve daha düşük maliyetlere sahiptir
OpenAI'nin API'si ürün kodlarında yaygın olarak kullanılmaktadır ve yerini alması zordur.
Şirketin ürünü hala GPT-4'ten daha iyi performans göstermiyor
OpenAI'nin yeni nesil ürünü (muhtemelen GPT-5) yakında piyasaya sürülecek
Şirketin üzerindeki baskının oldukça büyük olduğu görülüyor. GPT-4'ü eğitmek yerine doğrudan yeni nesil modele (GPT-5'e karşı) bahis oynamak daha iyidir. O zaman sorun "benzer rakip ürünler sorunu"ndan "teknolojik yenilik sorunu"na dönüştürülecek. Bu küçük şirketler için dayanılmaz bir yüktür.
Dolayısıyla "GPT-4'ü kim eğitebilir" tartışması stratejik açıdan ölü bir konudur, bu sorun üzerinde düşünmek yerine daha kesin ve daha fazla fırsat içeren bir yön bulmak daha iyidir.
Yapay zeka startup'ları için tavsiyeler: Performansa öncelik verin, durgunluktan kaçının
Yazar langchain'den şikayetçi birçok makale yazmıştır, bunun temel nedeni langchain'in geliştiricilere performansı artırmasına yer bırakmamasıdır. Buna "evrensel çerçeve" denir. Genelliği sağlamak amacıyla, büyük modellerin birçok performans iyileştirmesinden, örneğin çoklu diyalog turları ve ince ayarlarla elde edilen format kontrolü gibi, vazgeçildi. Benzer şekilde, rehberlik/Auto-GPT/BabyAGI vb.'nin hepsi "ömür boyu kullanılabilecek bir çerçeve" olmak istiyor.
Nesnel bir gerçek şu ki, OpenAI Mayıs ayında İşlev Çağrısı'nı yayınladı ve koddaki pek çok sorunlu yer daha iyi uygulama çözümlerine sahip ve daha iyi bir çözümü uygulamanın maliyeti, ürün kodunun önemli bölümlerini yeniden düzenlemektir. Ağustos ayında OpenAI, GPT-3.5'te ince ayar yapma izinlerini yayınladı ve çıktının hassas kontrolünü gerektiren birçok bağlantının yeni potansiyel çözümleri var.
Bu nedenle startup'ların önemli bir seçimle karşı karşıya kalması gerekiyor: ① performansı iyileştirmeyi ve ürünleri sürekli olarak yeniden düzenlemeyi mi, yoksa ② yeni özelliklerin kullanımını azaltıp geliştirme için her zaman eski özellikleri mi kullanmayı seçmeliler?
Yeni teknoloji uygulama girişimciliği için “geliştirme” yalnızca kod yazma sürecini değil, aynı zamanda ürün işlevselliğinin/stratejisinin “üst sınırını” da temsil eder. Kontrol edilebilen performans ne kadar yüksek olursa, ürünün teorik işlevleri de o kadar fazla olur ve stratejik esnekliği de o kadar yüksek olur.
Teknolojinin gelişimi önceden tahmin edilemez ve küçük teknolojik yenilikler rekabet ortamında oldukça hassas değişiklikler getirebilir.Start-up şirketlerinin teknolojinin gelişimine karşı kırılgan olmama becerisine sahip olmaları gerekir.
——İnsani açıdan şöyle: Önce performans, kalmaktan kaçının. Geliştirme düzeyinde yeni özellikleri kullanın; ürünler açısından yeni özelliklerin hangi işlevleri yapabileceğini düşünün; strateji açısından yeni özelliklerin strateji üzerindeki etkisini düşünün.
"Qin Geçidi Üzerine"de, Qin Hanedanlığı'nın kurulmasından sonra, sivil ayaklanma olasılığını ortadan kaldırmak için dünyanın dört bir yanından gelen metal silahlara el konulduğu ve on iki bronz figüre döküldüğü belirtildi. Ancak Qin Hanedanlığı herkesin bildiği gibi kısa ömürlüydü. Değişikliklere dikkat etmek, onları görmezden gelmekten daha faydalıdır.
Yeni kurulan yapay zeka şirketlerine tavsiyeler: uygulamaları güvenle yapın
Startup'ların uygulama geliştirmesinde çok yaygın bir gizli tehlike vardır: büyük şirketlerin girişi. Buradaki büyük şirketler arasında yalnızca Meta/Byte/Tencent vb. gibi uygulama devleri değil, aynı zamanda OpenAI gibi yapay zeka endüstrisinin yukarı akışı da yer alıyor.
Büyük şirketlerin pazara girmesinin genellikle iki nedeni vardır: ürün fırsatlarını dağıtmak ve yukarı ve aşağı yönde kesintiler yapmak.
"Ürün fırsatlarının planlanması" gerçek anlamdadır. Büyük şirketler bu yönün takip edilmeye değer olduğunu düşünüyor ve bunu yapıyorlar.
"Yukarı akış aşağı akışı kesmek" çoğunlukla çaresiz bir harekettir. Bunun nedeni, OpenAI ile karşılaştırılan büyük ölçekli bir model geliştirmiş olmam olabilir, ancak büyük ölçekli modelde kazananın her şeyi alması sorunu nedeniyle, kullanıcı yok, bu da yakıcı maliyetlere, gelirin olmamasına ve verinin olmamasına neden oluyor ve bu da Performansın giderek geride kalmasına yol açıyor. Şu anda, alt akışa geçmek, özel uygulamalar geliştirmek ve kendi teknolojinizi kullanmak tek seçenektir.
Tarihsel deneyime göre, organizasyon yapısındaki sorun nedeniyle şirket alt kesime ne kadar yakınsa, teknolojide geride kalmak o kadar kolay olur ve teknoloji ne kadar geri olursa o kadar alt kesimde olmak zorunda kalır. Bu sözde teknoloji şirketleri eninde sonunda uygulama katmanı şirketleriyle aynı ekolojik niş için rekabet edecek.
Ancak uygulama katmanının savaş alanında yapay zeka teknolojisi kısa bir süreden beri ortalıkta olmadığından etkili ve yeniden kullanılabilir ölçek avantajlarına sahip değil.Büyük şirketlerin ve startupların başlangıç noktaları benzer. Büyük şirketlerle karşılaştırıldığında, startup'lar daha verimlidir ve daha derin içgörülere sahiptir, bu da avantajlardan yararlanmayı kolaylaştırır.
Dikkate değer bir durum, MS Azure'un neredeyse tüm tanıtım materyallerinin artık OpenAI etrafında dönüyor olması, ancak Microsoft kadar büyük bir fabrikanın platformu olarak tamamen OpenAI'ye güvenmesi, start-up'ların yapay zeka alanında doğal avantajlara sahip olduğunu yandan kanıtlıyor.
Elbette bazı bulut satıcıları startuplar tarafından yönetilmeyi kabul edemeyebilir ve tüm pazarı kendileri tüketmek isteyebilir. Pahalıdır, yavaştır ve acil bir tehdit değildir.
Gerçek şu ki, AI uygulamaları için bazı kısa ömürlü yollar var, ancak hala keşfedilmemiş birçok uzun ömürlü yollar var ve AI uygulamaları kazananların hepsini almıyor. Uygulamalardan platformlara veya teknolojilere doğru genişlemek de daha uygun bir yoldur.
Bu nedenle büyük şirketlerin uygulama katmanına nüfuz etme yeteneği konusunda rasyonel olmalıyız. Bizim önerimiz yapay zeka start-up’larının güvenle başvuru yapabilmesidir.
Yapay Zeka girişimleri için tavsiyeler: Ürün yaşam çizgisine dikkat edin
Daha önce de belirtildiği gibi, yapay zeka girişimleri güvenle uygulama geliştirebilir, ancak yapay zeka modelinin performans sorunlarını dikkate almalı ve duraklamalardan kaçınmalıdırlar. Bu durum, yapay zeka ürünlerinin talep tabanını kaybedip birkaç ay içinde yavaş yavaş sönebileceği ve bu durumun sık sık yaşanabileceği gerçeğine doğrudan yansıyor.
Yapay zeka uygulamaları, büyük modeller kullanan hizmetlere ihtiyaç duyuyor ve büyük modellerin performansı artmaya devam ediyor. Bu iyileştirme, "hız" gibi tek boyutlu bir iyileştirme değil, çıktı kalitesinde, çıktı uzunluğunda ve çıktı kontrol edilebilirliğinde genel bir değişikliktir. Teknolojideki her önemli yükseltme, mevcut uygulama katmanı ürünlerinin teknolojisinin geride kalmasına ve yeni fırsatlar ve rakipler yaratmasına neden olacaktır.
**Yapay zeka uygulamasının strateji/ürün/teknolojideki avantajlarını ve gerekliliğini koruduğu zamanı "cankurtaran halatı" olarak adlandırıyoruz. **
İşte daha kısa yaşam çizgilerine bazı örnekler:
ChatGPT/Claude dosya yüklemeyi desteklediğinde ChatPDF artık gerekli olmayacaktır
Office 365 Copilot'u desteklediğinde, PPT çekmek için yapay zeka kullanan ürünler avantajlarını kaybeder
GPT-3.5 göründüğünde Jasper'a artık gerek kalmayacak
**Yapay zeka sektörünün hızla geliştiği göz önüne alındığında, sınırlı yaşam hatları normaldir. Bu nedenle yaşam çizgisinin sınırlı olduğu gerçeğini kabul edip, yaşam çizgisi daha uzun olan bir yön seçmeye çalışmak, uzun vadeli avantajların ve ürün gerekliliğinin korunmasına yardımcı olacaktır. **
Genel olarak yaşam çizgisi basitçe 3/6/12 aylık seviyelere bölünebilir.
3 ay: Büyük şirketlerin uygulamaya vakit bulamadığı fonksiyonlar (henüz uygulamaya vakit bulamadığı ofis/ChatGPT fonksiyonları gibi)
6 ay: Uygulanması zordur ve mevcut çözümlere entegre edilemez, ancak yapay zeka performansı geliştikçe (genel yapay zeka çerçevesi gibi) avantajlar/gereklilik ortadan kalkacaktır.
12 ay: Avantajlar/ihtiyaçlar uzun süre var olabilir, büyük şirketlerden/teknolojik gelişmelerden kolayca etkilenmez (Hugging Face gibi)
*Platform ürünlerinin yaşam döngüsü mutlaka uzun değildir. Sonuçta mağazalar da platformlardır.
Yeni kurulmuş bir şirket yönünü belirlediğinde sadece 6 aylık bir cankurtaran halatına ihtiyaç duyar, 12 aylık bir cankurtaran halatına ulaşmak zordur.
Ürün yaşam çizgisi sona erdiğinde genellikle iki durumla karşılaşılır. İlk durum, avantajların ortadan kalkması ve ürün yükseltme teknolojisinin yeniden yapılandırılması gerektiğidir, lütfen yukarıdaki "önce performans" konusuna bakın; ikinci durum ise gerekliliğin ortadan kalkması ve ürünün kademeli olarak değiştirilmesidir. Şu anda, ürünün hâlâ birkaç aylık "çalışma ömrü" vardır; bu, yeni kurulan şirketlerin bir sonraki yönü seçmesine yetecektir.
Şu anda Web3+AI teması etrafında birçok girişimci proje mevcut ancak teknoloji gelişiminin belirsizliği ve pazarın erken aşamaları göz önüne alındığında, Web3+AI konusu gelecekte hala birçok değişkene sahip olacak.
Bu makale, belirsizlikler arasında doğru olma olasılığı yüksek olan kesinlikleri bulmayı amaçlamaktadır.Bu nedenle, yazar hala biraz ilham almayı ve yeni kurulan şirketler ve ilgili araştırmacılar için referans fırsatı olabilecek bazı konu ve yönler önermeyi umuyor.
Egemenliğin ortadan kaldırılması/merkezsizleştirme
Şu anda yapay zeka sektörünün liderleri yalnızca kapalı kaynak modeller sağlıyor ve sürekli hizmet sunumunun istikrarı, şeffaflığı ve tarafsızlığı kontrol edilemez. Egemenliğin ortadan kaldırılması/merkezi olmayan yönetim, yapay zeka endüstrisinde önemli bir tema haline gelebilir; yani, egemenlikten uzaklaşma/merkezsizleştirmenin temel mimarisine dayanan istikrarlı, şeffaf ve tarafsız yapay zeka hizmetleri sağlanabilir.
Egemenliğin ortadan kalkması/merkezsizleşme, merkezi/egemen yapay zeka şirketlerinin ahlak dışı maliyetlerini önemli ölçüde artırabilecek ve onların askeri, tarikat, siyaset vb. alanlarda yapay zeka modellerini kullanmalarını engelleyebilecek bir "alternatif" ve bir "şok"tur.
Aşırı durumlarda, merkezi/egemen yapay zeka hizmetleri herhangi bir nedenden dolayı artık mevcut olmadığında/güvenilmez olduğunda, egemenliği kaldıran/merkezi olmayan yapay zeka, tek tek ülkelerin/bölgelerin ve hatta insanlığın yapay zekayı kaybetmesini önlemek için yüksek düzeyde kullanılabilir hizmetler sağlamaya devam edebilir.
Bilgi işlem gücünün pratik kullanımı
ETH'nin PoW'dan PoS'a geçişinin arkasında, eleştirilen "madencilik değer yaratmaz" ikilemi yer alıyor. Web3 ve yapay zekanın birleşimi, bilgi işlem gücü için pratik bir senaryo sağlayabilir, böylece stok bilgi işlem gücünün sindirilmesini gerçekleştirebilir ve toplam bilgi işlem büyümesini teşvik edebilir. güç vb. Etkisi.
Sanal varlıklaştırma
Yapay zeka, bilgi işlem gücü ve depolamaya özgü bir varlıktır. Web3 ve yapay zekanın birleşimi, yapay zekayı sanal varlıklara dönüştürmek için bir kanal sağlayabilir ve yapay zeka endüstrisinin değer somutlaştırmasını gerçekleştirirken Web3 için gerçek yerel sanal varlıklar oluşturabilir.
Web3 uygulamaları için değişkenler
Web3 ve yapay zekanın birleşimi, Web3 uygulamalarına yeni işlevler ve büyüme fırsatları getirebilir ve mevcut Web3 uygulamaları tamamen yeniden yapılabilir.
Sonunda yazan: Eylül ayı, yapay zeka şimdi hala bir iş kurmaya değer mi?
Sonuçla başlayayım: buna değer ve bu sonuç büyük olasılıkla Çin Yeni Yılı'na kadar kullanılabilir.
İnsanların durumlara ilişkin algıları genellikle önyargılıdır ve ben de bir istisna değilim. Bazı insanlar aşırı iyimser, bazıları ise aşırı kötümser. Yazar bir keresinde iki ekiple iletişim kurmuştu. Bir ekip gelecek yılın ilk çeyreğinde bir Yapay Zeka Aracısı oluşturulabileceğine inanırken, diğer ekip yapay zekanın yalnızca bilgi tabanı yönetimi için uygun olduğunu düşünüyor. Açıkçası ilki çok iyimser, ancak ikincisi çok kötümser.
Uzun vadeli planlar yaparken, fazla iyimser ya da fazla kötümser olmak tuzaklara yol açacaktır ve yaygın olarak dolaşan açıklamalar genellikle bu son derece önyargılı açıklamalardır ve bağımsız düşünmeyi son derece değerli kılar. Dolayısıyla okuyucunun bu makalenin görüşlerini kabul edip etmemesine bakılmaksızın, okuyucu okuma sürecinde bağımsız düşünme ve yargılamaya sahip olduğu sürece yazar son derece memnun olacaktır.
Son olarak reklam verin. Eğer iyi bir yapay zeka başlangıç fikriniz varsa veya hali hazırda bir projeniz varsa, lütfen NGC'deki arkadaşlarınızla (benim gibi) iletişim kurmaktan çekinmeyin.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
NGC Ventures: Eylül ayı, yapay zeka hâlâ iş kurmaya değer mi?
Orijinal yazar: Cherry, NGC Ventures
Önsöz
Bu makalenin ilk taslağı ağustos ayının sonunda boş zamanımda tamamlandı, aceleyle yayınladıktan sonra birçok tavsiye aldım, bu yüzden insanları güldürmemek için bazı içerik ekledim, değiştirdim ve sildim.
Bu makalenin içeriği esas olarak yapay zeka sektörünün mevcut durumunu yatırım perspektifinden değerlendirmekte, farklı şirketlerin teknoloji/ürün rotalarını yansıtmakta ve tahmin etmekte ve yapay zeka endüstrisindeki şirketlerin stratejilerini soyut olarak özetlemektedir. Bu nedenle, belirli teknolojiler söz konusu olduğunda kaçınılmaz olarak bazı eksiklikler söz konusudur, bu nedenle lütfen sabırlı olun.
Ancak son tahlilde, makale yayınlayabilen birçok büyük şirket hâlâ parçalanmış durumda ve hiç kimse bu makalenin içeriğinin doğruluğunu değerlendiremeyecek gibi görünüyor. Tıpkı GPT-3.5'i GPT-4 ile puanlamak gibi makul gibi görünse de düşündüğünüzde biraz soyut kalıyor.
Bu nedenle yazar, bu makalenin belirsiz endüstriler hakkında bilgi toplandıktan sonra oluşturulmuş bir "karar" olarak değerlendirilmesini önermektedir. Bir hüküm olduğundan, konumun açık olması ve ifadenin anlamlı olması gerekir. Doğru olup olmadığına gelince, zaman içinde test edelim.
Yazar her zaman yeni endüstrilerin gürültülü olduğuna inanmıştır, bu nedenle beyninizi daha fazla kullanmanın ve yargılamaya cesaret etmenin her zaman doğru olduğunu düşünmüştür. Yargı sorusunda kör tahminde bulunma oranı %50, üst üste üç kez yanlış tahmin etme olasılığı ise %12,5'tir. Yazı tura atarak yargılamak bile anlamlıdır. Yargılamak korkunç değil, en korkunç olanı ise yargının doğruluğunun yazı tura atmaktan daha düşük olmasıdır.
Bu makaleye resmi olarak başlamadan önce, bu makale için değerli ilham ve veri kaynakları sağlayan aşağıdaki kişilere çalışmaları için teşekkür etmek istiyorum. Elbette bu makaledeki birçok çıkarım bu eserlere dayandığından, eğer hata varsa ya da yazarın anlayışı yanlışsa, bu makaledeki çıkarımlar artık sağlam olmayacaktır ve okuyucuların kendilerinin karar vermesi istenmektedir. Bu makale yatırım tavsiyesi niteliğinde değildir ve neredeyse hiç yatırım tavsiyesi niteliği taşımaz.
Tamam, bu makaleye resmi olarak başlayalım.
Büyük Model: Siber Roketi Başlat
2023'te yapay zekayı tartışmanın ilk adımı, büyük ölçekli girişimciliğin hâlâ yapılıp yapılamayacağını tartışmaktır.
Büyük model (ön eğitim) artık roket fırlatma problemine dönüştürüldü, ateş başlatıldığı ve yönü doğru olduğu sürece herkes bunu yapabilir. Büyük modellerin eğitiminin siber roket fırlatmaya benzediği söylenebilir.
Sağduyuya aykırı olan şey, yatırımcıların büyük modelleri eğitmenin zorluğunu hafife alması, ancak gerçek roketleri fırlatmanın zorluğunu abartmasıdır. Aynı 60 milyon ABD Doları tutarındaki maliyetle yatırımcılar, roket fırlatma başarısızlığı için ikinci bir şansın olduğunu düşünecek, büyük bir modelin eğitilmesindeki başarısızlık ise para israfı olarak değerlendirilecektir.
GPT-4, OpenAI'nin GPU kullanım verimliliğinde hâlâ 60 milyon dolar harcıyor (yaklaşık %30 olduğu rapor ediliyor). Bu bir {performans=verimlilik×maliyet} meselesidir ve performans bir duvardır. Diğer start-up'lar %30 × 60 milyon = 18 milyon ABD dolarından daha yüksek bir performans etkisi elde edemezse, kullanıcılar GPT-4'ü kullanabilirler. direkt olarak.
Şu anda, büyük modelleri eğittiğini iddia eden birçok şirketin 1 milyon ABD Doları ila 5 milyon ABD Doları aralığında finansman turları var. Başka bir deyişle, en büyük miktarda finansmana sahip şirketlerin bile yalnızca bir fırlatmayı destekleyecek kadar mühimmatı var. Bu lansmanın GPU kullanımı %100'e ulaşsa bile GPT-4'ü aşmak zor olacak.
Bu açıdan bakıldığında roket fırlatmak daha iyidir, çünkü roketlerin çoğu fırlatma araçlarıdır, uyduları gökyüzüne taşırlar ve tek yük sınırlıdır, dolayısıyla küçük roket şirketleri başkalarının fırlatmaya vakti olmayan uyduların siparişlerini alabilmektedir.
Büyük modeller farklıdır.Büyük modellerin yatay genişlemesinin marjinal maliyeti yalnızca bilgi işlem gücünün maliyetidir ve bilgi işlem gücünün maliyeti elastik olarak genişletilebilir, bu da büyük model şirketler için her siparişin kârının bedava kâr olduğu anlamına gelir. , neredeyse hiçbir ek maliyet yoktur ve taahhüt kapasitesi çok büyüktür. Yeni kurulan ve kalitesiz büyük model firmalar için taşma talebi almak zordur.
Eğitim maliyetleri önemli ölçüde düşmediği sürece, GPT-4'ün tüm mimarisi bilinse bile, kısa vadede pazara sürülebilecek büyük modeller yapmak birçok firma için zor olacaktır.
Kişiselleştirme: "Kazanan her şeyi alır" sorunuyla yüzleşmek
Donanım endüstrisinde yaygın bir olgu, özelleştirilmiş gereksinimler yoluyla erken kar elde etmek ve ardından erken kar yoluyla teknolojik atılımlar (veya bağlantılar) elde etmektir. Bununla birlikte, büyük model endüstrisinde kişiselleştirme, yeni girenler için pek bir çıkış yolu değildir.
Bu yargının açıklaması çok basit: İnce ayarlı modellerin büyük çoğunluğu GPT-4'e yetişemiyor, yetişseler bile genelleme için doğrudan GPT-4'ü kullanmak daha ucuz, daha az personel gerektiriyor ve daha az şans gerektiriyor. Veri gereksinimleri daha azdır. GPT-4 ile diğer modeller arasındaki performans farkı devam ettiği sürece özelleştirme büyük model firmalar için çözüm olamaz.
Bunun çok tipik bir örneği, kurumsal müşterilere hizmet vermek için ince ayarlı GPT-3 kullanan Jasper'dır. Ancak OpenAI, ChatGPT'yi (GPT-3.5) piyasaya sürdükten sonra kullanıcıları hızla kaybetti. Çünkü Jasper'ın çıktısı, genellemesi zayıf olan ve dahili kullanımla sınırlı olan bir "geri sürüm" kullanılmadan sadece GPT-3.5 girilerek elde edilebilir.
Yeni şirketlerle karşılaştırıldığında Jasper'ın geliştirme için en az bir GPT-3 ila GPT-3.5 pencere dönemi vardır. Ancak yeni şirketlerin artık düşük maliyetli ve yüksek hızlı GPT-3.5 ile yüksek performanslı GPT-4'ün aynı anda ortaya çıkmasıyla yüzleşmesi gerekiyor.
Bu nedenle, teknolojik atılımlara ulaşmak için özelleştirme yoluyla kar biriktirmeyi ummanın hayatta kalma olasılığı çok düşüktür.
İnce ayar: Gerekli, batıl inançlara kapılmayın
Mevcut yapay zeka endüstrisinin ince ayar konusunda gerçekçi olmayan beklentileri var ve bu beklenti, spesifik teknik uygulama ve makro teknik ritim açısından olduğundan fazla tahmin ediliyor.
Şu anda sektörde tartışılan ince ayar çoğunlukla "önceden eğitilmiş modele dayalıdır, böylece insan niyetleriyle tutarlı cevaplar üretebilir". Bu tür ince ayara "hizalama" adı verilebilir, yani büyük modele bilgelik katmak yerine cevabı insan niyetleriyle hizalamak.
Birçok makalenin araştırma sonuçlarına göre, büyük modellere ilişkin bilgi esas olarak ön eğitimden gelmelidir, ince ayar ise daha çok hizalama için kullanılır.
Basit açıklama, ön eğitimin beyin boyutunu belirlemesi ve ince ayarın ana dili belirlemesidir. Önceden eğitilmiş modele ince ayar yapmak, "okuma yazma bilmemeyi ortadan kaldırma" sürecidir.
Ancak ince ayar, sektörde sıklıkla modele "zeka ekleme", yani model performansını iyileştirme ve ince ayar yoluyla model bilgisini artırma yöntemi olarak görülüyor. Bu şekilde "Kutsal Kase"nin ortaya çıktığına inanılıyor. yapay zekaya" ulaşılabilir. Bu düşünce tarzı biraz taraflıdır.
Her şeyden önce, modelin performansı artmamıştır, ancak insan niyetlerini daha iyi hizalayabilir.Görevin karmaşıklığı modelin performansını aşarsa, ince ayar beklenen sonuçları vermeyecektir. Bu, insan beynine kuantum hesaplamaları yaptırmak gibidir, yapılamıyorsa eğitim meselesi değildir.
İkinci olarak, "niyet hizalama" kısmındaki "bilgi takviyesi"nin etkisi "papağan öğrenme"ye daha çok benzemektedir. Yani: model sadece uzmanın konuşmasını taklit ediyor ancak anlamını anlamıyor. Her ne kadar pek çok sektör "tekrarlayarak" iyi çözümler elde edebilmiş olsa da (sonuçta çoğu sektör karmaşık değildir...), uzun vadede takip etmemiz gereken sonucun bu olmadığı açıktır.
Son olarak, "ek veri setlerinin desteklenmesi, model performansının iyileştirilmesi ve model bilgisinin arttırılması" eğitimi için, modelin "artımlı öğrenme/sürekli öğrenme" yeteneğine, yani modelin tüm parametrelerine sahip olduğu dikkate alınmalıdır. artımlı veri kümeleri optimizasyonu yoluyla geliştirilebilir. Bu, sözde "talimatların ince ayarı" ile aynı kavram değildir.
Genel olarak ince ayar çok önemlidir, ancak mevcut ince ayara karşı "batıl inançlı" bir tutuma sahip olmak, özellikle de mevcut ince ayarı Kutsal Kase olarak mühürleme hevesine sahip olmak yanlıştır. Günümüz fiziğinin "Yüzen yalnızca iki kara bulut var."
Bir adım geri gidersek, eğer "zekayı artırma" talebi gerçekten öğretimin ince ayarıyla çözülebilirse, basit bir vektör araması yapın, bilgiyi doğrudan bağlama yerleştirin ve ardından sadece birkaç şablon yazın, yüksek olasılık var aynı veya hatta daha iyi bir Etkinin olacağını.
Herkes ince ayarı sever, belki de bu, modern zamanlarda simya becerilerinin bir tür canlanışıdır...
Büyük Modeller İçin Beklentiler: Dört Aritmetik İşlem
(İçeriğin bu kısmının tamamen Dylan Patel tarafından açıklanan verilere dayandığını ve güvenilirliğinin henüz doğrulanamayacağını unutmayın)
GPT-4'ün eğitimi A serisi N kartlarına dayanmaktadır.Eğitim verimliliği %30'dur.Eğitim süresi yaklaşık 2 aydır.Maliyeti yaklaşık 60 milyondur.Toplam parametre miktarı {1,7 trilyon = 110 milyar × 16 uzman model}. Tek bir problemi çözebilir. Parametreler 280 milyar civarındadır.
Başka bir deyişle, büyük model eğitiminin deseninde değişikliklere neden olacak birkaç anahtar parametre vardır.
Özetlemek gerekirse GPT-4 düzeyinde performansa sahip bir modeli sıfırdan eğitmenin maliyeti, optimizasyon alanının 10 ila 20 katı kadar olabilir, yani 3 milyon ABD Dolarından 6 milyon ABD Dolarına kadar sıkıştırılabilir. Bu maliyet oldukça maliyetlidir. startuplar ve büyük şirketler için etkili, daha kabul edilebilir.
Bu değişikliğin tamamlanması yaklaşık 2 yılı bulabilir.
Şu anda ana akım büyük modelin teknolojisi hala transformatöre dayanıyor, temel yapı değişmedi ve simya ve parametrelerle mucizeler yaratma fikri tükenmedi. GPT-4'ün eğitimi, büyük bir hesaplama gücü sınırı temelinde gerçekleştiriliyor ve eğitim süresi yeterince uzun değil.
Parametreler eğitim süresiyle doğrusal olarak büyüyorsa, GPT-4 benzeri mimariye sahip bir model için parametrelerin üst sınırı 10 trilyon civarında olabilir, yani: iki kat daha fazla eğitim süresi (× 2) ve iki kat daha fazla paralel grafik kartı ( × 2), eğitim verimliliği yarı yarıya daha hızlı (× 1,5), parametre verimliliği yarı yarıya daha yüksek (× 1,5) ve son olarak on kat sonuç elde ediliyor. Silikon Vadisi'nin risk iştahı tarzına göre, performansın iyileşip iyileşmediğine bakılmaksızın bu parametrenin yüksek olasılığı bir yıl içinde yakalanabilecek.
Ancak 10 trilyon parametreye ulaştıktan sonra LLM'nin hala mucizeler yaratmak için parametreleri artırma fikrini kullanıp kullanamayacağı tamamen bilinmiyor.
Parametrelerin sayısı model performansını azalan bir oranda artırırsa, o zaman 10 trilyonun bir engel teşkil etmesi muhtemeldir. Bununla birlikte, parametre sayısının marjinal bir artışla model performansını iyileştirdiğine dair bir varsayım da vardır; "bir kişi yeterince akıllıysa, her şeyi hızlı bir şekilde öğrenebilir." İlki sorun değil, ancak ikincisi gerçekleşirse modelin performansı katlanarak artabilir ve bundan sonra ne olacağı tamamen tahmin edilemez.
İksiri tahmin etmek zordur ama bir şirketin stratejik ritmini tahmin etmek kolaydır. İster Google/MS/APPL gibi dev ister daha küçük OpenAI olsun, çoğu kuruluş için toplam parametresi 10 trilyon olan bir model, durup bazı teknik keşifler yapmak için kullanılabilecek bir kilometre taşı son noktasıdır.
İşletmenin/sermayenin risk tercihi "dayanıklılık süresine" dönüştürülebilir.Katlanma süresinin tamamı yoğun olarak yakıcı giderlerden oluşuyorsa 6 ayı aşmak zordur. İnsan işçiliği yeterince hızlı gelişmiyor ve bir döngü genellikle 5 yıl veya daha fazla sürüyor. Dolayısıyla 5 yıl içerisinde modelin nihai parametre miktarı tahmin edilebilecek ve 20 trilyon ila 50 trilyon arasında olması gerekmektedir. Teknoloji/mimaride yeniden büyük bir atılım gerçekleşmediği sürece bu büyüklüğün aşılma ihtimali çok düşük.
Çok modluluk: Odadaki fil
Multimodalite odadaki fildir ve yarış pistinin manzarasını derinden etkileyebilir.
Multimodal'ın basit tanımı şudur: birden fazla modal bilginin girişi ve çıkışı için destek. Bu tanım oldukça gevşektir, örneğin piyasada çok modlu giriş yapabildiğini iddia eden bazı ürünler aslında ChatBot'un dışında bulunan bir OCR katmanıdır. Multimodalite tanımını tam olarak karşılayan modeller de mevcut ancak performansları hayal kırıklığı yaratıyor. Hatta GPT-4'ün görüntü multimodal giriş yeteneği henüz geniş bir şekilde açılmamıştır ve bu fonksiyonun pek stabil olmadığı görülmektedir.
Ancak multimodal lansmanlar çok uzakta değil. GPT-5'in çoklu yöntemi yerel olarak destekleme olasılığı yüksektir, bu da yapının yeniden tasarlanması ve yeniden eğitilmesi gerektiği anlamına gelir. Önceki mantığa göre, büyük modelin parametrelerinin hala 10 ila 50 kat büyüme payı var ve buna çok modlu yeteneklerin dahil edilmesi yeterli olmalı. Dolayısıyla 2 yıl içinde kullanılabilirliği yüksek, performansı yüksek multi-modal modellerin ortaya çıkması beklenebilir, iyimser olursak neredeyse 1 yıl olacak.
Multimodalite odadaki fildir, herkes eninde sonunda böyle bir şeyin olacağını biliyor, ancak birçok ürün/araştırma/strateji bunun varlığını görmezden geliyor, dolayısıyla kilit kısımlarda yanlış kararlar veriliyor.
Örneğin, tek imajlı modeller teorik olarak çok modlu modeller tarafından ciddi şekilde baskı altına alınabilir, ancak çoğu araştırma/yatırım şu anda bu konuyu göz ardı ediyor ve bu da bazı imaj odaklı şirketlerin aşırı değerlenmesine yol açıyor. Bu şirketlerin gelecekte teknik engelleri aşıp hizmet sağlayıcılara dönüşmeleri muhtemeldir.Değerleme sistemleri teknoloji şirketleri yerine hizmet sağlayıcıları referans almalıdır.
"Yatırım insana bağlıdır, aynı ekip işi dönüştürebilir" hikayesini anlatmak istiyorsanız, bunu ben söylememiş gibi davranın. Efsaneler her zaman vardır ama araştırma yaparken onlara inanamazsınız.
GPT-4'ü kim eğitebilir: Yapabilirsiniz, ancak gerekli değil
İksirlerin rafine edilmesi o kadar uzun sürmüyor ve büyük şirketler grafik kartları satın alıyor. Çok açık olan bir şey var ki, bir yıl içinde büyük şirketler GPT-4 düzeyindeki modelleri eğitebilecek. Ancak antrenman yapıp yapmama başka bir sorudur.
Oyun alanında, "Yuanshin Yuanshen oynuyor" adı verilen klasik bir öneri vardır, yani: oyuncular Yuanshen'i veya Yuanshen'in rakip bir ürününü oynamayı tercih edebildiğinde, eğer rakip ürün Yuanshen kadar iyi değilse, o zaman Orijinal Tanrı'yı oynayın .
Bu “kazanan her şeyi alır” yaklaşımı büyük model endüstrisi için de geçerlidir. Bir şirket OpenAI'yi takip ederse, altı aylık bir araştırma ve geliştirme sürecinin ardından, GPT-4'ün %90'ına benzer bir performansa sahip kendi büyük ölçekli modelini pazara sunmayı umarak piyasaya sürer. Bu durumda şirket aşağıdaki sorunlarla karşı karşıya kalacaktır:
Şirketin üzerindeki baskının oldukça büyük olduğu görülüyor. GPT-4'ü eğitmek yerine doğrudan yeni nesil modele (GPT-5'e karşı) bahis oynamak daha iyidir. O zaman sorun "benzer rakip ürünler sorunu"ndan "teknolojik yenilik sorunu"na dönüştürülecek. Bu küçük şirketler için dayanılmaz bir yüktür.
Dolayısıyla "GPT-4'ü kim eğitebilir" tartışması stratejik açıdan ölü bir konudur, bu sorun üzerinde düşünmek yerine daha kesin ve daha fazla fırsat içeren bir yön bulmak daha iyidir.
Yapay zeka startup'ları için tavsiyeler: Performansa öncelik verin, durgunluktan kaçının
Yazar langchain'den şikayetçi birçok makale yazmıştır, bunun temel nedeni langchain'in geliştiricilere performansı artırmasına yer bırakmamasıdır. Buna "evrensel çerçeve" denir. Genelliği sağlamak amacıyla, büyük modellerin birçok performans iyileştirmesinden, örneğin çoklu diyalog turları ve ince ayarlarla elde edilen format kontrolü gibi, vazgeçildi. Benzer şekilde, rehberlik/Auto-GPT/BabyAGI vb.'nin hepsi "ömür boyu kullanılabilecek bir çerçeve" olmak istiyor.
Nesnel bir gerçek şu ki, OpenAI Mayıs ayında İşlev Çağrısı'nı yayınladı ve koddaki pek çok sorunlu yer daha iyi uygulama çözümlerine sahip ve daha iyi bir çözümü uygulamanın maliyeti, ürün kodunun önemli bölümlerini yeniden düzenlemektir. Ağustos ayında OpenAI, GPT-3.5'te ince ayar yapma izinlerini yayınladı ve çıktının hassas kontrolünü gerektiren birçok bağlantının yeni potansiyel çözümleri var.
Bu nedenle startup'ların önemli bir seçimle karşı karşıya kalması gerekiyor: ① performansı iyileştirmeyi ve ürünleri sürekli olarak yeniden düzenlemeyi mi, yoksa ② yeni özelliklerin kullanımını azaltıp geliştirme için her zaman eski özellikleri mi kullanmayı seçmeliler?
Yeni teknoloji uygulama girişimciliği için “geliştirme” yalnızca kod yazma sürecini değil, aynı zamanda ürün işlevselliğinin/stratejisinin “üst sınırını” da temsil eder. Kontrol edilebilen performans ne kadar yüksek olursa, ürünün teorik işlevleri de o kadar fazla olur ve stratejik esnekliği de o kadar yüksek olur.
Teknolojinin gelişimi önceden tahmin edilemez ve küçük teknolojik yenilikler rekabet ortamında oldukça hassas değişiklikler getirebilir.Start-up şirketlerinin teknolojinin gelişimine karşı kırılgan olmama becerisine sahip olmaları gerekir.
——İnsani açıdan şöyle: Önce performans, kalmaktan kaçının. Geliştirme düzeyinde yeni özellikleri kullanın; ürünler açısından yeni özelliklerin hangi işlevleri yapabileceğini düşünün; strateji açısından yeni özelliklerin strateji üzerindeki etkisini düşünün.
"Qin Geçidi Üzerine"de, Qin Hanedanlığı'nın kurulmasından sonra, sivil ayaklanma olasılığını ortadan kaldırmak için dünyanın dört bir yanından gelen metal silahlara el konulduğu ve on iki bronz figüre döküldüğü belirtildi. Ancak Qin Hanedanlığı herkesin bildiği gibi kısa ömürlüydü. Değişikliklere dikkat etmek, onları görmezden gelmekten daha faydalıdır.
Yeni kurulan yapay zeka şirketlerine tavsiyeler: uygulamaları güvenle yapın
Startup'ların uygulama geliştirmesinde çok yaygın bir gizli tehlike vardır: büyük şirketlerin girişi. Buradaki büyük şirketler arasında yalnızca Meta/Byte/Tencent vb. gibi uygulama devleri değil, aynı zamanda OpenAI gibi yapay zeka endüstrisinin yukarı akışı da yer alıyor.
Büyük şirketlerin pazara girmesinin genellikle iki nedeni vardır: ürün fırsatlarını dağıtmak ve yukarı ve aşağı yönde kesintiler yapmak.
"Ürün fırsatlarının planlanması" gerçek anlamdadır. Büyük şirketler bu yönün takip edilmeye değer olduğunu düşünüyor ve bunu yapıyorlar.
"Yukarı akış aşağı akışı kesmek" çoğunlukla çaresiz bir harekettir. Bunun nedeni, OpenAI ile karşılaştırılan büyük ölçekli bir model geliştirmiş olmam olabilir, ancak büyük ölçekli modelde kazananın her şeyi alması sorunu nedeniyle, kullanıcı yok, bu da yakıcı maliyetlere, gelirin olmamasına ve verinin olmamasına neden oluyor ve bu da Performansın giderek geride kalmasına yol açıyor. Şu anda, alt akışa geçmek, özel uygulamalar geliştirmek ve kendi teknolojinizi kullanmak tek seçenektir.
Tarihsel deneyime göre, organizasyon yapısındaki sorun nedeniyle şirket alt kesime ne kadar yakınsa, teknolojide geride kalmak o kadar kolay olur ve teknoloji ne kadar geri olursa o kadar alt kesimde olmak zorunda kalır. Bu sözde teknoloji şirketleri eninde sonunda uygulama katmanı şirketleriyle aynı ekolojik niş için rekabet edecek.
Ancak uygulama katmanının savaş alanında yapay zeka teknolojisi kısa bir süreden beri ortalıkta olmadığından etkili ve yeniden kullanılabilir ölçek avantajlarına sahip değil.Büyük şirketlerin ve startupların başlangıç noktaları benzer. Büyük şirketlerle karşılaştırıldığında, startup'lar daha verimlidir ve daha derin içgörülere sahiptir, bu da avantajlardan yararlanmayı kolaylaştırır.
Dikkate değer bir durum, MS Azure'un neredeyse tüm tanıtım materyallerinin artık OpenAI etrafında dönüyor olması, ancak Microsoft kadar büyük bir fabrikanın platformu olarak tamamen OpenAI'ye güvenmesi, start-up'ların yapay zeka alanında doğal avantajlara sahip olduğunu yandan kanıtlıyor.
Elbette bazı bulut satıcıları startuplar tarafından yönetilmeyi kabul edemeyebilir ve tüm pazarı kendileri tüketmek isteyebilir. Pahalıdır, yavaştır ve acil bir tehdit değildir.
Gerçek şu ki, AI uygulamaları için bazı kısa ömürlü yollar var, ancak hala keşfedilmemiş birçok uzun ömürlü yollar var ve AI uygulamaları kazananların hepsini almıyor. Uygulamalardan platformlara veya teknolojilere doğru genişlemek de daha uygun bir yoldur.
Bu nedenle büyük şirketlerin uygulama katmanına nüfuz etme yeteneği konusunda rasyonel olmalıyız. Bizim önerimiz yapay zeka start-up’larının güvenle başvuru yapabilmesidir.
Yapay Zeka girişimleri için tavsiyeler: Ürün yaşam çizgisine dikkat edin
Daha önce de belirtildiği gibi, yapay zeka girişimleri güvenle uygulama geliştirebilir, ancak yapay zeka modelinin performans sorunlarını dikkate almalı ve duraklamalardan kaçınmalıdırlar. Bu durum, yapay zeka ürünlerinin talep tabanını kaybedip birkaç ay içinde yavaş yavaş sönebileceği ve bu durumun sık sık yaşanabileceği gerçeğine doğrudan yansıyor.
Yapay zeka uygulamaları, büyük modeller kullanan hizmetlere ihtiyaç duyuyor ve büyük modellerin performansı artmaya devam ediyor. Bu iyileştirme, "hız" gibi tek boyutlu bir iyileştirme değil, çıktı kalitesinde, çıktı uzunluğunda ve çıktı kontrol edilebilirliğinde genel bir değişikliktir. Teknolojideki her önemli yükseltme, mevcut uygulama katmanı ürünlerinin teknolojisinin geride kalmasına ve yeni fırsatlar ve rakipler yaratmasına neden olacaktır.
**Yapay zeka uygulamasının strateji/ürün/teknolojideki avantajlarını ve gerekliliğini koruduğu zamanı "cankurtaran halatı" olarak adlandırıyoruz. **
İşte daha kısa yaşam çizgilerine bazı örnekler:
**Yapay zeka sektörünün hızla geliştiği göz önüne alındığında, sınırlı yaşam hatları normaldir. Bu nedenle yaşam çizgisinin sınırlı olduğu gerçeğini kabul edip, yaşam çizgisi daha uzun olan bir yön seçmeye çalışmak, uzun vadeli avantajların ve ürün gerekliliğinin korunmasına yardımcı olacaktır. **
Genel olarak yaşam çizgisi basitçe 3/6/12 aylık seviyelere bölünebilir.
*Platform ürünlerinin yaşam döngüsü mutlaka uzun değildir. Sonuçta mağazalar da platformlardır.
Yeni kurulmuş bir şirket yönünü belirlediğinde sadece 6 aylık bir cankurtaran halatına ihtiyaç duyar, 12 aylık bir cankurtaran halatına ulaşmak zordur.
Ürün yaşam çizgisi sona erdiğinde genellikle iki durumla karşılaşılır. İlk durum, avantajların ortadan kalkması ve ürün yükseltme teknolojisinin yeniden yapılandırılması gerektiğidir, lütfen yukarıdaki "önce performans" konusuna bakın; ikinci durum ise gerekliliğin ortadan kalkması ve ürünün kademeli olarak değiştirilmesidir. Şu anda, ürünün hâlâ birkaç aylık "çalışma ömrü" vardır; bu, yeni kurulan şirketlerin bir sonraki yönü seçmesine yetecektir.
Yapay Zeka startuplarına tavsiyeler: Web3+AI yapabilir
Şu anda Web3+AI teması etrafında birçok girişimci proje mevcut ancak teknoloji gelişiminin belirsizliği ve pazarın erken aşamaları göz önüne alındığında, Web3+AI konusu gelecekte hala birçok değişkene sahip olacak.
Bu makale, belirsizlikler arasında doğru olma olasılığı yüksek olan kesinlikleri bulmayı amaçlamaktadır.Bu nedenle, yazar hala biraz ilham almayı ve yeni kurulan şirketler ve ilgili araştırmacılar için referans fırsatı olabilecek bazı konu ve yönler önermeyi umuyor.
Şu anda yapay zeka sektörünün liderleri yalnızca kapalı kaynak modeller sağlıyor ve sürekli hizmet sunumunun istikrarı, şeffaflığı ve tarafsızlığı kontrol edilemez. Egemenliğin ortadan kaldırılması/merkezi olmayan yönetim, yapay zeka endüstrisinde önemli bir tema haline gelebilir; yani, egemenlikten uzaklaşma/merkezsizleştirmenin temel mimarisine dayanan istikrarlı, şeffaf ve tarafsız yapay zeka hizmetleri sağlanabilir.
Egemenliğin ortadan kalkması/merkezsizleşme, merkezi/egemen yapay zeka şirketlerinin ahlak dışı maliyetlerini önemli ölçüde artırabilecek ve onların askeri, tarikat, siyaset vb. alanlarda yapay zeka modellerini kullanmalarını engelleyebilecek bir "alternatif" ve bir "şok"tur.
Aşırı durumlarda, merkezi/egemen yapay zeka hizmetleri herhangi bir nedenden dolayı artık mevcut olmadığında/güvenilmez olduğunda, egemenliği kaldıran/merkezi olmayan yapay zeka, tek tek ülkelerin/bölgelerin ve hatta insanlığın yapay zekayı kaybetmesini önlemek için yüksek düzeyde kullanılabilir hizmetler sağlamaya devam edebilir.
ETH'nin PoW'dan PoS'a geçişinin arkasında, eleştirilen "madencilik değer yaratmaz" ikilemi yer alıyor. Web3 ve yapay zekanın birleşimi, bilgi işlem gücü için pratik bir senaryo sağlayabilir, böylece stok bilgi işlem gücünün sindirilmesini gerçekleştirebilir ve toplam bilgi işlem büyümesini teşvik edebilir. güç vb. Etkisi.
Yapay zeka, bilgi işlem gücü ve depolamaya özgü bir varlıktır. Web3 ve yapay zekanın birleşimi, yapay zekayı sanal varlıklara dönüştürmek için bir kanal sağlayabilir ve yapay zeka endüstrisinin değer somutlaştırmasını gerçekleştirirken Web3 için gerçek yerel sanal varlıklar oluşturabilir.
Web3 ve yapay zekanın birleşimi, Web3 uygulamalarına yeni işlevler ve büyüme fırsatları getirebilir ve mevcut Web3 uygulamaları tamamen yeniden yapılabilir.
Sonunda yazan: Eylül ayı, yapay zeka şimdi hala bir iş kurmaya değer mi?
Sonuçla başlayayım: buna değer ve bu sonuç büyük olasılıkla Çin Yeni Yılı'na kadar kullanılabilir.
İnsanların durumlara ilişkin algıları genellikle önyargılıdır ve ben de bir istisna değilim. Bazı insanlar aşırı iyimser, bazıları ise aşırı kötümser. Yazar bir keresinde iki ekiple iletişim kurmuştu. Bir ekip gelecek yılın ilk çeyreğinde bir Yapay Zeka Aracısı oluşturulabileceğine inanırken, diğer ekip yapay zekanın yalnızca bilgi tabanı yönetimi için uygun olduğunu düşünüyor. Açıkçası ilki çok iyimser, ancak ikincisi çok kötümser.
Uzun vadeli planlar yaparken, fazla iyimser ya da fazla kötümser olmak tuzaklara yol açacaktır ve yaygın olarak dolaşan açıklamalar genellikle bu son derece önyargılı açıklamalardır ve bağımsız düşünmeyi son derece değerli kılar. Dolayısıyla okuyucunun bu makalenin görüşlerini kabul edip etmemesine bakılmaksızın, okuyucu okuma sürecinde bağımsız düşünme ve yargılamaya sahip olduğu sürece yazar son derece memnun olacaktır.
Son olarak reklam verin. Eğer iyi bir yapay zeka başlangıç fikriniz varsa veya hali hazırda bir projeniz varsa, lütfen NGC'deki arkadaşlarınızla (benim gibi) iletişim kurmaktan çekinmeyin.