Lightspeed America: Yapay zeka altyapı katmanının geleceği nerede?

Orijinal: SenseAI

"OpenAI bu yıl Nisan ayında GPT-4'ü piyasaya sürdüğünden bu yana giderek daha fazla model açık kaynaklı hale geldi ve yapay zekaya inananların odak noktası modellerden uygulamalara kayıyor. Lightspeed'in son makalesi yapay zeka modellerinin gelişim eğilimini ortaya çıkarıyor ve geleceğe dair önerilerde bulunuyor Büyük ölçekli model üç tip modele ayrılacak ve model düzeyindeki olası fırsatlar yapılandırılmış bir şekilde sıralanacak.Bu sayının içeriği size model altyapı katmanının gelişim trendini ve fırsat düşüncesini getirecek. AI Ops orta katmanı da dahil."

Duyusal düşünme

Makalenin içeriğine dayanarak daha farklı çıkarımlar ve derin düşünmeyi ortaya koymaya çalışıyoruz, görüş alışverişine hoş geldiniz.

Model yetenekleri ve maliyete bağlı olarak yapay zeka modelleri "beyin modelleri", "meydan okuyan modeller" ve "uzun kuyruklu modeller" olarak ayrılacak. Uzun kuyruklu modeller küçük ve esnektir ve alt bölümlere ayrılmış alanları hedefleyen uzman modellerin eğitimi için daha uygundur. Moore Yasasının periyodikliği üst üste bindirilmiştir ve gelecekte hesaplama gücünde herhangi bir tıkanma olmayacaktır.Beyin modelinin uygulama senaryolarını ortadan kaldırmak zordur.Piyasanın alan boyutuna göre uygun bir model seçmesi muhtemeldir. uygulama senaryosu ve değer zincirinin dağıtım kuralları.

Model tarafında ortaya çıkan sistem fırsatları: 1) model değerlendirme çerçevesi; 2) modelin işletilmesi ve sürdürülmesi; 3) sistemin güçlendirilmesi. Dikkate alınması gereken, Çin ile ABD arasındaki farklı pazarlardaki farklılıklar, orijinal iş hizmeti ekolojisi ve sermaye tercihleridir.

Kurumsal düzeyde RAG (geri alma geliştirme) platformu fırsatları: model karmaşıklığı ve çeşitliliğinin getirdiği fırsatlar, 1) operasyonel araçlar: gözlemlenebilirlik, güvenlik, uyumluluk; 2) veriler: iş değerinin farklılaştırılmasında ve genel sosyal değerlerin sağlanmasında, teknoloji aşağıdaki fırsatları getirecektir: veriden para kazanma.

Bu makalenin metni toplam 2426 kelimeden oluşmakta olup, dikkatlice okunması yaklaşık 7 dakika sürmektedir.

Kıdemli bir ABD fonu olan Lightspeed, son on yılda kuruluşların Yapay Zeka Nesli hakkında ne düşündüğünü daha iyi anlamak için AI/ML alanında seçkin şirketlerle, oluşturdukları platformlarla ve hizmet verdikleri müşterilerle çalışıyor. Lightspeed özellikle temel model ekosistemini inceledi ve "En iyi model için kazanan her şeyi alır" dinamiği olacak mı?" ve "Kurumsal kullanım durumları varsayılan olarak OpenAI'nin API'sini mi çağırıyor, yoksa gerçek kullanım daha fazla Çeşitlendirme mi olacak?" gibi sorular sordu. " ve benzeri. Cevaplar bu ekosistemin gelecekteki büyüme yönünü ve enerji, yetenek ve sermaye akışını belirleyecek.

01. Model Ekosistem Sınıflandırması

Öğrendiklerimize dayanarak, yapay zekada Kambriyen modellerinde bir patlamanın ufukta olduğuna inanıyoruz. Geliştiriciler ve işletmeler "yapılacak işe" en uygun modeli seçeceklerdir, ancak keşif aşamasında kullanım daha odaklı görünebilir. Kurumsal benimsemenin olası bir yolu, keşif için büyük modeller kullanmak, kullanım senaryosu anlayışı arttıkça üretimde kullanılmak üzere yavaş yavaş daha küçük özelleştirilmiş (ayarlanmış + rafine) modellere geçmektir. Aşağıdaki şema, temel model ekosisteminin gelişimini nasıl gördüğümüzü özetlemektedir.

Yapay zeka modeli manzarası, potansiyel olarak örtüşen 3 ana kategoriye ayrılabilir:

Kategori 1: "Beyin" Modeli

Bunlar en iyi modellerdir ve modellemenin en ileri noktasını temsil ederler. Akıllara durgunluk veren büyülü demoların devreye girdiği yer burasıdır. Bu modeller genellikle geliştiricilerin yapay zekanın uygulamaları için yapabileceklerinin sınırlarını keşfetmeye çalışırken dikkate aldıkları ilk şeylerdir. Bu modellerin eğitilmesi pahalı, bakımı ve ölçeklendirilmesi karmaşıktır. Ancak aynı model LSAT ve MCAT sınavlarını da alabilir, sizin için lise makalenizi yazabilir ve bir sohbet robotu olarak sizinle etkileşime geçebilir. Geliştiriciler şu anda bu modelleri deniyor ve yapay zekanın kurumsal uygulamalarda kullanımını değerlendiriyor.

Ancak jenerik modellerin kullanımı pahalıdır, yüksek çıkarım gecikmesine sahiptir ve iyi tanımlanmış kısıtlı kullanım durumları için aşırıya kaçabilir. İkinci sorun ise bu modellerin genel amaçlı olması ve özel görevlerde daha az doğru olabilmesidir. (Bu Cornell makalesine bakın.) Son olarak, neredeyse her durumda bunlar aynı zamanda kara kutulardır ve veri varlıklarından vazgeçmeden bu modellerden yararlanmaya çalışan kuruluşlar için gizlilik ve güvenlik sorunları yaratabilir. OpenAI, Anthropic, Cohere şirketlere örnektir.

Kategori İki: "Meydan Okuyan" Modeller

Bunlar aynı zamanda son derece yetenekli modellerdir ve beceri ve kabiliyet açısından kendilerinden önce gelen genel amaçlı daha büyük modellerden sonra ikinci sırada yer alır. Llama 2 ve Falcon bu kategorinin en iyi temsilcileridir. Genellikle genel modeli eğiten şirketin Gen "N-1" veya "N-2" modeli kadar iyidirler. Örneğin bazı kıyaslamalara göre Llama2, GPT-3.5-turbo kadar iyidir. Bu modelleri kurumsal verilere göre ayarlamak, onları belirli görevlerde birinci sınıf genel amaçlı büyük modeller kadar iyi hale getirebilir.

Bu modellerin çoğu açık kaynaktır (veya ona yakındır) ve piyasaya sürüldükten sonra açık kaynak topluluğundan hemen iyileştirmeler ve optimizasyonlar getirir.

Kategori Üç: "Uzun Kuyruk" Modeli

Bunlar "uzman" modellerdir. Belgeleri sınıflandırmak, resimlerdeki veya videolardaki belirli nitelikleri belirlemek, iş verilerindeki kalıpları belirlemek vb. gibi belirli bir amaca hizmet etmek üzere oluşturulurlar. Bu modeller esnektir, eğitilmesi ve kullanılması ucuzdur ve veri merkezinde veya uçta çalıştırılabilir.

Hizmet ettiği kullanım örnekleri çok geniş olduğundan, Hugging Face'e kısa bir bakış, bu ekosistemin şimdiki ve gelecekteki büyüklüğünü anlamak için yeterlidir.

02. Temel uyarlama ve pratik durumlar

Her ne kadar henüz başlangıç aşamasında olsa da, bazı önde gelen geliştirme ekiplerinin ve işletmelerin ekosistemler hakkında bu kadar incelikli bir şekilde düşünmeye başladığını görüyoruz. Kullanımı mümkün olan en iyi modelle eşleştirmek istiyoruz. Hatta daha karmaşık bir kullanım senaryosuna hizmet etmek için birden fazla model kullanın.

Hangi modelin/modelin kullanılacağını değerlendirmedeki faktörler genellikle aşağıdakileri içerir:

1. Veri gizliliği ve uyumluluk gereksinimleri: Bu, modelin kurumsal altyapıda çalıştırılması gerekip gerekmediğini veya verilerin harici olarak barındırılan bir çıkarım uç noktasına gönderilip gönderilemeyeceğini etkiler.

2. Modelin ince ayar yapmaya izin verip vermediği

3. İstenilen çıkarım düzeyi "performansı" (gecikme, doğruluk, maliyet vb.)

Ancak pratikte dikkate alınması gereken faktörler genellikle yukarıda listelenenlerden çok daha uzundur ve bu da geliştiricilerin yapay zeka ile başarmayı umdukları kullanım senaryolarının geniş çeşitliliğini yansıtır.

03. Fırsatlar nerede?

1. Model Değerlendirme Çerçevesi: Kuruluşların, hangi modelin hangi kullanım durumu için kullanılacağını değerlendirmeye yardımcı olacak araçlara ve uzmanlığa erişmeleri gerekecektir. Geliştiricinin, belirli bir modelin "yapılacak iş" için uygunluğunu en iyi nasıl değerlendireceğine karar vermesi gerekir. Değerlendirmenin yalnızca modelin performansını değil aynı zamanda maliyeti, uygulanabilecek kontrol düzeyini vb. de içeren birçok faktörü dikkate alması gerekir.

2. Modellerin çalıştırılması ve bakımı: Şirketlerin modelleri (özellikle uzun kuyruklu modellerin üçüncü kategorisi) eğitmesine, ince ayar yapmasına ve çalıştırmasına yardımcı olacak platformlar ortaya çıkacak. Geleneksel olarak bu platformlara genel olarak ML Ops platformları adı veriliyor ve bu tanımın üretken yapay zekayı da kapsayacak şekilde genişletilmesini bekliyoruz. Databricks, Weights and Biases, Tecton ve diğerleri gibi platformlar hızla bu yönde ilerliyor.

3. Büyütme sistemleri: Modeller, özellikle de barındırılan LLM'ler, arzu edilen sonuçları sağlamak için erişim büyütme oluşturmayı gerektirir. Bu, aşağıdakiler de dahil olmak üzere bir dizi yardımcı karar gerektirir:

Veri ve Meta Veri Çıkarma: Yapılandırılmış ve yapılandırılmamış kurumsal veri kaynaklarına nasıl bağlanılır ve ardından erişim politikaları gibi veriler ve meta veriler nasıl çıkarılır.

Veri Oluşturma ve Yerleştirmeleri Depolama: Verilere yönelik yerleştirmeler oluşturmak için hangi modelin kullanılacağı. Daha sonra nasıl depolanırlar: Özellikle gerekli performansa, ölçeğe ve işlevselliğe bağlı olarak hangi vektör veritabanı kullanılmalı?

Bu platformları seçme ve birleştirme karmaşıklığını ortadan kaldıran, kurumsal düzeyde bir RAG platformu oluşturma fırsatı vardır:

1. Operasyonel araçlar: Kurumsal BT'nin mühendislik ekipleri için korkuluklar oluşturması, maliyetleri yönetmesi vb. gerekecektir; şu anda üstlendikleri tüm yazılım geliştirme görevlerinin artık yapay zeka kullanımını da içerecek şekilde genişletilmesi gerekecektir. BT departmanlarının ilgi alanları şunları içerir:

Gözlemlenebilirlik: Model üretimde nasıl performans gösterecek? Performansları zaman içinde gelişiyor/düşüyor mu? Gelecek sürümler için uygulama modeli seçimini etkileyebilecek kullanım kalıpları var mı?

Güvenlik: Yapay zekaya özgü uygulamaların güvenliği nasıl sağlanır? Bu uygulamalar yeni platformlar gerektiren yeni saldırı vektörlerine karşı savunmasız mı?

Uyumluluk: Yapay zekaya özgü uygulamaların ve LLM'nin kullanımının, ilgili düzenleyici kurumların geliştirmeye başladığı çerçeveye uyması gerekeceğini umuyoruz. Bu, gizlilik, güvenlik, tüketicinin korunması ve adalet gibi mevcut uyumluluk sistemlerine ektir. İşletmelerin uyumlu kalmalarına, denetimler yürütmelerine, uyumluluk sertifikaları oluşturmalarına ve ilgili görevleri gerçekleştirmelerine yardımcı olabilecek platformlara ihtiyacı olacak.

2. Veri: Bir işletmenin hangi veri varlıklarına sahip olduğunu ve yeni yapay zeka modellerinden en fazla değeri elde etmek için bunlardan nasıl yararlanılacağını anlamaya yardımcı olan platformlar hızla benimsenecektir. Dünyanın en büyük yazılım şirketlerinden biri bir zamanlar bize şöyle demişti: "Verilerimiz bizim hendeğimizdir, temel fikri mülkiyetimizdir ve rekabet avantajımızdır. Bu verilerden para kazanmak için yapay zekayı kullanın ve onu "Savunulabilirliği zayıflatmadan farklılaşmayı teşvik etmenin yolları" olarak kullanın. Snorkel gibi platformlar bunda hayati bir rol oynuyor.

Şimdi bir yapay zeka altyapı platformu oluşturmanın tam zamanı. Yapay zekanın uygulanması tüm endüstrileri dönüştürmeye devam edecek ancak gezegendeki her işletmenin bu güçlü teknolojiyi benimsemesi için destekleyici altyapı, ara yazılım, güvenlik, gözlemlenebilirlik ve operasyon platformlarına ihtiyaç duyacak.

Referanslar

Yazar: Vela, Yihao, Leo

Düzenleme ve biçimlendirme: Zoey, Vela