Web3, Web2'yi yıkmakta başarısız oldu, ancak ortaya çıkan büyük model geliştirme yığını, geliştiricilerin "bulut yerel" çağdan yeni bir AI teknoloji yığınına geçmesine olanak tanıyor.
Hızlı mühendisler, büyük modellere geçmek için geliştiricilerin sinirlerine dokunamayabilirler, ancak bir ürün yöneticisi veya liderinin cümlesi: Bir "ajan" geliştirilebilir mi, bir "zincir" uygulanabilir mi ve "Hangi vektör veritabanı kullanılacaktır?" Büyük ana akım büyük model uygulama şirketlerindeki sürücü teknolojisi öğrencileri, yapay zeka geliştirme oluşturmadaki zorlukların üstesinden geliyor.
Peki gelişen teknoloji yığınının katmanları nelerdir? En zor kısım neresi? Bu makale sizi bunu öğrenmeye götürecek.
Teknoloji yığınının güncellenmesi gerekiyor ve geliştiriciler yapay zeka mühendisleri çağını başlatıyor.
Geçtiğimiz yıl LangChain ve LlamaIndex gibi araçların ortaya çıkması, yapay zeka uygulamalarının geliştirici ekosisteminin olgunlaşmasına olanak sağladı. Artık yapay zekaya odaklanan geliştiricileri tanımlayan bir terim bile var: Savunucusu Shawn @swyx Wang'a göre "yapay zeka mühendisleri", "bahşiş mühendisleri"nden bir sonraki adımdır. Ayrıca yapay zeka mühendislerinin daha geniş yapay zeka ekosistemindeki yerini görselleştiren bir grafik de oluşturdu:
Resim kaynağı: swyx
Büyük dil modelleri (LLM), yapay zeka mühendislerinin temel teknolojisidir. Hem LangChain hem de LlamaIndex'in LLM'yi genişleten ve tamamlayan araçlar olması tesadüf değildir. Peki bu yeni geliştirici türü için başka hangi araçlar mevcut?
Şu ana kadar LLM yığınıyla ilgili gördüğüm en iyi diyagram risk sermayesi şirketi Andreessen Horowitz'den (a16z) geldi. “LLM uygulama yığını” hakkında şöyle diyor:
Resim kaynağı: a16z
Doğru, en üst düzey hâlâ veridir.
Açıkçası, LLM teknoloji yığınındaki en önemli şey verilerdir. a16z diyagramında bu en üst katmandır. "Gömülü modeller" LLM'nin devreye girdiği yerdir; OpenAI, Cohere, Hugging Face veya giderek daha popüler hale gelen açık kaynaklı LLM dahil düzinelerce diğer LLM seçeneği arasından seçim yapabilirsiniz.
Ancak LLM'yi kullanmadan önce bile bir "veri hattının" kurulması gerekir; Databricks ve Airflow'u iki örnek olarak listeler, aksi takdirde veriler "yapılandırılmamış" olarak işlenebilir. Bu aynı zamanda veri döngüsüne de uyar ve işletmelerin verileri özel bir LLM'ye girmeden önce "temizlemelerine" veya basitçe düzenlemelerine yardımcı olabilir. Alation gibi "veri zekası" şirketleri bu tür bir hizmet sağlıyor; bu, BT teknolojisi yığınında daha iyi bilinen "iş zekası" gibi araçlara benziyor.
Veri katmanının son kısmı, LLM verilerini depolamak ve işlemek için son zamanlarda meşhur olan vektör veritabanıdır. Microsoft'un tanımına göre bu, "verileri, özelliklerin veya niteliklerin matematiksel temsilleri olan yüksek boyutlu vektörler olarak saklayan bir veritabanıdır." Veriler, "gömme" adı verilen bir teknoloji aracılığıyla vektörler olarak depolanır.
Önde gelen vektör veritabanı satıcısı Pinecone, bir medya sohbetinde Pinecone araçlarının genellikle Databricks gibi veri hattı araçlarıyla birlikte kullanıldığını belirtti. Bu durumda veriler genellikle başka bir yerde bulunur (örneğin, bir veri gölü) ve bu daha sonra bir makine öğrenimi modeli aracılığıyla bir yerleştirmeye dönüştürülür. Veriler işlenip parçalandıktan sonra elde edilen vektörler Pinecone'a gönderilir.
İpuçları ve Sorular
Sonraki iki katman, istemler ve sorgular olarak özetlenebilir; burası, AI uygulamasının LLM ve (isteğe bağlı olarak) diğer veri araçlarıyla arayüz oluşturduğu yerdir. A16z, LangChain ve LlamaIndex'i "düzenleme çerçeveleri" olarak konumlandırıyor; bu, geliştiricilerin hangi LLM'yi kullandıklarını öğrendikten sonra bu araçları kullanabileceği anlamına geliyor.
a16z'ye göre, LangChain ve LlamaIndex gibi orkestrasyon çerçeveleri, uygulama ile LLM arasındaki verilerin sorgulanması ve yönetilmesi anlamına gelen "hızlı bağlantının birçok ayrıntısını soyutluyor". Bu düzenleme süreci, harici API'lerle arayüz oluşturmayı, vektör veritabanından bağlam verilerinin alınmasını ve birden fazla LLM çağrısında belleğin korunmasını içerir. a16z'nin tablosundaki en ilginç kutu OpenAI, nat.dev ve Humanloop'u içeren "Playground"dur.
A16z bunu blog yazısında tam olarak tanımlamadı, ancak "oyun alanı" aracının geliştiricilerin A16z'nin "cue jiu-jitsu" dediği şeyi gerçekleştirmesine yardımcı olduğu sonucunu çıkarabiliriz. Bu yerlerde geliştiriciler çeşitli yönlendirme tekniklerini deneyebilirler.
Humanloop, platformunda "işbirlikçi hızlı çalışma alanı" bulunan bir İngiliz şirketidir. Ayrıca kendisini "üretim Yüksek Lisans işlevselliği için eksiksiz bir geliştirme araç seti" olarak tanımlıyor. Yani temel olarak LLM şeylerini denemenize ve işe yararsa uygulamanıza dağıtmanıza olanak tanır.
Boru hattı işlemi: LLMOps
Büyük model üretimine yönelik montaj hattı artık giderek daha net hale geliyor. Düzenleme kutusunun sağında LLM önbelleğe alma ve doğrulama dahil olmak üzere bir dizi işlem kutusu bulunur. Ayrıca Hugging Face gibi açık API havuzları ve OpenAI gibi özel API sağlayıcıları da dahil olmak üzere LLM ile ilgili çeşitli bulut ve API hizmetleri de mevcuttur.
Burası muhtemelen "bulut yerlisi" döneminde alışık olduğumuz geliştirici teknolojisi yığınındaki en benzer yer ve birçok DevOps şirketinin ürün listesine yapay zekayı eklemesi tesadüf değil. Mayıs ayında Harness CEO'su Jyoti Bansal ile konuştum. Harness, CI/CD sürecinin "CD" kısmına odaklanan bir "yazılım dağıtım platformu" çalıştırır.
Bansai bana yapay zekanın, mevcut işlevselliğe dayalı spesifikasyonlar oluşturmaktan kod yazmaya kadar yazılım teslim yaşam döngüsündeki sıkıcı ve tekrarlayan görevleri hafifletebileceğini söyledi. Ayrıca yapay zekanın kod incelemelerini, güvenlik açığı testlerini, hata düzeltmelerini otomatikleştirebileceğini ve hatta derlemeler ve dağıtımlar için CI/CD işlem hatları oluşturabileceğini söyledi. Mayıs ayında yaptığım başka bir sohbete göre yapay zeka aynı zamanda geliştirici üretkenliğini de değiştiriyor. Yapı otomasyonu aracı Gradle'dan Trisha Gee, yapay zekanın ortak kod yazmak gibi tekrarlanan görevlerde harcanan zamanı azaltarak ve geliştiricilerin kodun iş ihtiyaçlarını karşıladığından emin olmak gibi büyük resme odaklanmasına olanak tanıyarak geliştirmeyi hızlandırabileceğini söyledi.
Web3 gitti, büyük model geliştirme yığını geliyor
Ortaya çıkan LLM geliştirme teknolojisi yığınında, düzenleme çerçeveleri (LangChain ve LlamaIndex), vektör veritabanları ve Humanloop gibi "oyun alanı" platformları gibi bir dizi yeni ürün türü görüyoruz. Bunların tümü, bu çağın temel teknolojisi olan büyük dil modellerini genişletiyor ve/veya tamamlıyor.
Tıpkı önceki yıllarda Spring Cloud ve Kubernetes gibi bulut tabanlı dönem araçlarının yükselişi gibi. Ancak şu anda bulut tabanlı çağdaki büyük, küçük ve en iyi şirketlerin neredeyse tamamı, araçlarını yapay zeka mühendisliğine uyarlamak için ellerinden gelenin en iyisini yapmaya çalışıyor ve bu, LLM teknoloji yığınının gelecekteki gelişimi için çok faydalı olacak.
Evet, bu sefer büyük model "devlerin omuzlarında duruyor" gibi görünüyor. Bilgisayar teknolojisindeki en iyi yenilikler her zaman önceki temeller üzerine kuruludur. Belki de "Web3" devrimi bu yüzden başarısız oldu; önceki neslin üzerine inşa etmekten ziyade onu gasp etmeye çalışıyordu.
LLM teknoloji yığınının bunu başarmış gibi göründüğü açıktır; bu, bulut geliştirme çağından daha yeni, yapay zeka tabanlı geliştirici ekosistemine bir köprüdür.
Referans bağlantıları:
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Büyük model geliştirme yığını hazır!
Yazar | Richard MacManus
Planlama | Yorumlar
Kaynak丨51CTO teknoloji yığını
Web3, Web2'yi yıkmakta başarısız oldu, ancak ortaya çıkan büyük model geliştirme yığını, geliştiricilerin "bulut yerel" çağdan yeni bir AI teknoloji yığınına geçmesine olanak tanıyor.
Hızlı mühendisler, büyük modellere geçmek için geliştiricilerin sinirlerine dokunamayabilirler, ancak bir ürün yöneticisi veya liderinin cümlesi: Bir "ajan" geliştirilebilir mi, bir "zincir" uygulanabilir mi ve "Hangi vektör veritabanı kullanılacaktır?" Büyük ana akım büyük model uygulama şirketlerindeki sürücü teknolojisi öğrencileri, yapay zeka geliştirme oluşturmadaki zorlukların üstesinden geliyor.
Peki gelişen teknoloji yığınının katmanları nelerdir? En zor kısım neresi? Bu makale sizi bunu öğrenmeye götürecek.
Teknoloji yığınının güncellenmesi gerekiyor ve geliştiriciler yapay zeka mühendisleri çağını başlatıyor.
Geçtiğimiz yıl LangChain ve LlamaIndex gibi araçların ortaya çıkması, yapay zeka uygulamalarının geliştirici ekosisteminin olgunlaşmasına olanak sağladı. Artık yapay zekaya odaklanan geliştiricileri tanımlayan bir terim bile var: Savunucusu Shawn @swyx Wang'a göre "yapay zeka mühendisleri", "bahşiş mühendisleri"nden bir sonraki adımdır. Ayrıca yapay zeka mühendislerinin daha geniş yapay zeka ekosistemindeki yerini görselleştiren bir grafik de oluşturdu:
Büyük dil modelleri (LLM), yapay zeka mühendislerinin temel teknolojisidir. Hem LangChain hem de LlamaIndex'in LLM'yi genişleten ve tamamlayan araçlar olması tesadüf değildir. Peki bu yeni geliştirici türü için başka hangi araçlar mevcut?
Şu ana kadar LLM yığınıyla ilgili gördüğüm en iyi diyagram risk sermayesi şirketi Andreessen Horowitz'den (a16z) geldi. “LLM uygulama yığını” hakkında şöyle diyor:
Doğru, en üst düzey hâlâ veridir.
Açıkçası, LLM teknoloji yığınındaki en önemli şey verilerdir. a16z diyagramında bu en üst katmandır. "Gömülü modeller" LLM'nin devreye girdiği yerdir; OpenAI, Cohere, Hugging Face veya giderek daha popüler hale gelen açık kaynaklı LLM dahil düzinelerce diğer LLM seçeneği arasından seçim yapabilirsiniz.
Ancak LLM'yi kullanmadan önce bile bir "veri hattının" kurulması gerekir; Databricks ve Airflow'u iki örnek olarak listeler, aksi takdirde veriler "yapılandırılmamış" olarak işlenebilir. Bu aynı zamanda veri döngüsüne de uyar ve işletmelerin verileri özel bir LLM'ye girmeden önce "temizlemelerine" veya basitçe düzenlemelerine yardımcı olabilir. Alation gibi "veri zekası" şirketleri bu tür bir hizmet sağlıyor; bu, BT teknolojisi yığınında daha iyi bilinen "iş zekası" gibi araçlara benziyor.
Veri katmanının son kısmı, LLM verilerini depolamak ve işlemek için son zamanlarda meşhur olan vektör veritabanıdır. Microsoft'un tanımına göre bu, "verileri, özelliklerin veya niteliklerin matematiksel temsilleri olan yüksek boyutlu vektörler olarak saklayan bir veritabanıdır." Veriler, "gömme" adı verilen bir teknoloji aracılığıyla vektörler olarak depolanır.
Önde gelen vektör veritabanı satıcısı Pinecone, bir medya sohbetinde Pinecone araçlarının genellikle Databricks gibi veri hattı araçlarıyla birlikte kullanıldığını belirtti. Bu durumda veriler genellikle başka bir yerde bulunur (örneğin, bir veri gölü) ve bu daha sonra bir makine öğrenimi modeli aracılığıyla bir yerleştirmeye dönüştürülür. Veriler işlenip parçalandıktan sonra elde edilen vektörler Pinecone'a gönderilir.
İpuçları ve Sorular
Sonraki iki katman, istemler ve sorgular olarak özetlenebilir; burası, AI uygulamasının LLM ve (isteğe bağlı olarak) diğer veri araçlarıyla arayüz oluşturduğu yerdir. A16z, LangChain ve LlamaIndex'i "düzenleme çerçeveleri" olarak konumlandırıyor; bu, geliştiricilerin hangi LLM'yi kullandıklarını öğrendikten sonra bu araçları kullanabileceği anlamına geliyor.
a16z'ye göre, LangChain ve LlamaIndex gibi orkestrasyon çerçeveleri, uygulama ile LLM arasındaki verilerin sorgulanması ve yönetilmesi anlamına gelen "hızlı bağlantının birçok ayrıntısını soyutluyor". Bu düzenleme süreci, harici API'lerle arayüz oluşturmayı, vektör veritabanından bağlam verilerinin alınmasını ve birden fazla LLM çağrısında belleğin korunmasını içerir. a16z'nin tablosundaki en ilginç kutu OpenAI, nat.dev ve Humanloop'u içeren "Playground"dur.
A16z bunu blog yazısında tam olarak tanımlamadı, ancak "oyun alanı" aracının geliştiricilerin A16z'nin "cue jiu-jitsu" dediği şeyi gerçekleştirmesine yardımcı olduğu sonucunu çıkarabiliriz. Bu yerlerde geliştiriciler çeşitli yönlendirme tekniklerini deneyebilirler.
Humanloop, platformunda "işbirlikçi hızlı çalışma alanı" bulunan bir İngiliz şirketidir. Ayrıca kendisini "üretim Yüksek Lisans işlevselliği için eksiksiz bir geliştirme araç seti" olarak tanımlıyor. Yani temel olarak LLM şeylerini denemenize ve işe yararsa uygulamanıza dağıtmanıza olanak tanır.
Boru hattı işlemi: LLMOps
Büyük model üretimine yönelik montaj hattı artık giderek daha net hale geliyor. Düzenleme kutusunun sağında LLM önbelleğe alma ve doğrulama dahil olmak üzere bir dizi işlem kutusu bulunur. Ayrıca Hugging Face gibi açık API havuzları ve OpenAI gibi özel API sağlayıcıları da dahil olmak üzere LLM ile ilgili çeşitli bulut ve API hizmetleri de mevcuttur.
Burası muhtemelen "bulut yerlisi" döneminde alışık olduğumuz geliştirici teknolojisi yığınındaki en benzer yer ve birçok DevOps şirketinin ürün listesine yapay zekayı eklemesi tesadüf değil. Mayıs ayında Harness CEO'su Jyoti Bansal ile konuştum. Harness, CI/CD sürecinin "CD" kısmına odaklanan bir "yazılım dağıtım platformu" çalıştırır.
Bansai bana yapay zekanın, mevcut işlevselliğe dayalı spesifikasyonlar oluşturmaktan kod yazmaya kadar yazılım teslim yaşam döngüsündeki sıkıcı ve tekrarlayan görevleri hafifletebileceğini söyledi. Ayrıca yapay zekanın kod incelemelerini, güvenlik açığı testlerini, hata düzeltmelerini otomatikleştirebileceğini ve hatta derlemeler ve dağıtımlar için CI/CD işlem hatları oluşturabileceğini söyledi. Mayıs ayında yaptığım başka bir sohbete göre yapay zeka aynı zamanda geliştirici üretkenliğini de değiştiriyor. Yapı otomasyonu aracı Gradle'dan Trisha Gee, yapay zekanın ortak kod yazmak gibi tekrarlanan görevlerde harcanan zamanı azaltarak ve geliştiricilerin kodun iş ihtiyaçlarını karşıladığından emin olmak gibi büyük resme odaklanmasına olanak tanıyarak geliştirmeyi hızlandırabileceğini söyledi.
Web3 gitti, büyük model geliştirme yığını geliyor
Ortaya çıkan LLM geliştirme teknolojisi yığınında, düzenleme çerçeveleri (LangChain ve LlamaIndex), vektör veritabanları ve Humanloop gibi "oyun alanı" platformları gibi bir dizi yeni ürün türü görüyoruz. Bunların tümü, bu çağın temel teknolojisi olan büyük dil modellerini genişletiyor ve/veya tamamlıyor.
Tıpkı önceki yıllarda Spring Cloud ve Kubernetes gibi bulut tabanlı dönem araçlarının yükselişi gibi. Ancak şu anda bulut tabanlı çağdaki büyük, küçük ve en iyi şirketlerin neredeyse tamamı, araçlarını yapay zeka mühendisliğine uyarlamak için ellerinden gelenin en iyisini yapmaya çalışıyor ve bu, LLM teknoloji yığınının gelecekteki gelişimi için çok faydalı olacak.
Evet, bu sefer büyük model "devlerin omuzlarında duruyor" gibi görünüyor. Bilgisayar teknolojisindeki en iyi yenilikler her zaman önceki temeller üzerine kuruludur. Belki de "Web3" devrimi bu yüzden başarısız oldu; önceki neslin üzerine inşa etmekten ziyade onu gasp etmeye çalışıyordu.
LLM teknoloji yığınının bunu başarmış gibi göründüğü açıktır; bu, bulut geliştirme çağından daha yeni, yapay zeka tabanlı geliştirici ekosistemine bir köprüdür.
Referans bağlantıları: