Patronus AI: Lightspeed America, büyük model güvenlik sorunlarını çözmek için kurumsal pazarı hedefleyen 3 milyon ABD doları değerinde bir yatırıma öncülük ediyor
"Büyük işletmelerin AI hatalarını tespit etmek ve bunları önlemek için çok fazla para yatırması gerekiyor. Aynı zamanda bu aşamada standart LLM test çerçevesi eksikliği var. Bu nedenle LLM'nin değerlendirmesi ölçeklenebilir değil ve etkisi Bu iyi değil. Bu aynı zamanda kuruluşların AI ürünlerini dağıtırken performansına da yol açar.
Patronus AI, LLM'nin otomatik değerlendirme ve güvenlik platformunu oluşturarak kuruluşların AI ürünlerini güvenli bir şekilde dağıtmalarını sağlamayı ve böylece Gen-AI'nin yaygın şekilde benimsenmesini teşvik etmeyi umuyor. "
Duygusal düşünme
Yazının içeriğine göre daha farklı çıkarımlar ve düşünceler ortaya koymaya çalışıyoruz ve görüş alışverişlerini memnuniyetle karşılıyoruz.
▪ Kurumsal düzeyde büyük modellerin uygulanmasındaki sıkıntılı noktalar: Transformatör otoregresif formülünü kullanarak aşağıdakilerin tahmini esas olarak olasılıksal bir modeldir ve oluşturulan içeriğin belirsizliğinin değerlendirilmesi, model kapasitesi doğrulamasının anahtarıdır. Aynı zamanda akademik indeks değerlendirmesi kurumsal düzeydeki saha uygulamalarına uyarlanamamakta, daha ürün odaklı, çok modelli bir otomatik değerlendirme platformuna ihtiyaç duyulmaktadır.
▪ Üretim içeriğinde doğruluk ve belirsizliğin nasıl dengeleneceği ve LLM yeteneklerinin iş talebi senaryolarına göre nasıl güçlendirileceği, model değerlendirme platformlarının ve kurumsal düzeyde Nesil Yapay Zeka uygulamalarının sanatıdır.
Bu yazı toplam 2115 kelimeden oluşmaktadır.Dikkatlice okumak yaklaşık 5 dakikanızı alır.
Kullanıcılar üretken yapay zekayı benzeri görülmemiş bir oranda benimsiyor. ChatGPT şimdiye kadarki en hızlı büyüyen tüketici ürünüdür: piyasaya sürülmesinden sonraki ilk iki ayda 100 milyondan fazla kullanıcının ilgisini çekmiştir. Yapay zeka bu yıl ilgi odağı oldu. Ancak aynı zamanda işletmeler, yapay zeka ürünlerinin hızla yaygınlaştırılmasıyla karşı karşıya kalırken temkinli bir tutum sergiledi. Büyük dil modellerinin neden olabileceği hatalar konusunda endişeleniyorlar. Ne yazık ki, dil modellerini değerlendirme ve incelemeye yönelik mevcut çabaların ölçeklendirilmesi zor ve verimsizdir. Patronus kendisini bunu değiştirmeye adamıştır ve misyonu kurumsal olarak üretken yapay zekaya olan güveni artırmaktır.
Patronus AI'nın kuruluş geçmişi
Patronus'un iki kurucusu Rebecca ve Anand birbirlerini yaklaşık 10 yıldır tanıyorlar. Chicago Üniversitesi'nde birlikte bilgisayar bilimi okuduktan sonra Rebecca, NLP ve ALGN ile ilgili araştırmalara liderlik etmek için Meta AI'ya (FAIR) katıldı; Anand ise Meta Reality Laboratuvarlarında erken nedensel çıkarım ve deneysel temeller geliştirdi. Meta'da ikili, makine öğrenimi çıktısını değerlendirme ve yorumlamanın zorluğunu ilk elden deneyimledi; Rebecca araştırma perspektifinden, Anand ise uygulama perspektifinden.
OpenAI CTO'su Meera Murati, geçtiğimiz Kasım ayında Twitter'da ChatGPT'nin yayınlandığını duyurduğunda Anand, haberi 5 dakika içinde Rebecca'ya iletti. Bunun dönüşümsel bir an olduğunun ve şirketlerin dil modellerini çeşitli senaryolara kesinlikle hızlı bir şekilde uygulayacağının farkındalar. Bu yüzden Anand, kardeşinin çalıştığı yatırım bankası Piper Sandler'ın OpenAI'ye dahili erişimi yasakladığını duyduğunda şaşırdı. Sonraki birkaç ay boyunca, geleneksel şirketlerin bu teknolojiyle çok dikkatli bir şekilde ilerlediğini birçok kez duydular.
NLP teknolojisinin önemli ilerlemeler kaydetmesine rağmen gerçek kurumsal uygulamalardan hâlâ uzak olduğunu fark ettiler. Herkes üretken yapay zekanın çok faydalı olduğu konusunda hemfikir ama kimse onu doğru şekilde nasıl kullanacağını bilmiyor. Yapay zeka değerlendirmesinin ve güvenliğinin önümüzdeki yıllarda en önemli konular olacağının farkındalar.
Ekip ve finansman durumu
Patronus 14, 23 Eylül'de Lightspeed Venture Partners'tan tohum turu finansmanı olarak 3 milyon ABD doları aldığını duyurdu. Factorial Capital, Replit CEO'su Amjad Masad, Gokul Rajaram, Michael Callahan, Prasanna Gopalakrishnan, Suja Chandrasekaran, vb. de katıldı. yatırım. Bu yatırımcılar, kurumsal güvenlik ve yapay zeka alanında kıyaslama şirketlerine yatırım yapma ve bunları işletme konusunda geniş deneyime sahiptir.
Patronus'un kurucu ekibi, Facebook Yapay Zeka Araştırması (FAIR), Airbnb, Meta Reality Labs ve niceliksel kurumlar da dahil olmak üzere en iyi ML (makine öğrenimi) uygulama ve araştırma geçmişlerinden gelmektedir. En iyi yapay zeka konferanslarında (NeurIPS, EMNLP, ACL) NLP araştırma makaleleri yayınladılar, Airbnb'nin ilk konuşmaya dayalı yapay zeka asistanını tasarlayıp piyasaya sürdüler, Meta Reality Laboratuvarlarında nedensel çıkarımlara öncülük ettiler ve Mark Cuban destekli Kantitatif riskten korunma fonu çıkışlarından 0→1 ürünlerinden çıktılar hızlı büyüyen girişimlerde.
Patronus'un danışmanlığını Contextual AI CEO'su ve aynı zamanda HuggingFace'in eski araştırma direktörü olan Stanford Üniversitesi'nde yardımcı profesör olan Douwe Kiela yapıyor. Douwe, NLP alanında, özellikle değerlendirme, kıyaslama ve RAG konularında öncü araştırmalar yapmıştır.
Patronus AI'nın çözdüğü sorunlar
Mevcut büyük dil modeli değerlendirmesi ölçeklenebilir değildir ve aşağıdaki nedenlerden dolayı düşük performans göstermektedir:
Manuel değerlendirme yavaş ve maliyetlidir. Büyük kuruluşlar, yapay zekadaki hataları manuel olarak kontrol etmek için binlerce dahili test uzmanı ve harici danışmanı işe almak için milyonlarca dolar harcıyor. Yapay zeka ürünlerini dağıtmak isteyen mühendisler, manuel olarak test setleri oluşturmak ve yapay zeka çıktılarını kontrol etmek için haftalar harcıyor.
Büyük dil modellerinin deterministik olmayan doğası, başarısızlıkların tahmin edilmesini zorlaştırır. Büyük dil modelleri olasılıksal sistemlerdir. Giriş aralığı sınırlı olmadığından (bağlam uzunluğu sınırı dahilinde) geniş bir saldırı yüzeyi sağlar. Bu nedenle başarısızlığın nedeni çok karmaşık olacaktır.
Şu anda büyük dil modelleri için standart bir test çerçevesi bulunmamaktadır. Yazılım testi, birim test çerçeveleri, büyük kalite kontrol ekipleri ve sürüm döngüleri dahil olmak üzere geleneksel mühendislik iş akışlarına derinlemesine entegre edilmiştir, ancak şirketler henüz büyük dil modelleri için benzer süreçler geliştirmemiştir. Büyük dil modeli hatalarının sürekli ve ölçeklenebilir değerlendirilmesi, tanımlanması ve belgelenmesi ve performans kıyaslaması, büyük dil modellerinin üretimde kullanımı açısından kritik öneme sahiptir.
Akademik kriterler gerçek dünyadaki durumları yansıtmaz. Kuruluşlar şu anda büyük dil modellerini akademik ölçütlerde (HELM, GLUE, SuperGLUE vb.) test etmektedir, ancak bu ölçütler gerçek kullanım senaryolarını yansıtamaz. Akademik kriterler doymuş olma eğilimindedir ve eğitim verilerinin sızması sorunlarından muzdariptir.
Yapay zeka başarısızlığının uzun kuyruğu çok ciddi ve son %20'lik kısım son derece zorlu. Karşıt saldırılar, büyük dil modellerinin güvenlik sorununun çözülmekten çok uzak olduğunu göstermiştir. Genel amaçlı önceden eğitilmiş dil modelleri güçlü temel yetenekler gösterse bile hala çok sayıda bilinmeyen hata durumu vardır. Patronus, çekişmeli model değerlendirmesi ve sağlamlığı üzerine birçok çığır açıcı araştırma yaptı, ancak bu sadece başlangıç.
Patronus AI'nin Misyonu
Patronus AI'nin misyonu, kurumsal olarak üretken yapay zekaya olan güveni artırmaktır.
Patronus AI, büyük dil modelleri için sektörün ilk otomatik değerlendirme ve güvenlik platformudur. Müşteriler, AI ürünlerini güvenli bir şekilde dağıtmak amacıyla büyük dil modeli hatalarını geniş ölçekte tespit etmek için Patronus AI'yı kullanıyor.
Platform otomatik olarak şunları gerçekleştirir:
Puanlama: Gerçek dünya senaryolarında model performansını ve halüsinasyon ve güvenlik gibi temel ölçümleri değerlendirin.
Testler oluştur: Otomatik olarak büyük ölçekli rakip test setleri oluşturun.
Karşılaştırma: Müşterilerin belirli bir kullanım durumu için en iyi modeli belirlemesine yardımcı olmak amacıyla modelleri karşılaştırın.
Patronus, sürekli olarak güncellenen modellere, verilere ve kullanıcı ihtiyaçlarına uyum sağlamak için sık sık yapılan değerlendirmeler beklemektedir. Nihai hedef bir güvenilirlik işareti elde etmektir. Hiçbir şirket, kullanıcılarının beklenmedik başarısızlıklardan, hatta olumsuz baskı ve düzenleme sorunlarından memnun olmadığını görmek istemez.
Ayrıca Patronus, kullanıcıların tarafsız ve bağımsız bir bakış açısına ihtiyaç duyduğu güvenilir üçüncü taraf değerlendiriciler arıyor. Patronus herkesin onu yapay zekanın Moody's'i olarak düşünmesini istiyor.
Patronus'un mevcut ortakları arasında önde gelen AI şirketleri Cohere, Nomic ve Naologic bulunmaktadır. Ayrıca birçok finansal hizmet şirketi gibi tanınmış geleneksel endüstri şirketleri de pilot projeler yürütmek üzere Patronus AI ile görüşmelerde bulunuyor.
O güzel geceye nazikçe girme,
Öfkelenmek,
ışığın ölmesine karşı öfke.
—— Dylan Thomas (1954)
Referanslar
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Patronus AI: Lightspeed America, büyük model güvenlik sorunlarını çözmek için kurumsal pazarı hedefleyen 3 milyon ABD doları değerinde bir yatırıma öncülük ediyor
**Kaynak: **SenseAI Derin Düşünce Çemberi
Duygusal düşünme
Yazının içeriğine göre daha farklı çıkarımlar ve düşünceler ortaya koymaya çalışıyoruz ve görüş alışverişlerini memnuniyetle karşılıyoruz.
▪ Kurumsal düzeyde büyük modellerin uygulanmasındaki sıkıntılı noktalar: Transformatör otoregresif formülünü kullanarak aşağıdakilerin tahmini esas olarak olasılıksal bir modeldir ve oluşturulan içeriğin belirsizliğinin değerlendirilmesi, model kapasitesi doğrulamasının anahtarıdır. Aynı zamanda akademik indeks değerlendirmesi kurumsal düzeydeki saha uygulamalarına uyarlanamamakta, daha ürün odaklı, çok modelli bir otomatik değerlendirme platformuna ihtiyaç duyulmaktadır.
▪ Üretim içeriğinde doğruluk ve belirsizliğin nasıl dengeleneceği ve LLM yeteneklerinin iş talebi senaryolarına göre nasıl güçlendirileceği, model değerlendirme platformlarının ve kurumsal düzeyde Nesil Yapay Zeka uygulamalarının sanatıdır.
Bu yazı toplam 2115 kelimeden oluşmaktadır.Dikkatlice okumak yaklaşık 5 dakikanızı alır.
Kullanıcılar üretken yapay zekayı benzeri görülmemiş bir oranda benimsiyor. ChatGPT şimdiye kadarki en hızlı büyüyen tüketici ürünüdür: piyasaya sürülmesinden sonraki ilk iki ayda 100 milyondan fazla kullanıcının ilgisini çekmiştir. Yapay zeka bu yıl ilgi odağı oldu. Ancak aynı zamanda işletmeler, yapay zeka ürünlerinin hızla yaygınlaştırılmasıyla karşı karşıya kalırken temkinli bir tutum sergiledi. Büyük dil modellerinin neden olabileceği hatalar konusunda endişeleniyorlar. Ne yazık ki, dil modellerini değerlendirme ve incelemeye yönelik mevcut çabaların ölçeklendirilmesi zor ve verimsizdir. Patronus kendisini bunu değiştirmeye adamıştır ve misyonu kurumsal olarak üretken yapay zekaya olan güveni artırmaktır.
Patronus AI'nın kuruluş geçmişi
Patronus'un iki kurucusu Rebecca ve Anand birbirlerini yaklaşık 10 yıldır tanıyorlar. Chicago Üniversitesi'nde birlikte bilgisayar bilimi okuduktan sonra Rebecca, NLP ve ALGN ile ilgili araştırmalara liderlik etmek için Meta AI'ya (FAIR) katıldı; Anand ise Meta Reality Laboratuvarlarında erken nedensel çıkarım ve deneysel temeller geliştirdi. Meta'da ikili, makine öğrenimi çıktısını değerlendirme ve yorumlamanın zorluğunu ilk elden deneyimledi; Rebecca araştırma perspektifinden, Anand ise uygulama perspektifinden.
OpenAI CTO'su Meera Murati, geçtiğimiz Kasım ayında Twitter'da ChatGPT'nin yayınlandığını duyurduğunda Anand, haberi 5 dakika içinde Rebecca'ya iletti. Bunun dönüşümsel bir an olduğunun ve şirketlerin dil modellerini çeşitli senaryolara kesinlikle hızlı bir şekilde uygulayacağının farkındalar. Bu yüzden Anand, kardeşinin çalıştığı yatırım bankası Piper Sandler'ın OpenAI'ye dahili erişimi yasakladığını duyduğunda şaşırdı. Sonraki birkaç ay boyunca, geleneksel şirketlerin bu teknolojiyle çok dikkatli bir şekilde ilerlediğini birçok kez duydular.
NLP teknolojisinin önemli ilerlemeler kaydetmesine rağmen gerçek kurumsal uygulamalardan hâlâ uzak olduğunu fark ettiler. Herkes üretken yapay zekanın çok faydalı olduğu konusunda hemfikir ama kimse onu doğru şekilde nasıl kullanacağını bilmiyor. Yapay zeka değerlendirmesinin ve güvenliğinin önümüzdeki yıllarda en önemli konular olacağının farkındalar.
Ekip ve finansman durumu
Patronus 14, 23 Eylül'de Lightspeed Venture Partners'tan tohum turu finansmanı olarak 3 milyon ABD doları aldığını duyurdu. Factorial Capital, Replit CEO'su Amjad Masad, Gokul Rajaram, Michael Callahan, Prasanna Gopalakrishnan, Suja Chandrasekaran, vb. de katıldı. yatırım. Bu yatırımcılar, kurumsal güvenlik ve yapay zeka alanında kıyaslama şirketlerine yatırım yapma ve bunları işletme konusunda geniş deneyime sahiptir.
Patronus'un kurucu ekibi, Facebook Yapay Zeka Araştırması (FAIR), Airbnb, Meta Reality Labs ve niceliksel kurumlar da dahil olmak üzere en iyi ML (makine öğrenimi) uygulama ve araştırma geçmişlerinden gelmektedir. En iyi yapay zeka konferanslarında (NeurIPS, EMNLP, ACL) NLP araştırma makaleleri yayınladılar, Airbnb'nin ilk konuşmaya dayalı yapay zeka asistanını tasarlayıp piyasaya sürdüler, Meta Reality Laboratuvarlarında nedensel çıkarımlara öncülük ettiler ve Mark Cuban destekli Kantitatif riskten korunma fonu çıkışlarından 0→1 ürünlerinden çıktılar hızlı büyüyen girişimlerde.
Patronus'un danışmanlığını Contextual AI CEO'su ve aynı zamanda HuggingFace'in eski araştırma direktörü olan Stanford Üniversitesi'nde yardımcı profesör olan Douwe Kiela yapıyor. Douwe, NLP alanında, özellikle değerlendirme, kıyaslama ve RAG konularında öncü araştırmalar yapmıştır.
Patronus AI'nın çözdüğü sorunlar
Mevcut büyük dil modeli değerlendirmesi ölçeklenebilir değildir ve aşağıdaki nedenlerden dolayı düşük performans göstermektedir:
Manuel değerlendirme yavaş ve maliyetlidir. Büyük kuruluşlar, yapay zekadaki hataları manuel olarak kontrol etmek için binlerce dahili test uzmanı ve harici danışmanı işe almak için milyonlarca dolar harcıyor. Yapay zeka ürünlerini dağıtmak isteyen mühendisler, manuel olarak test setleri oluşturmak ve yapay zeka çıktılarını kontrol etmek için haftalar harcıyor.
Büyük dil modellerinin deterministik olmayan doğası, başarısızlıkların tahmin edilmesini zorlaştırır. Büyük dil modelleri olasılıksal sistemlerdir. Giriş aralığı sınırlı olmadığından (bağlam uzunluğu sınırı dahilinde) geniş bir saldırı yüzeyi sağlar. Bu nedenle başarısızlığın nedeni çok karmaşık olacaktır.
Şu anda büyük dil modelleri için standart bir test çerçevesi bulunmamaktadır. Yazılım testi, birim test çerçeveleri, büyük kalite kontrol ekipleri ve sürüm döngüleri dahil olmak üzere geleneksel mühendislik iş akışlarına derinlemesine entegre edilmiştir, ancak şirketler henüz büyük dil modelleri için benzer süreçler geliştirmemiştir. Büyük dil modeli hatalarının sürekli ve ölçeklenebilir değerlendirilmesi, tanımlanması ve belgelenmesi ve performans kıyaslaması, büyük dil modellerinin üretimde kullanımı açısından kritik öneme sahiptir.
Akademik kriterler gerçek dünyadaki durumları yansıtmaz. Kuruluşlar şu anda büyük dil modellerini akademik ölçütlerde (HELM, GLUE, SuperGLUE vb.) test etmektedir, ancak bu ölçütler gerçek kullanım senaryolarını yansıtamaz. Akademik kriterler doymuş olma eğilimindedir ve eğitim verilerinin sızması sorunlarından muzdariptir.
Yapay zeka başarısızlığının uzun kuyruğu çok ciddi ve son %20'lik kısım son derece zorlu. Karşıt saldırılar, büyük dil modellerinin güvenlik sorununun çözülmekten çok uzak olduğunu göstermiştir. Genel amaçlı önceden eğitilmiş dil modelleri güçlü temel yetenekler gösterse bile hala çok sayıda bilinmeyen hata durumu vardır. Patronus, çekişmeli model değerlendirmesi ve sağlamlığı üzerine birçok çığır açıcı araştırma yaptı, ancak bu sadece başlangıç.
Patronus AI'nin Misyonu
Patronus AI'nin misyonu, kurumsal olarak üretken yapay zekaya olan güveni artırmaktır.
Patronus AI, büyük dil modelleri için sektörün ilk otomatik değerlendirme ve güvenlik platformudur. Müşteriler, AI ürünlerini güvenli bir şekilde dağıtmak amacıyla büyük dil modeli hatalarını geniş ölçekte tespit etmek için Patronus AI'yı kullanıyor.
Platform otomatik olarak şunları gerçekleştirir:
Puanlama: Gerçek dünya senaryolarında model performansını ve halüsinasyon ve güvenlik gibi temel ölçümleri değerlendirin.
Testler oluştur: Otomatik olarak büyük ölçekli rakip test setleri oluşturun.
Karşılaştırma: Müşterilerin belirli bir kullanım durumu için en iyi modeli belirlemesine yardımcı olmak amacıyla modelleri karşılaştırın.
Patronus, sürekli olarak güncellenen modellere, verilere ve kullanıcı ihtiyaçlarına uyum sağlamak için sık sık yapılan değerlendirmeler beklemektedir. Nihai hedef bir güvenilirlik işareti elde etmektir. Hiçbir şirket, kullanıcılarının beklenmedik başarısızlıklardan, hatta olumsuz baskı ve düzenleme sorunlarından memnun olmadığını görmek istemez.
Ayrıca Patronus, kullanıcıların tarafsız ve bağımsız bir bakış açısına ihtiyaç duyduğu güvenilir üçüncü taraf değerlendiriciler arıyor. Patronus herkesin onu yapay zekanın Moody's'i olarak düşünmesini istiyor.
Patronus'un mevcut ortakları arasında önde gelen AI şirketleri Cohere, Nomic ve Naologic bulunmaktadır. Ayrıca birçok finansal hizmet şirketi gibi tanınmış geleneksel endüstri şirketleri de pilot projeler yürütmek üzere Patronus AI ile görüşmelerde bulunuyor.
O güzel geceye nazikçe girme,
Öfkelenmek,
ışığın ölmesine karşı öfke.
—— Dylan Thomas (1954)
Referanslar