Resim kaynağı: Unbounded AI aracı tarafından oluşturulmuştur
Henüz birkaç hafta önce kurulmuş bir ekip, 105 milyon Euro'luk finansmanı hiçbir ürün, kullanıcı ve operasyonel deneyim olmadan tamamladı. Bu not (not), Light Speed'i, eski Google CEO'su Eric Schmidt'i ve diğerlerini ikna etmesine yardımcı oldu. Not, Avrupa pazarını, yapay zeka güvenliğini, uyumluluğu ve diğer hususları vurgulamaktadır.Mistral, OpenAI'den tamamen farklı bir açık kaynak rotası kullanmalarının sonunda kendisine avantajlar oluşturmasına ve aşmayı başarmasına izin vereceğine inanıyor. Okuduğum kadarıyla bu not açıkça çok ustaca yazılmış ve ayrıca bazı blöf unsurları içeriyor. Finansmanı tamamlamak için Avrupa toplumunun büyük dil modeline ilişkin mevcut FOMO zihniyetinden iyi bir şekilde yararlandı.
Mistral, güney Fransa'da kuru ve kuvvetli kuzeybatı soğuk rüzgarına atıfta bulunmaya isteklidir ve aynı zamanda Fransız yapımı bir amfibi saldırı gemisinin adıdır. Bu, dünyanın önde gelen amfibi hücum gemisi. İsim, Fransız gururunu temsil ediyor. Kurucu ekibin altı üyesinin hepsi Fransa'dan.Onu büyük bir Avrupa dili modeli olarak anlamak yerine, bence daha çok büyük bir Fransızca dili modeli şirketi gibi. İyi bir Avrupa hikayesi anlatıyor ama Avrupa'daki tek hikaye bu olmayacak.
Memo'yu bir tartışma grubunda gördüm. Memo'nun içeriğinin artık gizli tutulması gerekmediğini onayladıktan sonra, tam metnini çevirmek için ChatGPT'yi kullandım ve ardından içeriğin bir kısmını düzeltip yeniden tercüme ettim.
mistral.ai Stratejik Notu
Yazar: mistral.ai
Tercüme: ChatGPT, Wang Chao
Üretken yapay zeka dönüştürücü bir teknolojidir
Geçen yıl, üretici yapay zekada (metin ve resimlerden metin/resim üretebilen sistemler) olağanüstü bir hızlanma gördük. Bu sistemler insanlara yardımcı olabilir:
● Mükemmel ve yenilikçi içerik (metin, kod, grafik) üretin
● Yapılandırılmamış içerik akışlarını insanlardan binlerce kez daha hızlı okuyun, işleyin ve özetleyin
● İş akışlarını her zamankinden daha hızlı yürütmek için doğal dil veya API'ler aracılığıyla dünyayla etkileşim kurun.
Üretken yapay zekanın güçlü yetenekleri, ChatGPT'nin piyasaya sürülmesinden sonra aniden halka açıklandı. Bu tür ürünler dünyada sadece birkaç küçük ekip tarafından üretilmekte ve bu ekiplerdeki sınırlı sayıda araştırmacı bu alanda yeni bir ekonominin oluşmasını engelleyen bir darboğaza dönüşmüştür.
Üretken yapay zeka, tüm endüstrilerde üretkenliği artırmak ve insan zihninin makine yeteneklerini sorunsuz bir şekilde artırarak yeni bir endüstri yaratmak üzeredir (2022'de 10 milyar dolarlık pazar, 2030'da 110 milyar dolara ulaşacağı tahmin ediliyor, yıllık %35 büyüme oranı öngörülüyor). Dünya ekonomisi için işin doğasını değiştirecek ve olumlu sosyal değişim getirecek dönüştürücü bir teknolojidir.
Yapım aşamasındaki oligopol
Üretken yapay zeka teknikleri, endüstri ve akademide yıllarca süren araştırmalara dayanmaktadır. Eğitimi internet ölçeğindeki verilere ölçeklendirerek ve modeli insan geri bildirimleriyle düzelterek, teknolojiyi kitleler için erişilebilir kılan atılımlar, en büyüğü (OpenAI) gibi görünen bir avuç endüstri oyuncusu tarafından gerçekleştirildi. Market.
Bu az sayıdaki oyuncu üretken modelleri eğitir ve bunları varlık olarak kullanır; üretkenlik iyileştirmeleri için ürünler oluşturan binlerce üçüncü tarafa ve ayrıca sohbet robotları gibi kendi ürünleri aracılığıyla genel halka hizmet ederler. Bu üretken modellere dayalı olarak çeşitli hizmetler oluşturmak için çok sayıda üçüncü taraf girişim hala oluşturulmaktadır.
**Gelişmekte olan üretken yapay zeka pazarındaki değerin çoğunun, üretimi zor teknolojiden, üretken modellerin kendisinden geldiğine inanıyoruz. **Bu modellerin, birinci yüksek çıtayı oluşturan yüksek kaliteli kaynaklardan trilyonlarca veri işleyen binlerce güçlü makine üzerinde eğitilmesi gerekir. İkinci önemli engel deneyimli bir ekip oluşturmanın zorluğudur ve mistral.ai bunu yapmak için iyi bir konumdadır.
Şu anda (GLM) tüm büyük oyuncular ABD'de bulunmaktadır, Avrupa'da henüz ciddi bir rakibi yoktur. Bu yeni teknolojinin ne kadar güçlü (ve tehlikeli) olduğu göz önüne alındığında, bu önemli bir jeopolitik sorudur. mistral.ai, üretkenliği ve yaratıcılığı artıran ve yaklaşan yeni sanayi devrimine rehberlik eden yapay zeka alanında Avrupa lideri olacak.
Mevcut üretken yapay zeka, pazar ihtiyaçlarını karşılamıyor
OpenAI ve mevcut rakipleri, pazar kapsamlarını önemli ölçüde sınırlayacak kapalı bir teknoloji yolu seçtiler. Bu yaklaşımda, model gizli tutulur ve yalnızca bir metinden metne API aracılığıyla sunulur. Bu, iş için aşağıdaki önemli soruları gündeme getiriyor:
● Üretken yapay zeka tekniklerini kullanmak isteyen kuruluşlar, değerli iş verilerini ve hassas kullanıcı verilerini, genellikle genel bulutta devreye alınan bir kara kutu modeline sağlamak zorunda kalır. Bu bir güvenlik sorunu oluşturur: Gizli tutulan bir model, çıktısının güvenli olduğundan emin olmak için kontrol edilemez ve böyle bir model, güvenlik açısından kritik bir uygulamada konuşlandırılamaz. Bu durum, özellikle bir şirketin kişisel verileri yasal sınırları dışına aktardığı ve sınır ötesi yasalara tabi olabileceği durumlarda hukuki sorunları da gündeme getirmektedir.
● Tam model yerine yalnızca model çıktısının gösterilmesi, diğer bileşenlerle (alma veritabanı, yapılandırılmış girdi, görüntüler ve sesler) arabirim oluşturmayı zorlaştırır. Halihazırda, modellerin çıktılarını ve girdilerini birbirine bağlayarak bileşik yetenekler (ör. bellek, görme vb.) oluşturan yüzlerce ürün bulunmaktadır. Modelin beyaz kutu (şeffaf model) olarak sağlanabilmesi durumunda bu ürünler daha iyi ve daha hızlı çalışacaktır (örneğin The Flamingo, beyaz kutunun görsel ve metin modellerini bir metin+görsel modele entegre eder).
● Modeli eğitmek için kullanılan veriler gizlidir, yani kaynağı belirsiz ve kontrol edilemeyen çıktılar üretebilen sistemlere güveniyoruz. Bu sorunu çözmeye yönelik filtreleme çabaları, modelin yapmak üzere eğitilmiş olabileceği hassas içeriği çıkarmayacağının yalnızca zayıf ve kırılgan garantilerini sağlar. Bu sorun, ChatGPT'nin Nisan 2023'te İtalya'da yasaklanmasına yol açtı.
Pazar düzenini Avrupa'dan ayırın
mistral.ai'yi kurarak, mevcut kapalı modellerden gelişmiş modelleri eğitmek için tamamen zıt bir duruş almayı planlıyoruz. **Vizyonumuz, yüksek değerli bir iş geliştirmek için bu modelleri Avrupa'da ve daha geniş endüstride entegre ederken, alanında lider bir oyuncu olmaktır. **
**mistral.ai, üretici yapay zeka alanında araştırma lideri olacak ve dört yıl içinde pazarda yapay zeka teknolojisinin lider sağlayıcısı olacak. **Bu hedefe ulaşmak için önce birkaç temel ayırt edici özelliğe odaklanacağız ve ardından insanlar için pratik değeri olan yapay zekaya doğru ilerlemek için en etkili stratejileri seçmek üzere kapsamlı bir Ar-Ge çalışması yürüteceğiz.
Önce Avrupa pazarına odaklanmak bize savunma avantajı sağlayacak ve teknoloji rotasındaki açık duruşumuz çekiciliğimizi daha da artıracaktır. Büyük Dil Modelleme (LLM) alanındaki en parlak beyinlerin çoğu Avrupalı; kapsamlı deneyimimiz, birçoğunun projemize katılmak istediğini gösteriyor.
Karşı Teknik Konumlandırma
Rakiplerimizin stratejilerindeki kör noktalar olan erken farklılıklarımız şunlardı:
● **Model geliştirmeye daha açık bir yaklaşım benimseyin. **Modeli, rekabetten önemli ölçüde daha iyi performans gösterecek izin veren bir açık kaynak yazılım lisansı altında yayınlayacağız. Bu beyaz kutu modellerinin gücünden yararlanmak ve markamız etrafında bir geliştirici topluluğu oluşturmak için araçlar yayınlayacağız. Bu yaklaşım, ideolojik olarak OpenAI'den çok farklıdır, bu, en iyi araştırmacıları daha iyi çekecek ve projenin gelişimi için güçlü bir ivme olacaktır, çünkü birçok Hevesli geliştiricinin kapıyı açmasını sağlayacaktır. Bu, iş geliştirme kapsamımızı artıracaktır. Açık kaynak stratejimizi mali çıkarlarla dengeleyeceğiz, en güçlü ve profesyonel modelleri ödeme yapan kullanıcılara ayıracağız.
○ Fonların %1'ini açık kaynak topluluk geliştirmeden sorumlu kar amacı gütmeyen vakıflara ayıracağız.
● İster açık kaynaklı ister lisanslı olsun, modellerimizin dahili özellikleri (mimari ve eğitimli ağırlıklar) her zaman müşterilerimize açıktır. **Bu, müşterilerin iş akışlarıyla daha sıkı entegrasyona olanak tanır, her şeyi bir kara kutu API'sine giriş metni olarak seri hale getirmek yerine, içerikleri derin modelin farklı bölümlerine beslenebilir. **
● **Veri kaynağına ve veri kontrolüne daha fazla odaklanma. **Modellerimiz, lisans sözleşmesi müzakere edeceğimiz yüksek kaliteli veri içeriği (kazıma içerik dışında) konusunda eğitilecektir. Bu, Llama gibi şu anda mevcut olan modellerden daha iyi modeller yetiştirmemizi sağlayacaktır. Derin katılım teknikleri (hibrit uzmanlar ve alma ile artırılmış modeller) kullanarak, isteğe bağlı veri kaynağı erişimi olan modeller sağlayacağız: ücretli premium kullanıcılar için, belirli modeller finans/hukuk/vb. alanlara ayrılabilir (bu, önemli bir performans artışı sağlar). Benzer teknikleri kullanan modelimiz, farklı kurumsal fikri mülkiyet haklarına sahip çalışanlar için anında farklılaştırılmış veri erişimi sağlayabilecektir.
● **Rakipsiz güvenlik ve gizlilik garantisi sağlayın. **Modelimiz, özel bir bulutta ve isteğe bağlı olarak doğrudan cihazda kurulabilir olacak ve potansiyel olarak sorunlu süreçleri ortadan kaldırarak gizlilik endişelerini etkili bir şekilde en aza indirecektir. Bu amaçla, Ar-Ge çalışmalarımızı küçük ama süper verimli modellerin yetiştirilmesine yönlendirerek, pazardaki en yüksek kalite/maliyet oranına sahip modelleri etkin bir şekilde önereceğiz. Açık kaynak stratejimiz, özellikle ikili ve sağlık olmak üzere kilit sektörlere uygulandığında modellerimizin denetlenebilirliğini de sağlayacaktır.
İş Geliştirme
İş açısından, gelişmekte olan bir hizmet olarak yapay zeka endüstrisi için en değerli teknik modülleri sağlayacağız ve iş akışını tamamen değiştirmek için üretken yapay zekayı kullanacağız. Avrupalı entegratörler ve endüstriyel müşterilerle entegre çözümler oluşturacağız ve Avrupa'da yapay zekadan yararlanmak isteyen tüm şirketler için ana araç olmak üzere onlardan son derece değerli geri bildirimler alacağız.
Sektörlerle entegrasyon, modellere tam erişim lisansları (eğitilmiş ağırlıklar dahil), talebe dayalı modellerin uzmanlaşması, tamamen entegre çözümler oluşturmak için entegratörlerle/danışmanlık firmalarıyla ticari sözleşmeler dahil olmak üzere farklı pazar biçimleri alabilir. Yol haritamızda ayrıntılı olarak belirtildiği gibi, teknoloji geliştikçe en iyi yaklaşımları keşfedecek ve belirleyeceğiz.
Yapay zeka alanında nasıl lider olunur
En İyi Takım
Kurucu ekip, alanında DeepMind ve Meta'da çalışmış en iyi araştırmacıların yanı sıra deneyimli Fransız dizi girişimcileri ve etkili kamu liderlerinden oluşmaktadır.
● Arthur Mensch — CEO — DeepMind'de eski Baş Araştırma Bilimcisi, LLM'ye birkaç büyük katkının baş yazarı: Chinchilla, Retro, Flamingo
● Guillaume Lample — Baş Bilim İnsanı — Eski Meta Kıdemli Araştırma Bilimcisi. Meta'nın büyük dil modelleri alanına en büyük katkısı olan Llama projesini yönetti
● Timothée Lacroix — CTO — Meta'da eski yazılım mühendisi, Llama'da teknik lider
● Jean-Charles Samuelian ，Alan CEO'su
● Charles Gorintin，Alan CTO'su
● Cédric O, Dijital İşlerden Sorumlu eski Fransa Dışişleri Bakanı
Halihazırda belirlenen ilk beş çalışan, büyük teknoloji şirketlerinden deneyimli araştırmacılar olacak. Avrupa'ya ve açık kaynak kavramına olan hevesleri ve üretken AI'nın hızlı gelişimi nedeniyle bazı şirketlerin sürekli organizasyonel yeniden yapılanması da bu şirketlerden ayrılmaları için uygun bir zaman oluşturuyor.
Altyapı ve Veri Kaynakları
Rekabetçi bir modeli eğitmek için, exa ölçekli bir kümenin en az birkaç ay kullanılması gerekir. Bu tür bilgi işlem kaynaklarını bir yıllığına kiralamayı ve böylece farklı yeteneklere sahip açık kaynak ve ticari modeller geliştirmeyi planlıyoruz.
Bilgi işlem kaynaklarının kiralanması konusunda en iyi bulut hizmeti sağlayıcılarıyla şimdiden rekabetçi müzakereler yürütüyoruz (yaz aylarında başlamayı ve Eylül ayına kadar 1536 H100'lük bir bilgi işlem rezervi oluşturmayı planlıyoruz). mistral.ai Avrupa'da güçlü bir temele sahip olduğu için, derin öğrenme bilgi işlem hizmetlerini aktif olarak genişleten gelişmekte olan Avrupalı bulut hizmeti sağlayıcılarıyla da işbirliği yapacağız.
Daha önce büyük ölçekli modeller eğittik, bu da bize halka açık yöntemlerden 10-100 kat daha hızlı eğitme uzmanlığı sağladı - kurucularımız ve ilk çalışanlarımız, belirli bir hesaplama bütçesiyle en güçlü modeli nasıl Eğiteceklerini açıkça biliyorlardı.
İlk yatırımcılarımız aynı zamanda Avrupa'daki içerik sağlayıcılarıdır ve modellerimizi üzerinde eğitebileceğimiz ve ince ayar yapabileceğimiz yüksek kaliteli veri kümeleri edinmemiz için gerekli tüm kapıları açacaktır.
Önemli müşterilerle birlikte senaryoları keşfedin
Kurucu ekip şimdiden büyük Fransız ve Avrupa ticari kurumlarıyla ticari keşifler organize ediyor. Teknik ekip değerli teknik modülleri eğitirken, küçük bir ürün odaklı ekip (yıl sonuna kadar 6 kişi) işi büyütmeye başlayacak.
Modelleme ekibi, dikkat dağılmasını önlemek için %100 teknoloji geliştirmeye odaklanacaktır.
İş geliştirme, aşağıdaki stratejileri kullanarak birinci nesil model ailesinin geliştirilmesiyle eşzamanlı olarak başlayacaktır:
● En iyi (açık kaynak olmayan) modellerimize tam erişim verilecek 3. taraf entegratörler tarafından kolaylaştırılan, büyük endüstriyel oyuncuların ihtiyaçlarının odaklanmış keşfi
● Üretken yapay zeka ürünlerine odaklanan bazı küçük yeni iş ortaklarıyla ortak tasarım ürünleri.
İkinci nesil modelin tasarımını yönlendirmek için iş tabanlı keşif kullanılacaktır.
yol haritası
ilk yıl
İki nesil model eğiteceğiz ve model geliştirme ve ticari entegrasyon aynı anda ilerleyecek. İlk nesil, ekibin hakim olduğu teknolojiye dayanarak kısmen açık kaynak olacaktır. Müşterilerimizin, yatırımcılarımızın ve kurumlarımızın ihtiyaçlarını karşılama becerimizi doğrulayacaktır. İkinci nesil model, mevcut modelin önemli eksikliklerini gidererek işletmeler tarafından güvenli ve ekonomik bir şekilde kullanılmasını sağlayacaktır.
En iyi açık kaynaklı standart modeli eğitin
2023'ün sonuna kadar, ChatGPT 3.5 ve Bard'ın Mart 2023 sürümünün yanı sıra tüm açık kaynak çözümlerinden önemli ölçüde daha iyi performans gösterebilecek bir dizi metin oluşturma modeli eğiteceğiz.
Bu seri açık kaynak olacak; topluluğa katılarak onu açık bir standart haline getireceğiz.
Rakiplerimizle aynı hizmet arayüzünü sağlayacağız ve üçüncü taraf kullanım verilerini toplamak için bir ücret talep edeceğiz ve marka etkimizi genişletmek ve birinci taraf kullanıcı verilerini yakalamak için bazı ücretsiz tüketici uygulamaları oluşturacağız.
İş gereksinimleri için özelleştirilmiş ve farklılaştırılmış
Önümüzdeki altı ay boyunca bu modeller, içerik arama için semantik gömme modelleri ve görsel girdiyi işlemek için çok modlu eklentiler ile donatılacak. Piyasada bulunan yüksek kaliteli veri kaynakları kullanılarak yeniden eğitilen ad hoc modeller de hazırlanacaktır.
Ticari geliştirme, birinci nesil model serisinin geliştirilmesiyle eşzamanlı olarak başlayacak: 2024'ün ilk çeyreğinin sonuna kadar bir kavram kanıtı entegrasyonuna sahip olmayı amaçlıyoruz.
Teknoloji açısından, 2024'ün ilk ve ikinci çeyreğinde, yerleşik şirketler tarafından hafife alınan iki ana alana odaklanacağız:
● **16 GB'lık bir dizüstü bilgisayarda çalışacak kadar küçük bir modeli eğitirken aynı zamanda yararlı bir yapay zeka asistanı olarak hizmet edin
● Çalışırken değiştirilebilir ekstra bağlamlara sahip tren modelleri**, milyonlara kadar ekstra bağlama izin verir, dil modellerini ve alma sistemlerini etkili bir şekilde birleştirir.
Aynı zamanda eğitim ve ince ayar veri kümeleri, ortaklıklar ve veri toplama yoluyla zenginleştirilmeye devam edecek.
2024'ün 2. çeyreğinin sonunda şunları hedefliyoruz:
● Metin ve görsel çıktı ile en iyi açık kaynaklı metin üretme modelini dağıtma
● En yüksek değer/maliyet oranlarından birine sahip genel ve uzman bir modele sahiptir
● Ölçeklenebilir ve çeşitli kullanılabilir API'ler aracılığıyla üçüncü taraf entegratörler için model yetenekleri sağlayın
● Teknolojimizi kullanmayı taahhüt eden bir veya iki büyük sektör oyuncusuyla lisanslı bir ticari ilişki kurmak
Sonraki aşama
OpenAI gibi oyuncularla rekabet etmek ve onları geçmek, sonraki aşamalarda önemli yatırımlar gerektirecektir (GPT-4 birkaç yüz milyon dolara mal olur). İlk yıl için hedefimiz, küresel AI rekabetinde en büyük oyuncularla rekabet edebilecek modeller geliştirip piyasaya sürebilen en güçlü takımlardan biri olduğumuzu göstermek. Büyük ölçekli dil modeli (LLM) araştırmacıları olarak deneyimlerimiz, bu alanı keşfeden veya bu alana ilerleyen şirketlerden daha erken bir aşamada sermaye açısından daha verimli olmamızı sağlayacaktır.
Mistral.ai'nin kuzey yıldızlarından biri güvenlik olacak: Modelleri iyi hazırlanmış bir şekilde yayınlayacağız, modellerimizin yalnızca değerlerimizle tutarlı amaçlar için kullanıldığından emin olacağız ve bunun için "kırmızı ekip" beta erişimini sağlayacağız. uygunsuz davranışları tespit edin ve düzeltin.
Bunu yaparken, önemli kamu ve özel kurumları, insanlığın bu bilimsel atılımdan faydalanmasını sağlayan güvenli, kontrol edilebilir ve verimli teknolojiler geliştirebileceğimize ikna edeceğiz. Bu da kurumları ve ülkeleri A Serisi finansmanımıza katılmaya çekecektir. Seri A'da (2024 3. Çeyrek), modelleri GPT-4'ün yeteneklerinin ötesinde eğitmek için 200 milyon $ toplamamız gerektiğini düşünüyoruz.
Güçlü mali destek, modelleri çok daha geniş bir altyapı üzerinde eğitmemize olanak tanıyacak ve yapay zeka araştırmasında lider ve Avrupa sanayi sektöründe tercih edilen tedarikçi konumumuzu güçlendirecektir.
(tam metin)
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Kuruluşundan dört hafta sonra 105 milyon avro topladı ve Avrupa dil modeli mistral.ai'nin finansman muhtırasının tam metni
Kaynak: Empower Labs
Henüz birkaç hafta önce kurulmuş bir ekip, 105 milyon Euro'luk finansmanı hiçbir ürün, kullanıcı ve operasyonel deneyim olmadan tamamladı. Bu not (not), Light Speed'i, eski Google CEO'su Eric Schmidt'i ve diğerlerini ikna etmesine yardımcı oldu. Not, Avrupa pazarını, yapay zeka güvenliğini, uyumluluğu ve diğer hususları vurgulamaktadır.Mistral, OpenAI'den tamamen farklı bir açık kaynak rotası kullanmalarının sonunda kendisine avantajlar oluşturmasına ve aşmayı başarmasına izin vereceğine inanıyor. Okuduğum kadarıyla bu not açıkça çok ustaca yazılmış ve ayrıca bazı blöf unsurları içeriyor. Finansmanı tamamlamak için Avrupa toplumunun büyük dil modeline ilişkin mevcut FOMO zihniyetinden iyi bir şekilde yararlandı.
Mistral, güney Fransa'da kuru ve kuvvetli kuzeybatı soğuk rüzgarına atıfta bulunmaya isteklidir ve aynı zamanda Fransız yapımı bir amfibi saldırı gemisinin adıdır. Bu, dünyanın önde gelen amfibi hücum gemisi. İsim, Fransız gururunu temsil ediyor. Kurucu ekibin altı üyesinin hepsi Fransa'dan.Onu büyük bir Avrupa dili modeli olarak anlamak yerine, bence daha çok büyük bir Fransızca dili modeli şirketi gibi. İyi bir Avrupa hikayesi anlatıyor ama Avrupa'daki tek hikaye bu olmayacak.
mistral.ai Stratejik Notu
Yazar: mistral.ai
Tercüme: ChatGPT, Wang Chao
Üretken yapay zeka dönüştürücü bir teknolojidir
Geçen yıl, üretici yapay zekada (metin ve resimlerden metin/resim üretebilen sistemler) olağanüstü bir hızlanma gördük. Bu sistemler insanlara yardımcı olabilir:
● Mükemmel ve yenilikçi içerik (metin, kod, grafik) üretin
● Yapılandırılmamış içerik akışlarını insanlardan binlerce kez daha hızlı okuyun, işleyin ve özetleyin
● İş akışlarını her zamankinden daha hızlı yürütmek için doğal dil veya API'ler aracılığıyla dünyayla etkileşim kurun.
Üretken yapay zekanın güçlü yetenekleri, ChatGPT'nin piyasaya sürülmesinden sonra aniden halka açıklandı. Bu tür ürünler dünyada sadece birkaç küçük ekip tarafından üretilmekte ve bu ekiplerdeki sınırlı sayıda araştırmacı bu alanda yeni bir ekonominin oluşmasını engelleyen bir darboğaza dönüşmüştür.
Üretken yapay zeka, tüm endüstrilerde üretkenliği artırmak ve insan zihninin makine yeteneklerini sorunsuz bir şekilde artırarak yeni bir endüstri yaratmak üzeredir (2022'de 10 milyar dolarlık pazar, 2030'da 110 milyar dolara ulaşacağı tahmin ediliyor, yıllık %35 büyüme oranı öngörülüyor). Dünya ekonomisi için işin doğasını değiştirecek ve olumlu sosyal değişim getirecek dönüştürücü bir teknolojidir.
Yapım aşamasındaki oligopol
Üretken yapay zeka teknikleri, endüstri ve akademide yıllarca süren araştırmalara dayanmaktadır. Eğitimi internet ölçeğindeki verilere ölçeklendirerek ve modeli insan geri bildirimleriyle düzelterek, teknolojiyi kitleler için erişilebilir kılan atılımlar, en büyüğü (OpenAI) gibi görünen bir avuç endüstri oyuncusu tarafından gerçekleştirildi. Market.
Bu az sayıdaki oyuncu üretken modelleri eğitir ve bunları varlık olarak kullanır; üretkenlik iyileştirmeleri için ürünler oluşturan binlerce üçüncü tarafa ve ayrıca sohbet robotları gibi kendi ürünleri aracılığıyla genel halka hizmet ederler. Bu üretken modellere dayalı olarak çeşitli hizmetler oluşturmak için çok sayıda üçüncü taraf girişim hala oluşturulmaktadır.
**Gelişmekte olan üretken yapay zeka pazarındaki değerin çoğunun, üretimi zor teknolojiden, üretken modellerin kendisinden geldiğine inanıyoruz. **Bu modellerin, birinci yüksek çıtayı oluşturan yüksek kaliteli kaynaklardan trilyonlarca veri işleyen binlerce güçlü makine üzerinde eğitilmesi gerekir. İkinci önemli engel deneyimli bir ekip oluşturmanın zorluğudur ve mistral.ai bunu yapmak için iyi bir konumdadır.
Şu anda (GLM) tüm büyük oyuncular ABD'de bulunmaktadır, Avrupa'da henüz ciddi bir rakibi yoktur. Bu yeni teknolojinin ne kadar güçlü (ve tehlikeli) olduğu göz önüne alındığında, bu önemli bir jeopolitik sorudur. mistral.ai, üretkenliği ve yaratıcılığı artıran ve yaklaşan yeni sanayi devrimine rehberlik eden yapay zeka alanında Avrupa lideri olacak.
Mevcut üretken yapay zeka, pazar ihtiyaçlarını karşılamıyor
OpenAI ve mevcut rakipleri, pazar kapsamlarını önemli ölçüde sınırlayacak kapalı bir teknoloji yolu seçtiler. Bu yaklaşımda, model gizli tutulur ve yalnızca bir metinden metne API aracılığıyla sunulur. Bu, iş için aşağıdaki önemli soruları gündeme getiriyor:
● Üretken yapay zeka tekniklerini kullanmak isteyen kuruluşlar, değerli iş verilerini ve hassas kullanıcı verilerini, genellikle genel bulutta devreye alınan bir kara kutu modeline sağlamak zorunda kalır. Bu bir güvenlik sorunu oluşturur: Gizli tutulan bir model, çıktısının güvenli olduğundan emin olmak için kontrol edilemez ve böyle bir model, güvenlik açısından kritik bir uygulamada konuşlandırılamaz. Bu durum, özellikle bir şirketin kişisel verileri yasal sınırları dışına aktardığı ve sınır ötesi yasalara tabi olabileceği durumlarda hukuki sorunları da gündeme getirmektedir.
● Tam model yerine yalnızca model çıktısının gösterilmesi, diğer bileşenlerle (alma veritabanı, yapılandırılmış girdi, görüntüler ve sesler) arabirim oluşturmayı zorlaştırır. Halihazırda, modellerin çıktılarını ve girdilerini birbirine bağlayarak bileşik yetenekler (ör. bellek, görme vb.) oluşturan yüzlerce ürün bulunmaktadır. Modelin beyaz kutu (şeffaf model) olarak sağlanabilmesi durumunda bu ürünler daha iyi ve daha hızlı çalışacaktır (örneğin The Flamingo, beyaz kutunun görsel ve metin modellerini bir metin+görsel modele entegre eder).
● Modeli eğitmek için kullanılan veriler gizlidir, yani kaynağı belirsiz ve kontrol edilemeyen çıktılar üretebilen sistemlere güveniyoruz. Bu sorunu çözmeye yönelik filtreleme çabaları, modelin yapmak üzere eğitilmiş olabileceği hassas içeriği çıkarmayacağının yalnızca zayıf ve kırılgan garantilerini sağlar. Bu sorun, ChatGPT'nin Nisan 2023'te İtalya'da yasaklanmasına yol açtı.
Pazar düzenini Avrupa'dan ayırın
mistral.ai'yi kurarak, mevcut kapalı modellerden gelişmiş modelleri eğitmek için tamamen zıt bir duruş almayı planlıyoruz. **Vizyonumuz, yüksek değerli bir iş geliştirmek için bu modelleri Avrupa'da ve daha geniş endüstride entegre ederken, alanında lider bir oyuncu olmaktır. **
**mistral.ai, üretici yapay zeka alanında araştırma lideri olacak ve dört yıl içinde pazarda yapay zeka teknolojisinin lider sağlayıcısı olacak. **Bu hedefe ulaşmak için önce birkaç temel ayırt edici özelliğe odaklanacağız ve ardından insanlar için pratik değeri olan yapay zekaya doğru ilerlemek için en etkili stratejileri seçmek üzere kapsamlı bir Ar-Ge çalışması yürüteceğiz.
Önce Avrupa pazarına odaklanmak bize savunma avantajı sağlayacak ve teknoloji rotasındaki açık duruşumuz çekiciliğimizi daha da artıracaktır. Büyük Dil Modelleme (LLM) alanındaki en parlak beyinlerin çoğu Avrupalı; kapsamlı deneyimimiz, birçoğunun projemize katılmak istediğini gösteriyor.
Karşı Teknik Konumlandırma
Rakiplerimizin stratejilerindeki kör noktalar olan erken farklılıklarımız şunlardı:
● **Model geliştirmeye daha açık bir yaklaşım benimseyin. **Modeli, rekabetten önemli ölçüde daha iyi performans gösterecek izin veren bir açık kaynak yazılım lisansı altında yayınlayacağız. Bu beyaz kutu modellerinin gücünden yararlanmak ve markamız etrafında bir geliştirici topluluğu oluşturmak için araçlar yayınlayacağız. Bu yaklaşım, ideolojik olarak OpenAI'den çok farklıdır, bu, en iyi araştırmacıları daha iyi çekecek ve projenin gelişimi için güçlü bir ivme olacaktır, çünkü birçok Hevesli geliştiricinin kapıyı açmasını sağlayacaktır. Bu, iş geliştirme kapsamımızı artıracaktır. Açık kaynak stratejimizi mali çıkarlarla dengeleyeceğiz, en güçlü ve profesyonel modelleri ödeme yapan kullanıcılara ayıracağız.
○ Fonların %1'ini açık kaynak topluluk geliştirmeden sorumlu kar amacı gütmeyen vakıflara ayıracağız.
● İster açık kaynaklı ister lisanslı olsun, modellerimizin dahili özellikleri (mimari ve eğitimli ağırlıklar) her zaman müşterilerimize açıktır. **Bu, müşterilerin iş akışlarıyla daha sıkı entegrasyona olanak tanır, her şeyi bir kara kutu API'sine giriş metni olarak seri hale getirmek yerine, içerikleri derin modelin farklı bölümlerine beslenebilir. **
● **Veri kaynağına ve veri kontrolüne daha fazla odaklanma. **Modellerimiz, lisans sözleşmesi müzakere edeceğimiz yüksek kaliteli veri içeriği (kazıma içerik dışında) konusunda eğitilecektir. Bu, Llama gibi şu anda mevcut olan modellerden daha iyi modeller yetiştirmemizi sağlayacaktır. Derin katılım teknikleri (hibrit uzmanlar ve alma ile artırılmış modeller) kullanarak, isteğe bağlı veri kaynağı erişimi olan modeller sağlayacağız: ücretli premium kullanıcılar için, belirli modeller finans/hukuk/vb. alanlara ayrılabilir (bu, önemli bir performans artışı sağlar). Benzer teknikleri kullanan modelimiz, farklı kurumsal fikri mülkiyet haklarına sahip çalışanlar için anında farklılaştırılmış veri erişimi sağlayabilecektir.
● **Rakipsiz güvenlik ve gizlilik garantisi sağlayın. **Modelimiz, özel bir bulutta ve isteğe bağlı olarak doğrudan cihazda kurulabilir olacak ve potansiyel olarak sorunlu süreçleri ortadan kaldırarak gizlilik endişelerini etkili bir şekilde en aza indirecektir. Bu amaçla, Ar-Ge çalışmalarımızı küçük ama süper verimli modellerin yetiştirilmesine yönlendirerek, pazardaki en yüksek kalite/maliyet oranına sahip modelleri etkin bir şekilde önereceğiz. Açık kaynak stratejimiz, özellikle ikili ve sağlık olmak üzere kilit sektörlere uygulandığında modellerimizin denetlenebilirliğini de sağlayacaktır.
İş Geliştirme
İş açısından, gelişmekte olan bir hizmet olarak yapay zeka endüstrisi için en değerli teknik modülleri sağlayacağız ve iş akışını tamamen değiştirmek için üretken yapay zekayı kullanacağız. Avrupalı entegratörler ve endüstriyel müşterilerle entegre çözümler oluşturacağız ve Avrupa'da yapay zekadan yararlanmak isteyen tüm şirketler için ana araç olmak üzere onlardan son derece değerli geri bildirimler alacağız.
Sektörlerle entegrasyon, modellere tam erişim lisansları (eğitilmiş ağırlıklar dahil), talebe dayalı modellerin uzmanlaşması, tamamen entegre çözümler oluşturmak için entegratörlerle/danışmanlık firmalarıyla ticari sözleşmeler dahil olmak üzere farklı pazar biçimleri alabilir. Yol haritamızda ayrıntılı olarak belirtildiği gibi, teknoloji geliştikçe en iyi yaklaşımları keşfedecek ve belirleyeceğiz.
Yapay zeka alanında nasıl lider olunur
En İyi Takım
Kurucu ekip, alanında DeepMind ve Meta'da çalışmış en iyi araştırmacıların yanı sıra deneyimli Fransız dizi girişimcileri ve etkili kamu liderlerinden oluşmaktadır.
● Arthur Mensch — CEO — DeepMind'de eski Baş Araştırma Bilimcisi, LLM'ye birkaç büyük katkının baş yazarı: Chinchilla, Retro, Flamingo
● Guillaume Lample — Baş Bilim İnsanı — Eski Meta Kıdemli Araştırma Bilimcisi. Meta'nın büyük dil modelleri alanına en büyük katkısı olan Llama projesini yönetti
● Timothée Lacroix — CTO — Meta'da eski yazılım mühendisi, Llama'da teknik lider
● Jean-Charles Samuelian ，Alan CEO'su
● Charles Gorintin，Alan CTO'su
● Cédric O, Dijital İşlerden Sorumlu eski Fransa Dışişleri Bakanı
Halihazırda belirlenen ilk beş çalışan, büyük teknoloji şirketlerinden deneyimli araştırmacılar olacak. Avrupa'ya ve açık kaynak kavramına olan hevesleri ve üretken AI'nın hızlı gelişimi nedeniyle bazı şirketlerin sürekli organizasyonel yeniden yapılanması da bu şirketlerden ayrılmaları için uygun bir zaman oluşturuyor.
Altyapı ve Veri Kaynakları
Rekabetçi bir modeli eğitmek için, exa ölçekli bir kümenin en az birkaç ay kullanılması gerekir. Bu tür bilgi işlem kaynaklarını bir yıllığına kiralamayı ve böylece farklı yeteneklere sahip açık kaynak ve ticari modeller geliştirmeyi planlıyoruz.
Bilgi işlem kaynaklarının kiralanması konusunda en iyi bulut hizmeti sağlayıcılarıyla şimdiden rekabetçi müzakereler yürütüyoruz (yaz aylarında başlamayı ve Eylül ayına kadar 1536 H100'lük bir bilgi işlem rezervi oluşturmayı planlıyoruz). mistral.ai Avrupa'da güçlü bir temele sahip olduğu için, derin öğrenme bilgi işlem hizmetlerini aktif olarak genişleten gelişmekte olan Avrupalı bulut hizmeti sağlayıcılarıyla da işbirliği yapacağız.
Daha önce büyük ölçekli modeller eğittik, bu da bize halka açık yöntemlerden 10-100 kat daha hızlı eğitme uzmanlığı sağladı - kurucularımız ve ilk çalışanlarımız, belirli bir hesaplama bütçesiyle en güçlü modeli nasıl Eğiteceklerini açıkça biliyorlardı.
İlk yatırımcılarımız aynı zamanda Avrupa'daki içerik sağlayıcılarıdır ve modellerimizi üzerinde eğitebileceğimiz ve ince ayar yapabileceğimiz yüksek kaliteli veri kümeleri edinmemiz için gerekli tüm kapıları açacaktır.
Önemli müşterilerle birlikte senaryoları keşfedin
Kurucu ekip şimdiden büyük Fransız ve Avrupa ticari kurumlarıyla ticari keşifler organize ediyor. Teknik ekip değerli teknik modülleri eğitirken, küçük bir ürün odaklı ekip (yıl sonuna kadar 6 kişi) işi büyütmeye başlayacak.
Modelleme ekibi, dikkat dağılmasını önlemek için %100 teknoloji geliştirmeye odaklanacaktır.
İş geliştirme, aşağıdaki stratejileri kullanarak birinci nesil model ailesinin geliştirilmesiyle eşzamanlı olarak başlayacaktır:
● En iyi (açık kaynak olmayan) modellerimize tam erişim verilecek 3. taraf entegratörler tarafından kolaylaştırılan, büyük endüstriyel oyuncuların ihtiyaçlarının odaklanmış keşfi
● Üretken yapay zeka ürünlerine odaklanan bazı küçük yeni iş ortaklarıyla ortak tasarım ürünleri.
İkinci nesil modelin tasarımını yönlendirmek için iş tabanlı keşif kullanılacaktır.
yol haritası
ilk yıl
İki nesil model eğiteceğiz ve model geliştirme ve ticari entegrasyon aynı anda ilerleyecek. İlk nesil, ekibin hakim olduğu teknolojiye dayanarak kısmen açık kaynak olacaktır. Müşterilerimizin, yatırımcılarımızın ve kurumlarımızın ihtiyaçlarını karşılama becerimizi doğrulayacaktır. İkinci nesil model, mevcut modelin önemli eksikliklerini gidererek işletmeler tarafından güvenli ve ekonomik bir şekilde kullanılmasını sağlayacaktır.
En iyi açık kaynaklı standart modeli eğitin
2023'ün sonuna kadar, ChatGPT 3.5 ve Bard'ın Mart 2023 sürümünün yanı sıra tüm açık kaynak çözümlerinden önemli ölçüde daha iyi performans gösterebilecek bir dizi metin oluşturma modeli eğiteceğiz.
Bu seri açık kaynak olacak; topluluğa katılarak onu açık bir standart haline getireceğiz.
Rakiplerimizle aynı hizmet arayüzünü sağlayacağız ve üçüncü taraf kullanım verilerini toplamak için bir ücret talep edeceğiz ve marka etkimizi genişletmek ve birinci taraf kullanıcı verilerini yakalamak için bazı ücretsiz tüketici uygulamaları oluşturacağız.
İş gereksinimleri için özelleştirilmiş ve farklılaştırılmış
Önümüzdeki altı ay boyunca bu modeller, içerik arama için semantik gömme modelleri ve görsel girdiyi işlemek için çok modlu eklentiler ile donatılacak. Piyasada bulunan yüksek kaliteli veri kaynakları kullanılarak yeniden eğitilen ad hoc modeller de hazırlanacaktır.
Ticari geliştirme, birinci nesil model serisinin geliştirilmesiyle eşzamanlı olarak başlayacak: 2024'ün ilk çeyreğinin sonuna kadar bir kavram kanıtı entegrasyonuna sahip olmayı amaçlıyoruz.
Teknoloji açısından, 2024'ün ilk ve ikinci çeyreğinde, yerleşik şirketler tarafından hafife alınan iki ana alana odaklanacağız:
● **16 GB'lık bir dizüstü bilgisayarda çalışacak kadar küçük bir modeli eğitirken aynı zamanda yararlı bir yapay zeka asistanı olarak hizmet edin
● Çalışırken değiştirilebilir ekstra bağlamlara sahip tren modelleri**, milyonlara kadar ekstra bağlama izin verir, dil modellerini ve alma sistemlerini etkili bir şekilde birleştirir.
Aynı zamanda eğitim ve ince ayar veri kümeleri, ortaklıklar ve veri toplama yoluyla zenginleştirilmeye devam edecek.
2024'ün 2. çeyreğinin sonunda şunları hedefliyoruz:
● Metin ve görsel çıktı ile en iyi açık kaynaklı metin üretme modelini dağıtma
● En yüksek değer/maliyet oranlarından birine sahip genel ve uzman bir modele sahiptir
● Ölçeklenebilir ve çeşitli kullanılabilir API'ler aracılığıyla üçüncü taraf entegratörler için model yetenekleri sağlayın
● Teknolojimizi kullanmayı taahhüt eden bir veya iki büyük sektör oyuncusuyla lisanslı bir ticari ilişki kurmak
Sonraki aşama
OpenAI gibi oyuncularla rekabet etmek ve onları geçmek, sonraki aşamalarda önemli yatırımlar gerektirecektir (GPT-4 birkaç yüz milyon dolara mal olur). İlk yıl için hedefimiz, küresel AI rekabetinde en büyük oyuncularla rekabet edebilecek modeller geliştirip piyasaya sürebilen en güçlü takımlardan biri olduğumuzu göstermek. Büyük ölçekli dil modeli (LLM) araştırmacıları olarak deneyimlerimiz, bu alanı keşfeden veya bu alana ilerleyen şirketlerden daha erken bir aşamada sermaye açısından daha verimli olmamızı sağlayacaktır.
Mistral.ai'nin kuzey yıldızlarından biri güvenlik olacak: Modelleri iyi hazırlanmış bir şekilde yayınlayacağız, modellerimizin yalnızca değerlerimizle tutarlı amaçlar için kullanıldığından emin olacağız ve bunun için "kırmızı ekip" beta erişimini sağlayacağız. uygunsuz davranışları tespit edin ve düzeltin.
Bunu yaparken, önemli kamu ve özel kurumları, insanlığın bu bilimsel atılımdan faydalanmasını sağlayan güvenli, kontrol edilebilir ve verimli teknolojiler geliştirebileceğimize ikna edeceğiz. Bu da kurumları ve ülkeleri A Serisi finansmanımıza katılmaya çekecektir. Seri A'da (2024 3. Çeyrek), modelleri GPT-4'ün yeteneklerinin ötesinde eğitmek için 200 milyon $ toplamamız gerektiğini düşünüyoruz.
Güçlü mali destek, modelleri çok daha geniş bir altyapı üzerinde eğitmemize olanak tanıyacak ve yapay zeka araştırmasında lider ve Avrupa sanayi sektöründe tercih edilen tedarikçi konumumuzu güçlendirecektir.
(tam metin)