Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Büyük modellerin eğitim ve çalıştırma maliyeti son derece yüksektir ve OpenAI de maliyetleri düşürmeye çalıştı, ancak ne yazık ki başarısız oldu.
Geçen yılın sonlarında, ChatGPT küresel bir sansasyon haline geldiğinde, OpenAI mühendisleri Arrakis kod adlı yeni bir yapay zeka modeli üzerinde çalışmaya başladı. Arrakis, OpenAI'nin sohbet robotlarını daha düşük bir maliyetle çalıştırmasını sağlamayı hedefliyor.
Ancak konuya aşina olan kişilere göre: 2023'ün ortalarında OpenAI, model şirketin beklediği kadar verimli çalışmadığı için Arrakis'in piyasaya sürülmesini iptal etti.
Bu başarısızlık, OpenAI'nin değerli zamanını kaybettiği ve kaynakları farklı modeller geliştirmeye yönlendirmesi gerektiği anlamına geliyordu.
Ortak yatırım için, Arrakis'in Ar-Ge programı, iki şirketin 10 milyar dolarlık yatırım ve ürün anlaşması müzakerelerini tamamlaması için paha biçilmez olacak. Konuya aşina olan bir Microsoft çalışanına göre, Arrakis'in başarısızlığı bazı Microsoft yöneticilerini hayal kırıklığına uğrattı.
Dahası, Arrakis'in başarısızlığı, tahmin edilmesi zor tuzaklarla dolu olabilecek yapay zekanın geleceğinin habercisidir.
Arrakis nasıl bir model? **
Konuya aşina olan kişilere göre OpenAI, Arrakis'in GPT-4 ile karşılaştırılabilir performansa ve daha yüksek çalışma verimliliğine sahip bir model olmasını umuyor. Arrakis modelinde kullanılan temel yaklaşım, seyreklikten yararlanmaktır.
Seyreklik, Google gibi diğer yapay zeka geliştiricilerinin de açıkça tartıştığı ve kullandığı bir makine öğrenimi kavramıdır. Google yöneticisi Jeff Dean, "Seyrek bilgi işlem gelecekte önemli bir trend haline gelecek" dedi.
OpenAI, seyreklik üzerine araştırmalara erkenden başladı ve 2017'de seyrek bilgi işlem çekirdeklerini tanıttılar. Arrakis, OpenAI'nin teknolojisini daha geniş bir şekilde tanıtmasına izin verebilirdi çünkü şirket, yazılımına güç sağlamak için sınırlı sayıda özel sunucu yongası kullanabilirdi.
Şu anda, seyrekliği artırmanın yaygın bir yolu "hibrit uzman sistemler (MoE)" teknolojisinin yardımıdır. Bununla birlikte, Berkeley'deki California Üniversitesi'nde bilgisayar bilimi profesörü olan Ion Stoica, "Genel olarak, uzman modellerin sayısı ne kadar fazlaysa, model o kadar seyrek ve verimli olur, ancak model tarafından üretilen daha az doğru sonuçlara yol açabilir" dedi.
Bu yılın baharında, OpenAI araştırmacıları, modellerin büyük miktarda veriyi işlemesine yardımcı olmak için gelişmiş bilgi işlem donanımı kullanmayı içeren Arrakis modellerini eğitmeye başladı. Konuya aşina olan kişilere göre şirket, Arrakis'i eğitmenin GPT-4'ü eğitmekten çok daha ucuz olmasını bekliyor. Ancak araştırma ekibi kısa süre sonra modelin beklenen kazanımları elde etmek için yeterince iyi performans göstermediğini fark etti. Araştırma ekibi sorunu çözmek için yaklaşık bir ay harcadıktan sonra, OpenAI'nin üst düzey liderliği modeli eğitmeyi bırakmaya karar verdi.
İyi haber şu ki, OpenAI, Arrakis üzerindeki çalışmalarını yakında çıkacak olan çok modlu büyük model Gobi gibi diğer modellere entegre edebilir.
Konuya aşina olan iki kişi, Arrakis'in OpenAI'nin beklentilerinin altında performans gösterdiğini, çünkü şirketin modelin seyrekliğini iyileştirmeye çalıştığını, bunun da modelin yalnızca bir kısmının yanıt oluşturmak için kullanılacağı ve işletme maliyetlerini azaltacağı anlamına geldiğini söyledi. Modelin ilk testlerde çalışmasının ancak daha sonra kötü performans göstermesinin nedeni bilinmemektedir.
Konuya aşina olan kişilerin, OpenAI'nin Arrakis için düşünülen genel adının GPT-4 Turbo olduğunu söylediğini belirtmekte fayda var.
**Maliyetleri düşürmek ne kadar önemli? **
OpenAI için, teknolojinin maliyeti ve açık kaynaklı alternatiflerin çoğalmasıyla ilgili artan endişelerle birlikte, modellerini daha ucuz ve daha verimli hale getirmek en önemli önceliktir.
Konuya aşina olan kişilere göre Microsoft, Office 365 uygulamalarında ve diğer hizmetlerde yapay zeka özelliklerini güçlendirmek için OpenAI'nin GPT modelini kullanıyor ve Microsoft, Arrakis'in bu özelliklerin performansını iyileştirmesini ve maliyetleri düşürmesini bekliyordu.
Aynı zamanda, Microsoft kendi LLM'sini geliştirmeye başlıyor ve LLM'sini çalıştırmak OpenAI'nin modelinden daha ucuza mal olabilir.
Bu gerileme, OpenAI'nin bu yılki iş gelişimini yavaşlatmamış olsa da, LLM alanındaki artan rekabet, özellikle Google ve Microsoft gibi teknoloji devlerinin hızlandırılmış araştırma ve geliştirmesi ile OpenAI'nin bu yolda gerilemesi de muhtemeldir.
Orijinal bağlantı:
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
OpenAI yeni model geliştirme hüsrana uğradı, seyreklik büyük modellerin maliyetini düşürmenin anahtarı mı?
Orijinal kaynak: Makinenin Kalbi
Büyük modellerin eğitim ve çalıştırma maliyeti son derece yüksektir ve OpenAI de maliyetleri düşürmeye çalıştı, ancak ne yazık ki başarısız oldu.
Geçen yılın sonlarında, ChatGPT küresel bir sansasyon haline geldiğinde, OpenAI mühendisleri Arrakis kod adlı yeni bir yapay zeka modeli üzerinde çalışmaya başladı. Arrakis, OpenAI'nin sohbet robotlarını daha düşük bir maliyetle çalıştırmasını sağlamayı hedefliyor.
Ancak konuya aşina olan kişilere göre: 2023'ün ortalarında OpenAI, model şirketin beklediği kadar verimli çalışmadığı için Arrakis'in piyasaya sürülmesini iptal etti.
Ortak yatırım için, Arrakis'in Ar-Ge programı, iki şirketin 10 milyar dolarlık yatırım ve ürün anlaşması müzakerelerini tamamlaması için paha biçilmez olacak. Konuya aşina olan bir Microsoft çalışanına göre, Arrakis'in başarısızlığı bazı Microsoft yöneticilerini hayal kırıklığına uğrattı.
Dahası, Arrakis'in başarısızlığı, tahmin edilmesi zor tuzaklarla dolu olabilecek yapay zekanın geleceğinin habercisidir.
Arrakis nasıl bir model? **
Konuya aşina olan kişilere göre OpenAI, Arrakis'in GPT-4 ile karşılaştırılabilir performansa ve daha yüksek çalışma verimliliğine sahip bir model olmasını umuyor. Arrakis modelinde kullanılan temel yaklaşım, seyreklikten yararlanmaktır.
Seyreklik, Google gibi diğer yapay zeka geliştiricilerinin de açıkça tartıştığı ve kullandığı bir makine öğrenimi kavramıdır. Google yöneticisi Jeff Dean, "Seyrek bilgi işlem gelecekte önemli bir trend haline gelecek" dedi.
OpenAI, seyreklik üzerine araştırmalara erkenden başladı ve 2017'de seyrek bilgi işlem çekirdeklerini tanıttılar. Arrakis, OpenAI'nin teknolojisini daha geniş bir şekilde tanıtmasına izin verebilirdi çünkü şirket, yazılımına güç sağlamak için sınırlı sayıda özel sunucu yongası kullanabilirdi.
Şu anda, seyrekliği artırmanın yaygın bir yolu "hibrit uzman sistemler (MoE)" teknolojisinin yardımıdır. Bununla birlikte, Berkeley'deki California Üniversitesi'nde bilgisayar bilimi profesörü olan Ion Stoica, "Genel olarak, uzman modellerin sayısı ne kadar fazlaysa, model o kadar seyrek ve verimli olur, ancak model tarafından üretilen daha az doğru sonuçlara yol açabilir" dedi.
Bu yılın baharında, OpenAI araştırmacıları, modellerin büyük miktarda veriyi işlemesine yardımcı olmak için gelişmiş bilgi işlem donanımı kullanmayı içeren Arrakis modellerini eğitmeye başladı. Konuya aşina olan kişilere göre şirket, Arrakis'i eğitmenin GPT-4'ü eğitmekten çok daha ucuz olmasını bekliyor. Ancak araştırma ekibi kısa süre sonra modelin beklenen kazanımları elde etmek için yeterince iyi performans göstermediğini fark etti. Araştırma ekibi sorunu çözmek için yaklaşık bir ay harcadıktan sonra, OpenAI'nin üst düzey liderliği modeli eğitmeyi bırakmaya karar verdi.
İyi haber şu ki, OpenAI, Arrakis üzerindeki çalışmalarını yakında çıkacak olan çok modlu büyük model Gobi gibi diğer modellere entegre edebilir.
Konuya aşina olan iki kişi, Arrakis'in OpenAI'nin beklentilerinin altında performans gösterdiğini, çünkü şirketin modelin seyrekliğini iyileştirmeye çalıştığını, bunun da modelin yalnızca bir kısmının yanıt oluşturmak için kullanılacağı ve işletme maliyetlerini azaltacağı anlamına geldiğini söyledi. Modelin ilk testlerde çalışmasının ancak daha sonra kötü performans göstermesinin nedeni bilinmemektedir.
Konuya aşina olan kişilerin, OpenAI'nin Arrakis için düşünülen genel adının GPT-4 Turbo olduğunu söylediğini belirtmekte fayda var.
**Maliyetleri düşürmek ne kadar önemli? **
OpenAI için, teknolojinin maliyeti ve açık kaynaklı alternatiflerin çoğalmasıyla ilgili artan endişelerle birlikte, modellerini daha ucuz ve daha verimli hale getirmek en önemli önceliktir.
Konuya aşina olan kişilere göre Microsoft, Office 365 uygulamalarında ve diğer hizmetlerde yapay zeka özelliklerini güçlendirmek için OpenAI'nin GPT modelini kullanıyor ve Microsoft, Arrakis'in bu özelliklerin performansını iyileştirmesini ve maliyetleri düşürmesini bekliyordu.
Aynı zamanda, Microsoft kendi LLM'sini geliştirmeye başlıyor ve LLM'sini çalıştırmak OpenAI'nin modelinden daha ucuza mal olabilir.
Bu gerileme, OpenAI'nin bu yılki iş gelişimini yavaşlatmamış olsa da, LLM alanındaki artan rekabet, özellikle Google ve Microsoft gibi teknoloji devlerinin hızlandırılmış araştırma ve geliştirmesi ile OpenAI'nin bu yolda gerilemesi de muhtemeldir.
Orijinal bağlantı: