"Son zamanlarda GPT-4'ün kalitesinin düştüğünü düşünüyor musunuz?"
Bu yılın Mayıs ayının ortalarında, GPT-4 kullanıcıları OpenAI'nin çevrimiçi geliştirici forumunda GPT-4'ün "aptallaşıyor" gibi göründüğünü belirten bir gönderi paylaştılar:
"Bir süredir ChatGPT kullanıyorum ve GPT-4'ün yayınlanmasından bu yana GPT Plus kullanıcısıyım. GPT-4'ü genellikle uzun biçimli içeriğin analizine ve oluşturulmasına yardımcı olması için kullanırım. Geçmişte, GPT-4, isteğimi iyi anlamış gibi çalıştı, ancak şimdi, bilgilerin izini kaybettiriyor, bana birçok yanlış bilgi veriyor ve isteğimi giderek daha fazla yanlış yorumluyor gibi görünüyor... Şu anda, GPT-4 daha çok GPT'ye benziyor -3.5.
Bunu fark eden başka biri var mı, yoksa bu soruna rastlayan sadece ben miyim? "
Görünen o ki, GPT-4 kullanıcısı yalnız değildi; birkaç kullanıcı konuya yorum yaptı: "Ben de aynı şekilde hissediyorum!"
GPT-4'ün sorunlu yeni sürümü
Birçok kullanıcının geri bildirimlerine göre, GPT-4 yalnızca uzun biçimli içeriklerin analizinde ve oluşturulmasında değil, aynı zamanda yazım kalitesinde de düşüş yaşadı.
Roblox'un ürün başkanı Peter Yang, GPT-4 modelinin çıktısının daha hızlı olduğunu ancak kalitenin düştüğünü tweetledi: "Yazmayı daha net ve öz yapmak ve fikir vermek gibi basit sorunlar... bence, yazma kalitesi düştü.”
GPT-4'ün en son sürümünün mantık yeteneği, karmaşık ters problemler, farklı değişim hızları veya kalıpları ve uzay-zamansal değişkenliği tartışırken/değerlendirirken önemli ölçüde düşüyor.
"GPT-4 güncellemesinden önce nadiren hata yanıtları alıyordum, ancak şimdi tüm çıktıları iki kez kontrol etmem gerekiyor (yani, çifte negatif koşullar artık bazen düzgün bir şekilde pozitif koşullara dönüştürülmüyor). Bence bu hatalar GPT'ye daha çok benziyor - Önceki GPT-4 çıkarım düzeyi yerine 3.5."
Kodlama yeteneği açısından bile, GPT-4'ün yeni sürümünün çıktı kalitesi eskisi kadar iyi değil.
Bir web sitesi için işlevsel kod yazmak üzere GPT-4 kullanan bir geliştirici şikayet etti: "Mevcut GPT-4 çok hayal kırıklığı yaratıyor. Bir ay boyunca bir Ferrari kullanıp sonra aniden eski bir kamyonete dönüşmeye benziyor. Bunu isteyip istemediğimden emin değilim. ödemeye devam et."
Başka bir geliştirici ayrıca GPT-4'ün artık kodu devre dışı bıraktığından bahsetti: "Tamamen berbat, GPT-4 kodu veya diğer bilgileri tekrar tekrar döngüye almaya başlıyor. Kod yazmasına izin verdim ve bir noktada aniden bir "" yazdı, ve sonra yeniden başlayın! Eskisiyle karşılaştırıldığında, artık bir aptal."
Ek olarak, Twitter ve OpenAI'nin çevrimiçi geliştirici forumlarında kullanıcılar, GPT-4'ün yeni sürümünün mantığı zayıflattığını, birçok hata yanıtı ürettiğini, verilen bilgileri takip edemediğini, talimatları izlemediğini ve yazmayı unuttuğunu bildirmeye devam ediyor. temel yazılım kodu Parantez içine alma, yalnızca en son hatırlatıcıları hatırlama ve daha fazlası.
GPT-4'ün ani "zeka azalması" performansıyla ilgili olarak, bazı kullanıcılar şu spekülasyonları yaptı: "Mevcut sürüm, yeni piyasaya sürüldüğü zamanki sürümden çok farklı hissettiriyor. Sanırım OpenAI, daha fazla müşteriyi ağırlamak için kaliteden ödün vermeyi seçti!"
Bu açıdan bakıldığında, GPT-4'ün bugün kullanıcılar tarafından değerlendirilmesi, gerçekten de ilk çıktığı zaman "rüzgar değerlendirmesinin" zirve yaptığı dönem kadar iyi değil.
GPT-4 daha hızlı ama aynı zamanda "aptalca"
Geçen yılın sonunda GPT-3.5 tabanlı ChatGPT doğdu ve mükemmel üretim yeteneği bir AIGC patlaması başlattı.Bu nedenle, OpenAI bu yılın Mart ayında GPT-3.5'ten daha güçlü olan GPT-4'ü duyurduğunda, bütün dünya şaşırdı.
O zamanlar, GPT-4, özellikle hem görüntüleri hem de metin girişini anlayabildiği anlamına gelen çok modlu olması nedeniyle "tarihteki en güçlü yapay zeka modeli" olarak adlandırılıyordu ve bu nedenle, geliştiriciler ve diğer teknoloji endüstrisi için hızla popüler bir araç haline geldi. Profesyoneller için tercih edilen model, GPT-4 için daha fazla övgü üretti: 10 saniyede bir web sitesi oluşturmak, en zor Amerikan hukuk sınavını geçmek ve MIT lisans matematik sınavını tam notlarla geçmek...
Bununla birlikte, insanlar GPT-4'ün gücüne hayran kaldıklarında, birçok kişi de maliyeti ve yanıt verme hızı karşısında şok olur. Geliştiricilerin özel büyük ölçekli dil modelleri oluşturmasına yardımcı olan bir girişim olan Lamini'nin CEO'su Sharon Zhou, "GPT-4 yavaş ama çok doğru," dedi.
Mayıs ayına kadar GPT-4 "yavaş ve pahalı ama isabetli" kaldı; daha sonra GPT-4 daha hızlı yanıt verdi ve aynı zamanda kullanıcılar performans düşüşünü sorguladı.
Bu fenomen için, Sharon Zhou da dahil olmak üzere birçok yapay zeka uzmanı, OpenAI'nin daha büyük modellere benzer şekilde çalışan ancak çalıştırılması daha ucuz olan birkaç küçük GPT-4 modeli oluşturabileceğine inanıyor.
Uzmanlar spekülasyon yapıyor: MoE teknolojisiyle ilgili olabilir
Sharon Zhou'nun girişine göre, bu yönteme Uzmanların Karışımı (MoE), yani karma bir uzman sistem denir. MoE teknolojisi, sinir ağları alanında geliştirilmiş entegre bir öğrenme teknolojisi olup, trilyonlarca parametreli modellerin eğitimi için de kilit bir teknolojidir.Bu aşamada modelin artan boyutu nedeniyle, eğitim yükü de artmaktadır ve MoE Teknoloji, sinir ağının bir bölümünü dinamik olarak etkinleştirebilir, böylece hesaplama miktarını artırmadan model parametrelerinin miktarını büyük ölçüde artırır.
Spesifik olarak, MoE tahmine dayalı modelleme görevini birkaç alt göreve ayırır, her alt görev için bir uzman modeli (Uzman Modeli) eğitir ve Gel, hangi uzmanların güveneceğini öğren girdisine göre tahmin edilebilen bir yolluk modeli (Gating Modeli) geliştirir ve tahmin sonuçlarını birleştirin.
Peki MoE teknolojisi GPT-4'e atıfta bulunduğunda durum nedir? Sharon Zhou, GPT-4'te bu küçük uzman modellerin farklı görev ve konu alanları için eğitileceğini açıkladı.Örneğin, biyoloji, fizik, kimya vb. için küçük GPT-4 uzman modelleri olabilir. , yeni sistem sorunun hangi uzman modele gönderileceğini bilir. Ayrıca, her ihtimale karşı, yeni sistem sorguları iki veya daha fazla uzman modele gönderebilir ve ardından sonuçları birleştirebilir.
Bu yaklaşım için Sharon Zhou, onu "The Ship of Theseus" (bir nesneyi oluşturan unsurların değiştirildiğini varsayarak kimlik değiştirmeyle ilgili bir paradoks, ancak yine de orijinal nesne mi?) Olarak tanımladı, yani Zamanla , OpenAI, GPT-4'ün parçalarını değiştirecek: "OpenAI, GPT-4'ü küçük bir filoya dönüştürüyor."
Yukarıdaki spekülasyona dayanarak Sharon Zhou, GPT-4'ün son zamanlardaki "aptalca" açıklamalarının MoE eğitim yöntemiyle ilgili olabileceğine inanıyor: "Kullanıcılar GPT-4'ü test ettiğinde, birçok farklı soru soracağız ve ölçek küçük. GPT-4 uzman modeli bunu pek iyi yapmayacak, ancak verilerimizi topluyor ve gelişiyor ve öğreniyor."
**GPT-4 mimarisi açığa çıktı mı? **
Birkaç AI uzmanı da, GPT-4'ün "saçmalığı" hakkında artan kullanıcı geri bildirimleri arasında bu hafta sözde "GPT-4 mimarisi ayrıntılarını" yayınladı.
Bunların arasında Yam Peleg adlı bir Twitter blog yazarı, GPT-4'ün yaklaşık 1.8 trilyon parametreye sahip olduğunu, 120 katmana yayıldığını, GPT-3'ten 10 kat daha büyük olduğunu ve yaklaşık 13T token üzerinde eğitildiğini ve eğitimin yaklaşık 63 milyon dolara mal olduğunu söyledi. .. Yam Peleg'in ayrıca OpenAI'nin 16 karma uzman modeli kullanarak GPT-4 operasyonunun maliyetini düşürmek için MoE kullandığını söylediğini belirtmekte fayda var.
Şu an itibariyle OpenAI bu açıklamaya yanıt vermedi. Ancak Allen Yapay Zeka Enstitüsü'nün kurucu CEO'su Oren Etzioni medyaya şunları söyledi: "Doğrulanmamış olsa da, bu spekülasyonların kabaca doğru olması gerektiğini düşünüyorum."
MOE yöntemini kullanmanın genellikle iki nedeni olduğunu açıkladı: ya daha iyi bir yanıt oluşturmak istiyorsunuz ya da daha ucuz, daha hızlı bir yanıt istiyorsunuz.
"İdeal olarak MOE, her iki avantajı aynı anda elde etmenize izin verecektir, ancak gerçekte, genellikle maliyet ve kalite arasında bir denge kurmanız gerekir." Buna dayanarak, Oren Etzioni, OpenAI'nin mevcut durumla birleştiğine inanıyor. bazı kaliteden ödün verme pahasına GPT -4'ü düşürüyor gibi görünüyor.
Peki bu konudaki görüşünüz nedir?
Referans bağlantısı:
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
GPT-4'ün "aptal" olduğu ortaya çıktı! Maliyetleri düşürmek için OpenAI gizlice "küçük hamleler" mi yaptı?
Organize | Zheng Liyuan
İlan | CSDN (ID: CSDNnews)
"Son zamanlarda GPT-4'ün kalitesinin düştüğünü düşünüyor musunuz?"
Bu yılın Mayıs ayının ortalarında, GPT-4 kullanıcıları OpenAI'nin çevrimiçi geliştirici forumunda GPT-4'ün "aptallaşıyor" gibi göründüğünü belirten bir gönderi paylaştılar:
"Bir süredir ChatGPT kullanıyorum ve GPT-4'ün yayınlanmasından bu yana GPT Plus kullanıcısıyım. GPT-4'ü genellikle uzun biçimli içeriğin analizine ve oluşturulmasına yardımcı olması için kullanırım. Geçmişte, GPT-4, isteğimi iyi anlamış gibi çalıştı, ancak şimdi, bilgilerin izini kaybettiriyor, bana birçok yanlış bilgi veriyor ve isteğimi giderek daha fazla yanlış yorumluyor gibi görünüyor... Şu anda, GPT-4 daha çok GPT'ye benziyor -3.5.
Bunu fark eden başka biri var mı, yoksa bu soruna rastlayan sadece ben miyim? "
GPT-4'ün sorunlu yeni sürümü
Birçok kullanıcının geri bildirimlerine göre, GPT-4 yalnızca uzun biçimli içeriklerin analizinde ve oluşturulmasında değil, aynı zamanda yazım kalitesinde de düşüş yaşadı.
Roblox'un ürün başkanı Peter Yang, GPT-4 modelinin çıktısının daha hızlı olduğunu ancak kalitenin düştüğünü tweetledi: "Yazmayı daha net ve öz yapmak ve fikir vermek gibi basit sorunlar... bence, yazma kalitesi düştü.”
"GPT-4 güncellemesinden önce nadiren hata yanıtları alıyordum, ancak şimdi tüm çıktıları iki kez kontrol etmem gerekiyor (yani, çifte negatif koşullar artık bazen düzgün bir şekilde pozitif koşullara dönüştürülmüyor). Bence bu hatalar GPT'ye daha çok benziyor - Önceki GPT-4 çıkarım düzeyi yerine 3.5."
Bir web sitesi için işlevsel kod yazmak üzere GPT-4 kullanan bir geliştirici şikayet etti: "Mevcut GPT-4 çok hayal kırıklığı yaratıyor. Bir ay boyunca bir Ferrari kullanıp sonra aniden eski bir kamyonete dönüşmeye benziyor. Bunu isteyip istemediğimden emin değilim. ödemeye devam et."
Başka bir geliştirici ayrıca GPT-4'ün artık kodu devre dışı bıraktığından bahsetti: "Tamamen berbat, GPT-4 kodu veya diğer bilgileri tekrar tekrar döngüye almaya başlıyor. Kod yazmasına izin verdim ve bir noktada aniden bir "" yazdı, ve sonra yeniden başlayın! Eskisiyle karşılaştırıldığında, artık bir aptal."
GPT-4'ün ani "zeka azalması" performansıyla ilgili olarak, bazı kullanıcılar şu spekülasyonları yaptı: "Mevcut sürüm, yeni piyasaya sürüldüğü zamanki sürümden çok farklı hissettiriyor. Sanırım OpenAI, daha fazla müşteriyi ağırlamak için kaliteden ödün vermeyi seçti!"
Bu açıdan bakıldığında, GPT-4'ün bugün kullanıcılar tarafından değerlendirilmesi, gerçekten de ilk çıktığı zaman "rüzgar değerlendirmesinin" zirve yaptığı dönem kadar iyi değil.
GPT-4 daha hızlı ama aynı zamanda "aptalca"
Geçen yılın sonunda GPT-3.5 tabanlı ChatGPT doğdu ve mükemmel üretim yeteneği bir AIGC patlaması başlattı.Bu nedenle, OpenAI bu yılın Mart ayında GPT-3.5'ten daha güçlü olan GPT-4'ü duyurduğunda, bütün dünya şaşırdı.
O zamanlar, GPT-4, özellikle hem görüntüleri hem de metin girişini anlayabildiği anlamına gelen çok modlu olması nedeniyle "tarihteki en güçlü yapay zeka modeli" olarak adlandırılıyordu ve bu nedenle, geliştiriciler ve diğer teknoloji endüstrisi için hızla popüler bir araç haline geldi. Profesyoneller için tercih edilen model, GPT-4 için daha fazla övgü üretti: 10 saniyede bir web sitesi oluşturmak, en zor Amerikan hukuk sınavını geçmek ve MIT lisans matematik sınavını tam notlarla geçmek...
Bununla birlikte, insanlar GPT-4'ün gücüne hayran kaldıklarında, birçok kişi de maliyeti ve yanıt verme hızı karşısında şok olur. Geliştiricilerin özel büyük ölçekli dil modelleri oluşturmasına yardımcı olan bir girişim olan Lamini'nin CEO'su Sharon Zhou, "GPT-4 yavaş ama çok doğru," dedi.
Mayıs ayına kadar GPT-4 "yavaş ve pahalı ama isabetli" kaldı; daha sonra GPT-4 daha hızlı yanıt verdi ve aynı zamanda kullanıcılar performans düşüşünü sorguladı.
Bu fenomen için, Sharon Zhou da dahil olmak üzere birçok yapay zeka uzmanı, OpenAI'nin daha büyük modellere benzer şekilde çalışan ancak çalıştırılması daha ucuz olan birkaç küçük GPT-4 modeli oluşturabileceğine inanıyor.
Uzmanlar spekülasyon yapıyor: MoE teknolojisiyle ilgili olabilir
Sharon Zhou'nun girişine göre, bu yönteme Uzmanların Karışımı (MoE), yani karma bir uzman sistem denir. MoE teknolojisi, sinir ağları alanında geliştirilmiş entegre bir öğrenme teknolojisi olup, trilyonlarca parametreli modellerin eğitimi için de kilit bir teknolojidir.Bu aşamada modelin artan boyutu nedeniyle, eğitim yükü de artmaktadır ve MoE Teknoloji, sinir ağının bir bölümünü dinamik olarak etkinleştirebilir, böylece hesaplama miktarını artırmadan model parametrelerinin miktarını büyük ölçüde artırır.
Spesifik olarak, MoE tahmine dayalı modelleme görevini birkaç alt göreve ayırır, her alt görev için bir uzman modeli (Uzman Modeli) eğitir ve Gel, hangi uzmanların güveneceğini öğren girdisine göre tahmin edilebilen bir yolluk modeli (Gating Modeli) geliştirir ve tahmin sonuçlarını birleştirin.
Peki MoE teknolojisi GPT-4'e atıfta bulunduğunda durum nedir? Sharon Zhou, GPT-4'te bu küçük uzman modellerin farklı görev ve konu alanları için eğitileceğini açıkladı.Örneğin, biyoloji, fizik, kimya vb. için küçük GPT-4 uzman modelleri olabilir. , yeni sistem sorunun hangi uzman modele gönderileceğini bilir. Ayrıca, her ihtimale karşı, yeni sistem sorguları iki veya daha fazla uzman modele gönderebilir ve ardından sonuçları birleştirebilir.
Bu yaklaşım için Sharon Zhou, onu "The Ship of Theseus" (bir nesneyi oluşturan unsurların değiştirildiğini varsayarak kimlik değiştirmeyle ilgili bir paradoks, ancak yine de orijinal nesne mi?) Olarak tanımladı, yani Zamanla , OpenAI, GPT-4'ün parçalarını değiştirecek: "OpenAI, GPT-4'ü küçük bir filoya dönüştürüyor."
Yukarıdaki spekülasyona dayanarak Sharon Zhou, GPT-4'ün son zamanlardaki "aptalca" açıklamalarının MoE eğitim yöntemiyle ilgili olabileceğine inanıyor: "Kullanıcılar GPT-4'ü test ettiğinde, birçok farklı soru soracağız ve ölçek küçük. GPT-4 uzman modeli bunu pek iyi yapmayacak, ancak verilerimizi topluyor ve gelişiyor ve öğreniyor."
**GPT-4 mimarisi açığa çıktı mı? **
Birkaç AI uzmanı da, GPT-4'ün "saçmalığı" hakkında artan kullanıcı geri bildirimleri arasında bu hafta sözde "GPT-4 mimarisi ayrıntılarını" yayınladı.
Bunların arasında Yam Peleg adlı bir Twitter blog yazarı, GPT-4'ün yaklaşık 1.8 trilyon parametreye sahip olduğunu, 120 katmana yayıldığını, GPT-3'ten 10 kat daha büyük olduğunu ve yaklaşık 13T token üzerinde eğitildiğini ve eğitimin yaklaşık 63 milyon dolara mal olduğunu söyledi. .. Yam Peleg'in ayrıca OpenAI'nin 16 karma uzman modeli kullanarak GPT-4 operasyonunun maliyetini düşürmek için MoE kullandığını söylediğini belirtmekte fayda var.
Şu an itibariyle OpenAI bu açıklamaya yanıt vermedi. Ancak Allen Yapay Zeka Enstitüsü'nün kurucu CEO'su Oren Etzioni medyaya şunları söyledi: "Doğrulanmamış olsa da, bu spekülasyonların kabaca doğru olması gerektiğini düşünüyorum."
MOE yöntemini kullanmanın genellikle iki nedeni olduğunu açıkladı: ya daha iyi bir yanıt oluşturmak istiyorsunuz ya da daha ucuz, daha hızlı bir yanıt istiyorsunuz.
"İdeal olarak MOE, her iki avantajı aynı anda elde etmenize izin verecektir, ancak gerçekte, genellikle maliyet ve kalite arasında bir denge kurmanız gerekir." Buna dayanarak, Oren Etzioni, OpenAI'nin mevcut durumla birleştiğine inanıyor. bazı kaliteden ödün verme pahasına GPT -4'ü düşürüyor gibi görünüyor.
Peki bu konudaki görüşünüz nedir?
Referans bağlantısı: