GPT-3 ve Lama'dan basit bir bilgiyi öğrenmelerini istedim: A, B'dir ve ardından B'nin ne olduğunu sordum. Yapay zekanın cevabının doğruluğunun sıfır olduğu ortaya çıktı.
Amaç ne?
Son zamanlarda, "Tersine Döndürme Laneti" adı verilen yeni bir kavram, yapay zeka çevresinde sıcak bir konu haline geldi ve şu anda popüler olan tüm önemli dil modelleri bundan etkilendi. Son derece basit problemlerle karşı karşıya kaldıklarında doğrulukları sıfıra yakın olmakla kalmayıp, doğruluğun arttırılması da mümkün değildir.
Üstelik araştırmacılar bu büyük hatanın modelin boyutuyla ya da sorulan sorularla hiçbir ilgisi olmadığını da buldu.
Yapay zekanın büyük modellerin ön eğitimi aşamasına geldiğini ve sonunda bazı mantıksal düşünme konusunda ustalaştığını söylemiştik, ancak bu sefer orijinal şekline geri dönmüş gibi görünüyor.
Şekil 1: GPT-4'teki bilgi tutarsızlığı. GPT-4, Tom Cruise'un annesinin adını doğru bir şekilde verdi (solda). Ancak oğluna sormak için annenin adı girildiğinde "Tom Cruise" (sağda) alınamadı. Yeni araştırmalar, bu sıralama etkisinin lanetin tersine çevrilmesinden kaynaklandığını öne sürüyor. "A, B'dir" konusunda eğitilmiş bir model, otomatik olarak "B, A'dır" sonucunu çıkarmaz.
Bir kişi "Olav Scholz'un Federal Almanya Cumhuriyeti'nin dokuzuncu Şansölyesi olduğunu" biliyorsa, "Almanya'nın dokuzuncu Şansölyesi kimdir?" sorusuna doğru cevap verebilir. Bu, önemsiz gibi görünen temel bir genelleme biçimidir.
Ancak araştırmalar, yapay zeka alanında şu anda popüler olan otoregresif dil modelinin bu şekilde genellenemeyeceğini gösteriyor. Özellikle, modelin eğitim setinin "Olaf Scholz Almanya'nın dokuzuncu Şansölyesiydi" gibi cümleler içerdiğini ve burada "Olaf Scholz" adının "Almanya'nın dokuzuncu Şansölyesi" tanımından önce geldiğini varsayalım. Büyük model daha sonra "Olaf Scholz kimdir?" sorusunu doğru yanıtlamayı öğrenebilir (Cevap: Almanya'nın dokuzuncu şansölyesi). Ancak "Almanya'nın dokuzuncu şansölyesi kimdi?" sorusuna ve ismin öncesinde ne olduğunu açıklayan herhangi bir soruya yanıt veremez.
Bu, “tersine dönme laneti” dediğimiz sıralama etkisinin bir örneğidir. Model 1, " is " biçimindeki cümlelerle (adından sonra bir açıklamayla birlikte) eğitilirse, model " is " ifadesini ters yönde otomatik olarak tahmin etmeyecektir. Özellikle, eğer büyük bir dil modeli (LLM) şartlandırılırsa, bu durumda modelin olasılığı rastgele taban çizgisinden daha yüksek olmayacaktır.
Peki **büyük modelin mantığı aslında yok mu? **Bir görüşe göre ters lanet, LLM eğitim sürecinde mantıksal çıkarımın temel başarısızlığını göstermektedir. "A, B'dir" (veya eşdeğer olarak "A=B") doğruysa, mantıksal olarak "B, A'dır" özdeşlik ilişkisinin simetrisini takip eder. Geleneksel bilgi grafikleri bu simetriye saygı duyar (Speer vd., 2017). Laneti Tersine Çevirmek, eğitim verilerinin ötesinde çok az genelleme gösterir. Üstelik bu LLM'nin mantıksal çıkarımları anlamadan açıklayabileceği bir şey değil. GPT-4 gibi bir LLM, bağlam penceresinde "A, B'dir" verilirse "B, A'dır" sonucunu çok iyi çıkarabilir.
Lanetin tersine çevrilmesini mantıksal çıkarımla ilişkilendirmek yararlı olsa da, bu yalnızca genel durumu basitleştirmedir. Şu anda büyük bir modelin "A, B'dir" konusunda eğitildikten sonra "B, A'dır" sonucunu çıkarıp çıkaramayacağını doğrudan test edemiyoruz. Büyük modeller, gerçekte "olması gereken" kelimeyi değil, bir insanın yazacağı bir sonraki kelimeyi tahmin edecek şekilde eğitilir. Bu nedenle, LLM "B, A'dır" sonucunu çıkarsa bile, istendiğinde "bize söylemeyebilir".
Ancak laneti tersine çevirmek meta-öğrenmenin başarısızlığını gösterir. "Olur" ve "olur" biçimindeki cümleler genellikle eğitim öncesi veri setinde birlikte görünür. İlki veri setinde görünüyorsa, ikincisinin ortaya çıkma olasılığı daha yüksektir çünkü insanlar genellikle bir cümle veya paragraftaki öğelerin sırasını değiştirir. Bu nedenle, iyi bir meta-öğrenici, "olmak" üzere eğitildiğinde "olma" durumlarının olasılığını artıracaktır. Bu anlamda otoregresif LLM iyi bir meta-öğrenici değildir.
Lanetin tersine çevrilmesi birçok yapay zeka araştırmacısının dikkatini çekti.Bazıları yapay zekanın insanlığı yok etmesinin sadece bir fantezi gibi göründüğünü söylüyor.
Diğerleri bunun, eğitim verilerinizin ve bağlamsal içeriğinizin bilginin genelleme sürecinde çok önemli bir rol oynadığı anlamına geldiğini söylüyor.
OpenAI'nin ünlü bilim adamlarından Andrej Karpathy, LLM tarafından öğrenilen bilginin sizin ve benim hayal ettiğimizden çok daha "dağınık" olduğunu söyledi. Bu konuda hâlâ iyi bir sezgim yok. Başka yönlerde sorduğumuzda genelleştirilemeyebilecek, o olayın bağlamsal penceresinin belirli bir "yönünde" şeyler öğrenirler. Bu garip bir kısmi genelleme ve bana öyle geliyor ki "Laneti Tersine Çevirmek" özel bir durum.
Tartışmayı ateşleyen araştırma Vanderbilt Üniversitesi, New York Üniversitesi, Oxford Üniversitesi ve diğer kurumlardan geldi. "Tersine Dönme Laneti: "A, B'dir" konusunda eğitim almış yüksek lisans öğrencileri "B, A'dır"ı öğrenemiyor " başlıklı makale:
Kağıt bağlantısı:
GitHub'ın bağlantısı:
İsim ve açıklama ters çevrilirse büyük model karışır
Bu makale, LLM'nin sentetik veriler üzerinde yapılan bir dizi ince ayar deneyi yoluyla tersine dönme lanetinden muzdarip olduğunu göstermektedir. Şekil 2'de gösterildiği gibi, araştırmacı ilk önce cümle kalıbına dayalı modele ince ayar yapmıştır (örneğin, Daphne Barrington "Through Time"ın yöneticisidir). Sonuçlar, ipucu formu hala Cümle kalıbı 'dur, model doğru cevaplar verebilir ancak "Zaman Yolculuğunu kim yönetti" gibi başka bir soru sorulduğunda model yanlış cevap verir.
Aslında, Şekil 4'te (deneysel kısım) gösterildiği gibi, modelin doğru ismi vermesinin logaritmik olasılığı, rastgele bir isim vermesinin logaritmik olasılığına benzer. Ayrıca test sırası is < deion >'dan < deion > is < name >'e değiştiğinde hata oranı artar.
Laneti tersine çevirmekten kaçınmak için araştırmacılar aşağıdaki yöntemleri denediler:
Farklı serileri ve farklı boyutlardaki modelleri deneyin;
İnce ayar veri seti hem is cümle kalıbını hem de is cümle kalıbını içerir;
Her için birden fazla yorum yapılması genellemeye yardımcı olur;
Veriler yerine olarak değiştirilsin mi?
Bir dizi deneyden sonra, laneti tersine çevirmenin son teknoloji modellerdeki genellemeyi etkilediğine dair ön kanıtlar sağlıyorlar (Şekil 1 ve Bölüm B). Bunu GPT-4'te "Tom Cruise'un annesi kim?" ve "Mary Lee Pfeiffer'ın oğlu kim?" gibi 1000 soruyla test ettiler. Çoğu durumda modelin ilk soruyu (ebeveyni kimdir) doğru yanıtladığı, ancak ikinci soruyu yanıtlayamadığı ortaya çıktı. Bu makale, bunun, eğitim öncesi verilerin ünlülerden önce sıralanan ebeveynlerin daha az örneğini içermesinden kaynaklandığını varsaymaktadır (örneğin, Mary Lee Pfeiffer'ın oğlu Tom Cruise).
Deneyler ve sonuçlar
Bu makale, eğitim sırasında "A'nın B olduğunu" öğrenen bir otoregresif dil modelinin (LLM) "B, A'dır"ın tersi biçimine genelleme yapıp yapamayacağını test etmeyi amaçlamaktadır.
İlk denemede, adın ve açıklamanın kurgusal olduğu biçimindeki (veya tam tersi) belgelerden oluşan bir veri kümesi oluştururuz. Ayrıca çalışma, ad ve açıklama çiftlerini oluşturmak için GPT-4'ü kullandı. Bu veri çiftleri daha sonra rastgele üç alt kümeye atanır: NameToDeion, DeionToName ve her ikisi. İlk iki alt küme Şekil 3'te gösterilmektedir.
sonuç. Tam eşleştirme değerlendirmesinde, test sorularının sırası eğitim verileriyle eşleştiğinde GPT-3-175B daha iyi tam eşleştirme doğruluğu elde eder.Sonuçlar Tablo 1'de gösterilmektedir.
Spesifik olarak, DeionToName için (örneğin, Abissal Melodilerin bestecisi Uriah Hawthorne'dur), model, bir açıklama içeren bir bilgi istemi verildiğinde (örneğin, Abissal Melodilerin bestecisinin kim olduğu) adı almada %96,7 doğruluk elde eder. NameToDeion'daki gerçekler için doğruluk %50,0 ile daha düşüktür. Bunun tersine, sıra eğitim verileriyle eşleşmediğinde model genelleme yapamaz ve doğruluk %0'a yakındır. **
Bu makale ayrıca GPT-3-350M (Ek A.2) ve Llama-7B (Ek A.4) dahil olmak üzere bir dizi deney gerçekleştirdi.Sonuçlar, modellerin ters lanetten muzdarip olduğunu gösteriyor.
Arttırılmış olabilirlik değerlendirmesinde, doğru isme atanan log oranları ile rastgele isme atanan log oranları arasında tespit edilebilir bir fark yoktu. GPT-3 modelinin ortalama log olasılığı Şekil 4'te gösterilmektedir. Hem t testleri hem de Kolmogorov-Smirnov testleri istatistiksel olarak anlamlı farklar tespit edemedi.
Şekil 4: Deney 1, model, sıra ters çevrildiğinde doğru ismin olasılığını arttırmada başarısız oluyor. Bu grafik, model ilgili bir açıklamayla sorgulandığında doğru ismin (rastgele bir isme göre) ortalama log olasılığını gösterir.
Daha sonra, çalışma ikinci bir deney gerçekleştirdi.
Bu deneyde araştırmacılar, gerçek ünlüler ve ebeveynleri hakkındaki gerçeklere dayanan "A'nın ebeveyni B'dir" ve "B'nin çocuğu A'dır" şeklindeki modelleri test etti. Çalışma, IMDB'den (2023) en popüler 1000 ünlü listesini topladı ve ünlülerin ebeveynlerini isimlerine göre bulmak için GPT-4'ü (OpenAI API) kullandı. GPT-4, ünlülerin ebeveynlerini %79 oranında tespit edebildi.
Daha sonra her çocuk-ebeveyn çifti için çalışma, çocuğu ebeveyne göre sorgular. Burada GPT-4'ün başarı oranı sadece %33'tür. Şekil 1 bu olguyu göstermektedir. GPT-4'ün Mary Lee Pfeiffer'ı Tom Cruise'un annesi olarak tanımlayabildiğini ancak Tom Cruise'u Mary Lee Pfeiffer'ın oğlu olarak tanımlayamayacağını gösteriyor.
Ayrıca çalışma, henüz ince ayarı yapılmamış olan Llama-1 serisi modelini de değerlendirdi. Tüm modellerin ebeveynleri belirlemede çocuklardan çok daha iyi olduğu bulunmuştur, bkz. Şekil 5.
Şekil 5: Deney 2'deki ebeveyn ve çocuk sorularının sıralamasındaki ters etkiler. Mavi çubuk (solda), ünlünün çocuklarını sorgularken modelin doğru ebeveyni döndürme olasılığını gösterir; kırmızı çubuk (sağ), bunun yerine ebeveynin çocuklarına sorulduğunda doğru olma olasılığını gösterir. Llama-1 modelinin doğruluğu, modelin doğru şekilde tamamlanma olasılığıdır. GPT-3.5-turbo'nun doğruluğu, sıcaklık = 1'de örneklenen çocuk-ebeveyn çifti başına 10 örneğin ortalamasıdır. Not: GPT-4, çocuk-ebeveyn çiftlerinin bir listesini oluşturmak için kullanıldığından ve dolayısıyla "ebeveyn" çiftini oluşturarak %100 doğruluğa sahip olduğundan şekilde dahil edilmemiştir. GPT-4 "alt"ta %28 puan alıyor.
Geleceğe Bakış
LLM'deki ters lanet nasıl açıklanır? Bunun gelecekte daha fazla araştırmayı beklemesi gerekebilir. Şimdilik araştırmacılar bir açıklamanın yalnızca kısa bir taslağını sunabiliyorlar. Model "A, B'dir" konusunda güncellendiğinde, bu degrade güncellemesi A'nın gösterimini B hakkında bilgi içerecek şekilde biraz değiştirebilir (örneğin, bir ara MLP katmanında). Bu gradyan güncellemesi için, B'nin gösterimini A hakkındaki bilgileri içerecek şekilde değiştirmek de mantıklıdır. Bununla birlikte, gradyan güncellemesi kısa görüşlüdür ve gelecekte A'yı B'ye dayanarak tahmin etmek yerine, A verildiğinde B'nin logaritmasına bağlıdır.
"Laneti tersine çevirdikten" sonra araştırmacılar, büyük modelin mantıksal anlam, mekansal ilişkiler ve n-yer ilişkileri gibi diğer ilişki türlerini tersine çevirip çeviremeyeceğini keşfetmeyi planlıyor.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Büyük modellerdeki en büyük hata doğru cevap oranının neredeyse sıfır olmasıdır.
GPT-3 ve Lama'dan basit bir bilgiyi öğrenmelerini istedim: A, B'dir ve ardından B'nin ne olduğunu sordum. Yapay zekanın cevabının doğruluğunun sıfır olduğu ortaya çıktı.
Amaç ne?
Son zamanlarda, "Tersine Döndürme Laneti" adı verilen yeni bir kavram, yapay zeka çevresinde sıcak bir konu haline geldi ve şu anda popüler olan tüm önemli dil modelleri bundan etkilendi. Son derece basit problemlerle karşı karşıya kaldıklarında doğrulukları sıfıra yakın olmakla kalmayıp, doğruluğun arttırılması da mümkün değildir.
Üstelik araştırmacılar bu büyük hatanın modelin boyutuyla ya da sorulan sorularla hiçbir ilgisi olmadığını da buldu.
Yapay zekanın büyük modellerin ön eğitimi aşamasına geldiğini ve sonunda bazı mantıksal düşünme konusunda ustalaştığını söylemiştik, ancak bu sefer orijinal şekline geri dönmüş gibi görünüyor.
Şekil 1: GPT-4'teki bilgi tutarsızlığı. GPT-4, Tom Cruise'un annesinin adını doğru bir şekilde verdi (solda). Ancak oğluna sormak için annenin adı girildiğinde "Tom Cruise" (sağda) alınamadı. Yeni araştırmalar, bu sıralama etkisinin lanetin tersine çevrilmesinden kaynaklandığını öne sürüyor. "A, B'dir" konusunda eğitilmiş bir model, otomatik olarak "B, A'dır" sonucunu çıkarmaz.
Bir kişi "Olav Scholz'un Federal Almanya Cumhuriyeti'nin dokuzuncu Şansölyesi olduğunu" biliyorsa, "Almanya'nın dokuzuncu Şansölyesi kimdir?" sorusuna doğru cevap verebilir. Bu, önemsiz gibi görünen temel bir genelleme biçimidir.
Ancak araştırmalar, yapay zeka alanında şu anda popüler olan otoregresif dil modelinin bu şekilde genellenemeyeceğini gösteriyor. Özellikle, modelin eğitim setinin "Olaf Scholz Almanya'nın dokuzuncu Şansölyesiydi" gibi cümleler içerdiğini ve burada "Olaf Scholz" adının "Almanya'nın dokuzuncu Şansölyesi" tanımından önce geldiğini varsayalım. Büyük model daha sonra "Olaf Scholz kimdir?" sorusunu doğru yanıtlamayı öğrenebilir (Cevap: Almanya'nın dokuzuncu şansölyesi). Ancak "Almanya'nın dokuzuncu şansölyesi kimdi?" sorusuna ve ismin öncesinde ne olduğunu açıklayan herhangi bir soruya yanıt veremez.
Bu, “tersine dönme laneti” dediğimiz sıralama etkisinin bir örneğidir. Model 1, " is " biçimindeki cümlelerle (adından sonra bir açıklamayla birlikte) eğitilirse, model " is " ifadesini ters yönde otomatik olarak tahmin etmeyecektir. Özellikle, eğer büyük bir dil modeli (LLM) şartlandırılırsa, bu durumda modelin olasılığı rastgele taban çizgisinden daha yüksek olmayacaktır.
Peki **büyük modelin mantığı aslında yok mu? **Bir görüşe göre ters lanet, LLM eğitim sürecinde mantıksal çıkarımın temel başarısızlığını göstermektedir. "A, B'dir" (veya eşdeğer olarak "A=B") doğruysa, mantıksal olarak "B, A'dır" özdeşlik ilişkisinin simetrisini takip eder. Geleneksel bilgi grafikleri bu simetriye saygı duyar (Speer vd., 2017). Laneti Tersine Çevirmek, eğitim verilerinin ötesinde çok az genelleme gösterir. Üstelik bu LLM'nin mantıksal çıkarımları anlamadan açıklayabileceği bir şey değil. GPT-4 gibi bir LLM, bağlam penceresinde "A, B'dir" verilirse "B, A'dır" sonucunu çok iyi çıkarabilir.
Lanetin tersine çevrilmesini mantıksal çıkarımla ilişkilendirmek yararlı olsa da, bu yalnızca genel durumu basitleştirmedir. Şu anda büyük bir modelin "A, B'dir" konusunda eğitildikten sonra "B, A'dır" sonucunu çıkarıp çıkaramayacağını doğrudan test edemiyoruz. Büyük modeller, gerçekte "olması gereken" kelimeyi değil, bir insanın yazacağı bir sonraki kelimeyi tahmin edecek şekilde eğitilir. Bu nedenle, LLM "B, A'dır" sonucunu çıkarsa bile, istendiğinde "bize söylemeyebilir".
Ancak laneti tersine çevirmek meta-öğrenmenin başarısızlığını gösterir. "Olur" ve "olur" biçimindeki cümleler genellikle eğitim öncesi veri setinde birlikte görünür. İlki veri setinde görünüyorsa, ikincisinin ortaya çıkma olasılığı daha yüksektir çünkü insanlar genellikle bir cümle veya paragraftaki öğelerin sırasını değiştirir. Bu nedenle, iyi bir meta-öğrenici, "olmak" üzere eğitildiğinde "olma" durumlarının olasılığını artıracaktır. Bu anlamda otoregresif LLM iyi bir meta-öğrenici değildir.
Lanetin tersine çevrilmesi birçok yapay zeka araştırmacısının dikkatini çekti.Bazıları yapay zekanın insanlığı yok etmesinin sadece bir fantezi gibi göründüğünü söylüyor.
Diğerleri bunun, eğitim verilerinizin ve bağlamsal içeriğinizin bilginin genelleme sürecinde çok önemli bir rol oynadığı anlamına geldiğini söylüyor.
OpenAI'nin ünlü bilim adamlarından Andrej Karpathy, LLM tarafından öğrenilen bilginin sizin ve benim hayal ettiğimizden çok daha "dağınık" olduğunu söyledi. Bu konuda hâlâ iyi bir sezgim yok. Başka yönlerde sorduğumuzda genelleştirilemeyebilecek, o olayın bağlamsal penceresinin belirli bir "yönünde" şeyler öğrenirler. Bu garip bir kısmi genelleme ve bana öyle geliyor ki "Laneti Tersine Çevirmek" özel bir durum.
Tartışmayı ateşleyen araştırma Vanderbilt Üniversitesi, New York Üniversitesi, Oxford Üniversitesi ve diğer kurumlardan geldi. "Tersine Dönme Laneti: "A, B'dir" konusunda eğitim almış yüksek lisans öğrencileri "B, A'dır"ı öğrenemiyor " başlıklı makale:
Kağıt bağlantısı:
GitHub'ın bağlantısı:
İsim ve açıklama ters çevrilirse büyük model karışır
Bu makale, LLM'nin sentetik veriler üzerinde yapılan bir dizi ince ayar deneyi yoluyla tersine dönme lanetinden muzdarip olduğunu göstermektedir. Şekil 2'de gösterildiği gibi, araştırmacı ilk önce cümle kalıbına dayalı modele ince ayar yapmıştır (örneğin, Daphne Barrington "Through Time"ın yöneticisidir). Sonuçlar, ipucu formu hala Cümle kalıbı 'dur, model doğru cevaplar verebilir ancak "Zaman Yolculuğunu kim yönetti" gibi başka bir soru sorulduğunda model yanlış cevap verir.
Aslında, Şekil 4'te (deneysel kısım) gösterildiği gibi, modelin doğru ismi vermesinin logaritmik olasılığı, rastgele bir isim vermesinin logaritmik olasılığına benzer. Ayrıca test sırası is < deion >'dan < deion > is < name >'e değiştiğinde hata oranı artar.
Laneti tersine çevirmekten kaçınmak için araştırmacılar aşağıdaki yöntemleri denediler:
Bir dizi deneyden sonra, laneti tersine çevirmenin son teknoloji modellerdeki genellemeyi etkilediğine dair ön kanıtlar sağlıyorlar (Şekil 1 ve Bölüm B). Bunu GPT-4'te "Tom Cruise'un annesi kim?" ve "Mary Lee Pfeiffer'ın oğlu kim?" gibi 1000 soruyla test ettiler. Çoğu durumda modelin ilk soruyu (ebeveyni kimdir) doğru yanıtladığı, ancak ikinci soruyu yanıtlayamadığı ortaya çıktı. Bu makale, bunun, eğitim öncesi verilerin ünlülerden önce sıralanan ebeveynlerin daha az örneğini içermesinden kaynaklandığını varsaymaktadır (örneğin, Mary Lee Pfeiffer'ın oğlu Tom Cruise).
Deneyler ve sonuçlar
Bu makale, eğitim sırasında "A'nın B olduğunu" öğrenen bir otoregresif dil modelinin (LLM) "B, A'dır"ın tersi biçimine genelleme yapıp yapamayacağını test etmeyi amaçlamaktadır.
İlk denemede, adın ve açıklamanın kurgusal olduğu biçimindeki (veya tam tersi) belgelerden oluşan bir veri kümesi oluştururuz. Ayrıca çalışma, ad ve açıklama çiftlerini oluşturmak için GPT-4'ü kullandı. Bu veri çiftleri daha sonra rastgele üç alt kümeye atanır: NameToDeion, DeionToName ve her ikisi. İlk iki alt küme Şekil 3'te gösterilmektedir.
sonuç. Tam eşleştirme değerlendirmesinde, test sorularının sırası eğitim verileriyle eşleştiğinde GPT-3-175B daha iyi tam eşleştirme doğruluğu elde eder.Sonuçlar Tablo 1'de gösterilmektedir.
Spesifik olarak, DeionToName için (örneğin, Abissal Melodilerin bestecisi Uriah Hawthorne'dur), model, bir açıklama içeren bir bilgi istemi verildiğinde (örneğin, Abissal Melodilerin bestecisinin kim olduğu) adı almada %96,7 doğruluk elde eder. NameToDeion'daki gerçekler için doğruluk %50,0 ile daha düşüktür. Bunun tersine, sıra eğitim verileriyle eşleşmediğinde model genelleme yapamaz ve doğruluk %0'a yakındır. **
Bu makale ayrıca GPT-3-350M (Ek A.2) ve Llama-7B (Ek A.4) dahil olmak üzere bir dizi deney gerçekleştirdi.Sonuçlar, modellerin ters lanetten muzdarip olduğunu gösteriyor.
Arttırılmış olabilirlik değerlendirmesinde, doğru isme atanan log oranları ile rastgele isme atanan log oranları arasında tespit edilebilir bir fark yoktu. GPT-3 modelinin ortalama log olasılığı Şekil 4'te gösterilmektedir. Hem t testleri hem de Kolmogorov-Smirnov testleri istatistiksel olarak anlamlı farklar tespit edemedi.
Şekil 4: Deney 1, model, sıra ters çevrildiğinde doğru ismin olasılığını arttırmada başarısız oluyor. Bu grafik, model ilgili bir açıklamayla sorgulandığında doğru ismin (rastgele bir isme göre) ortalama log olasılığını gösterir.
Daha sonra, çalışma ikinci bir deney gerçekleştirdi.
Bu deneyde araştırmacılar, gerçek ünlüler ve ebeveynleri hakkındaki gerçeklere dayanan "A'nın ebeveyni B'dir" ve "B'nin çocuğu A'dır" şeklindeki modelleri test etti. Çalışma, IMDB'den (2023) en popüler 1000 ünlü listesini topladı ve ünlülerin ebeveynlerini isimlerine göre bulmak için GPT-4'ü (OpenAI API) kullandı. GPT-4, ünlülerin ebeveynlerini %79 oranında tespit edebildi.
Daha sonra her çocuk-ebeveyn çifti için çalışma, çocuğu ebeveyne göre sorgular. Burada GPT-4'ün başarı oranı sadece %33'tür. Şekil 1 bu olguyu göstermektedir. GPT-4'ün Mary Lee Pfeiffer'ı Tom Cruise'un annesi olarak tanımlayabildiğini ancak Tom Cruise'u Mary Lee Pfeiffer'ın oğlu olarak tanımlayamayacağını gösteriyor.
Ayrıca çalışma, henüz ince ayarı yapılmamış olan Llama-1 serisi modelini de değerlendirdi. Tüm modellerin ebeveynleri belirlemede çocuklardan çok daha iyi olduğu bulunmuştur, bkz. Şekil 5.
Şekil 5: Deney 2'deki ebeveyn ve çocuk sorularının sıralamasındaki ters etkiler. Mavi çubuk (solda), ünlünün çocuklarını sorgularken modelin doğru ebeveyni döndürme olasılığını gösterir; kırmızı çubuk (sağ), bunun yerine ebeveynin çocuklarına sorulduğunda doğru olma olasılığını gösterir. Llama-1 modelinin doğruluğu, modelin doğru şekilde tamamlanma olasılığıdır. GPT-3.5-turbo'nun doğruluğu, sıcaklık = 1'de örneklenen çocuk-ebeveyn çifti başına 10 örneğin ortalamasıdır. Not: GPT-4, çocuk-ebeveyn çiftlerinin bir listesini oluşturmak için kullanıldığından ve dolayısıyla "ebeveyn" çiftini oluşturarak %100 doğruluğa sahip olduğundan şekilde dahil edilmemiştir. GPT-4 "alt"ta %28 puan alıyor.
Geleceğe Bakış
LLM'deki ters lanet nasıl açıklanır? Bunun gelecekte daha fazla araştırmayı beklemesi gerekebilir. Şimdilik araştırmacılar bir açıklamanın yalnızca kısa bir taslağını sunabiliyorlar. Model "A, B'dir" konusunda güncellendiğinde, bu degrade güncellemesi A'nın gösterimini B hakkında bilgi içerecek şekilde biraz değiştirebilir (örneğin, bir ara MLP katmanında). Bu gradyan güncellemesi için, B'nin gösterimini A hakkındaki bilgileri içerecek şekilde değiştirmek de mantıklıdır. Bununla birlikte, gradyan güncellemesi kısa görüşlüdür ve gelecekte A'yı B'ye dayanarak tahmin etmek yerine, A verildiğinde B'nin logaritmasına bağlıdır.
"Laneti tersine çevirdikten" sonra araştırmacılar, büyük modelin mantıksal anlam, mekansal ilişkiler ve n-yer ilişkileri gibi diğer ilişki türlerini tersine çevirip çeviremeyeceğini keşfetmeyi planlıyor.