En büyük dil modeli yetenekleri yalnızca bu 10 zorlukla ilgileniyor

Kaynak: Silikon Tavşan Yarışı

Yazar: Lin Ju Editör: Man Manzhou

Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur

**Editörün notu: Bu makale, büyük dil modeli (LLM) araştırmasındaki en önemli on zorluğu araştırıyor. Yazar, Stanford Üniversitesi'nden mezun olan ve şu anda gerçek zamanlı bir makine öğrenimi platformu olan Claypot AI'nin kurucusu Chip Huyen'dir. daha önce NVIDIA, Snorkel AI, Netflix ve Primer'da makine öğrenimi araçları geliştiriyordu. **

Eşi benzeri görülmemiş bir duruma tanık oluyorum: Dünyanın en üst düzey beyinlerinin çoğu artık "dil modellerini (LLM'leri) daha iyi hale getirme" ortak hedefine kendilerini adamış durumdalar.

Endüstri ve akademideki birçok meslektaşımla konuştuktan sonra hızla gelişen on önemli araştırma yönünü özetlemeye çalıştım:

1. Halüsinasyonları azaltın ve ölçün (Editörün notu: halüsinasyonlar, yapay zeka halüsinasyonları, yani yapay zeka çıktısının yanlış veya anlamsız kısımları, her ne kadar bu tür çıktılar sözdizimsel olarak makul olsa da)

2. Bağlam uzunluğunu ve bağlam yapısını optimize edin

3. Diğer veri modlarını entegre edin

4. Yüksek Lisans'ın hızını artırın ve maliyetlerini azaltın

5. Yeni bir model mimarisi tasarlayın

6. GPU alternatifleri geliştirin

7. Temsilci kullanılabilirliğini iyileştirin

8. İnsan tercihlerinden öğrenme yeteneği geliştirildi

9. Sohbet arayüzünün verimliliğini artırın

10. İngilizce dışındaki diller için yüksek lisans programları oluşturmak

Bunlar arasında ilk iki yön olan "yanılsamaların" azaltılması ve "bağlamsal öğrenme" şu anda en popüler yönler olabilir. Kişisel olarak ben en çok 3. madde (multimodality), 5. madde (yeni mimari) ve 6. madde (GPU alternatifleri) ile ilgileniyorum.

01 İllüzyonları azaltın ve ölçün

Bir yapay zeka modelinin yanlış içerik oluşturması durumunda ortaya çıkan olguyu ifade eder.

İllüzyon, yaratıcılık gerektiren birçok durumda kaçınılmaz bir niteliktir. Ancak diğer birçok uygulama senaryosu için bu bir dezavantajdır.

Kısa süre önce Yüksek Lisans ile ilgili bir tartışma grubuna katıldım ve Dropbox, Langchain, Elastics ve Anthropic gibi şirketlerden kişilerle konuştum ve onlar büyük ölçekli girişimin benimsenmesi Yüksek Lisans'ın ticari üretiminin önündeki en büyük engel yanılsama sorunudur.

Halüsinasyon olgusunu azaltmak ve bunları ölçmek için ölçümler geliştirmek, gelişen bir araştırma konusudur ve birçok yeni şirket bu sorunu çözmeye odaklanmıştır.

Halen halüsinasyonları azaltmak için daha fazla bağlam, düşünce zinciri, istemlere kendi kendine tutarlılık eklemek veya modelin çıktısının kısa kalmasını gerektirmek gibi bazı geçici yöntemler vardır.

Aşağıda başvurabileceğiniz ilgili konuşmalar yer almaktadır

·Doğal Dil Üretiminde Halüsinasyon Araştırması (Ji ve diğerleri, 2022)·Dil Modeli Halüsinasyonları Nasıl Kartopu Toplayabilir (Zhang ve diğerleri, 2023)·ChatGPT'nin Akıl Yürütme, Halüsinasyon ve Etkileşim Üzerine Çok Görevli, Çok Dilli, Çok Modlu Kullanımı (Bang) ve diğerleri, 2023)·Karşılaştırmalı Öğrenme, Konuşmalardaki Halüsinasyonu Azaltır (Sun ve diğerleri, 2022)·Öz Tutarlılık, Dil Modellerinde Düşünce Muhakeme Zincirini İyileştirir (Wang ve diğerleri, 2022)·SelfCheckGPT: Sıfır Kaynaklı Kara Kutu Üretken Büyük Dil Modelleri için Halüsinasyon Tespiti (Manakul ve diğerleri, 2023)

02 Bağlam uzunluğunu ve bağlam yapısını optimize edin

Yapay zekanın karşılaştığı sorunların büyük çoğunluğu bağlam gerektirir.

Örneğin, ChatGPT'ye "Hangi Vietnam restoranı en iyi?" diye sorarsak gerekli bağlam "nerede" olabilir çünkü Vietnam'daki en iyi restoran, Amerika Birleşik Devletleri'ndeki en iyi Vietnam restoranından farklı olabilir.

İlginç "SituatedQA" makalesine (Zhang ve Choi, 2021) göre, bilgi arama sorularının önemli bir kısmının bağlama bağlı cevapları vardır. Örneğin, NQ-Open veri setindeki soruların yaklaşık %16,5'i bu türdendir. .

Ben şahsen kurumsal uygulama senaryolarında bu oranın daha da yüksek olabileceğini düşünüyorum. Bir şirketin müşteriler için bir chatbot oluşturduğunu varsayalım. Robotun herhangi bir ürünle ilgili herhangi bir müşteri sorusunu yanıtlayabilmesi için gerekli bağlam müşterinin geçmişi veya ürünle ilgili bilgiler olabilir.

Model kendisine sağlanan bağlamdan "öğrendiği" için bu süreç aynı zamanda bağlamsal öğrenme olarak da bilinir.

Erişimi arttırılmış nesil için (aynı zamanda LLM endüstri uygulama yönünde ana yöntem olan RAG), bağlam uzunluğu özellikle önemlidir.

RAG basitçe iki aşamaya ayrılabilir:

Aşama 1: Parçalama (indeksleme de denir)

LLM tarafından kullanılacak tüm belgeleri toplayın, bu belgeleri, yerleştirmeler oluşturmak için LLM'ye beslenebilecek parçalara bölün ve bu yerleştirmeleri bir vektör veritabanında saklayın.

İkinci aşama: sorgu

Bir kullanıcı "Sigorta poliçem bu ilacı karşılayacak mı?" gibi bir sorgu gönderdiğinde

Şekil: Jerry Liu'nun LlamaIndex'teki konuşmasından ekran görüntüsü (2023)

Bağlam uzunluğu ne kadar uzun olursa, bağlama o kadar çok blok ekleyebiliriz. Ancak bir model ne kadar fazla bilgiye erişirse, tepkileri de o kadar iyi olacak mı?

Bu her zaman böyle değildir. Bir modelin ne kadar bağlam kullanabileceği ve modelin ne kadar verimli kullanılacağı iki farklı sorudur. Model bağlam uzunluğunun arttırılması kadar önemli olan bağlamın daha verimli öğrenilmesidir, buna "ipucu mühendisliği" de denir.

Yakın zamanda geniş çapta dağıtılan bir makale, modellerin endeksin başından ve sonundaki bilgileri anlamada ortasından çok daha iyi performans gösterdiğini gösteriyor: Ortada Kayıp: Dil Modelleri Uzun Bağlamları Nasıl Kullanıyor (Liu ve diğerleri, 2023).

03Diğer veri modlarını entegre edin

Benim görüşüme göre, çok-modluluk çok güçlü ama çoğu zaman hafife alınıyor.

Her şeyden önce, birçok gerçek hayattaki uygulama senaryosu, sağlık hizmetleri, robot teknolojisi, e-ticaret, perakende, oyunlar, eğlence vb. gibi büyük miktarda çok modlu verinin işlenmesini gerektirir. Tıbbi tahminler hem metnin (doktor notları, hasta anketleri gibi) hem de görüntülerin (CT, X-ışını, MRI taramaları gibi) kullanılmasını gerektirir; ürün verileri genellikle görüntüleri, videoları, açıklamaları ve hatta tablo verilerini (örneğin üretim tarihi, ağırlık, renk).

İkincisi, çok modluluk model performansında büyük gelişmeler getirmeyi vaat ediyor. Hem metni hem de görselleri anlayabilen bir model, yalnızca metni anlayabilen bir modelden daha iyi performans göstermez mi? Metin tabanlı modeller büyük miktarda metin verisi gerektiriyor ve artık metin tabanlı modellerin eğitimi için internet verilerinin tükenmesinden gerçekten endişe duyuyoruz. Metin tükendikten sonra diğer veri yöntemlerinden yararlanmamız gerekir.

Son zamanlarda beni özellikle heyecanlandıran bir uygulama yönü, multimodal teknolojinin görme engelli kişilerin internette gezinmesine ve gerçek dünyada gezinmesine yardımcı olabilmesidir.

Aşağıda birkaç önemli çok modelli araştırma gelişmesi yer almaktadır:· [CLIP] Doğal Dil Denetiminden Aktarılabilir Görsel Modellerin Öğrenilmesi (OpenAI, 2021)·Flamingo: Birkaç Adımda Öğrenme için Görsel Dil Modeli (DeepMind, 2022)·BLIP-2: Dondurulmuş Görüntü Kodlayıcılar ve Büyük Dil Modelleriyle Önyükleme Dil-Görüntü Ön Eğitimi (Salesforce, 2023)·KOSMOS-1: İhtiyacınız Olan Tek Şey Dil Değil: Algıyı Dil Modelleriyle Hizalamak (Microsoft, 2023)·PaLM-E: Somutlaştırılmış çok modlu bir dil modeli (Google, 2023)·LLaVA: Görsel Talimat Ayarlaması (Liu) ve diğerleri, 2023)·NeVA: NeMo Vizyon ve Dil Asistanı (NVIDIA, 2023)

04LLM'lerin hızını artırma ve maliyetlerini azaltma

GPT-3.5, Kasım 2022'nin sonlarında ilk kez piyasaya sürüldüğünde birçok kişi, modelin üretimde kullanılmasından kaynaklanan gecikmeler ve maliyetlerle ilgili endişelerini dile getirdi.

Artık GPT-3.5 kullanımının neden olduğu gecikme/maliyet analizi yeni bir dönemeçte. Altı ay içinde tüm modelleme topluluğu, performans açısından neredeyse GPT-3.5'e yakın ancak bellek ayak izinin %2'sinden daha azına sahip bir model oluşturmanın yeni bir yolunu buldu.

Buradan çıkardığım noktalardan biri şu: Yeterince iyi bir şey yaratırsanız, bir başkası bunu hızlı ve uygun maliyetli hale getirmenin bir yolunu bulacaktır.

Aşağıdakiler, Guanaco 7B'nin performansını ChatGPT GPT-3.5 ve GPT-4 ile karşılaştıran Guanaco makalesinde bildirilen verilere dayanmaktadır.

Genel olarak bu modellerin performansının mükemmel olmaktan uzak olduğunu belirtmek önemlidir. Yüksek Lisans için performansı önemli ölçüde artırmak hala çok zordur.

Hatırlıyorum, dört yıl önce "Makine Öğrenim Sistemlerini Tasarlamak" kitabının "Model Sıkıştırma" bölümüne notlar yazmaya başladığımda sektörde dört ana model optimizasyon/sıkıştırma tekniği vardı:

1. Niceleme: Açık ara en yaygın model optimizasyon yöntemi. Niceleme, modelin parametrelerini temsil etmek için daha az bit kullanarak modelin boyutunu azaltır. Örneğin, kayan nokta sayılarını temsil etmek için 32 bit kullanmak yerine, yalnızca 16 bit, hatta 4 bit kullanılır.

2. Bilginin damıtılması: yani daha büyük bir modeli veya model setini (öğretmen modeli) taklit edebilecek küçük bir modelin (öğrenci modeli) eğitilmesi.

3. Düşük dereceli ayrıştırma: Ana fikri, parametre sayısını azaltmak için yüksek boyutlu tensörlerin yerine düşük boyutlu tensörlerin kullanılmasıdır. Örneğin, 3x3'lük bir tensör, 3x1'lik bir tensörün ve 1x3'lük bir tensörün çarpımına ayrıştırılabilir, böylece 9 parametre yerine yalnızca 6 parametre bulunur.

4. Budama: Modeldeki genel performansa daha az katkıda bulunan ağırlıkların veya bağlantıların kaldırılması yoluyla modelin boyutunun küçültülmesi anlamına gelir.

Bu dört teknik günümüzde hala popülerdir. Alpaca, bilginin damıtılmasıyla eğitilirken QLoRA, düşük dereceli ayrıştırma ve nicelemenin bir kombinasyonunu kullanır.

05Yeni model mimarisini tasarlayın

2012'deki AlexNet'ten bu yana, LSTM, seq2seq vb. dahil olmak üzere birçok mimarinin gelip gittiğini gördük.

Bu mimarilerle karşılaştırıldığında 2017 yılında lansmanı yapılan Transformer son derece stabil, ancak bu mimarinin ne kadar süre popüler olacağı belli değil.

Transformer'dan daha iyi performans gösterebilecek yeni bir mimari geliştirmek kolay değil. Geçtiğimiz 6 yılda Transformer birçok optimizasyondan geçti. Uygun donanımda, bu modelin ölçeği ve etkisi şaşırtıcı sonuçlar elde edebilir (Not: Transformer ilk olarak Google tarafından TPU'da hızlı çalışacak şekilde tasarlandı ve daha sonra GPU).

2021 yılında Chris Ré'nin laboratuvarının "Yapılandırılmış Durum Uzaylarıyla Uzun Dizileri Verimli Şekilde Modelleme" (Gu ve diğerleri, 2021) araştırması sektörde birçok tartışmayı tetikledi. Daha sonra ne olduğundan emin değilim. Ancak Chris Ré Labs hâlâ aktif olarak yeni mimariler geliştiriyor ve yakın zamanda startup Together ile ortaklaşa Monarch Mixer adında bir mimari başlattılar.

Ana fikirleri, mevcut Transformer mimarisi için dikkatin karmaşıklığının dizi uzunluğunun karesiyle orantılı olduğu ve MLP'nin karmaşıklığının model boyutunun karesiyle orantılı olduğudur. İkinci dereceden karmaşıklığa sahip mimariler daha verimli olacaktır.

Başka birçok laboratuvarın bu fikri araştırdığına eminim, ancak bunu halka açık olarak deneyen herhangi bir çalışmanın farkında değilim. Gelişmeyi biliyorsanız lütfen benimle iletişime geçin!

06GPU Alternatifleri Geliştirme

AlexNet'in 2012'de ortaya çıkışından bu yana GPU, derin öğrenmenin ana donanımı oldu.

Aslında AlexNet'in popülaritesinin genel olarak kabul edilen nedenlerinden biri, sinir ağlarını eğitmek için GPU'ları başarıyla kullanan ilk makale olmasıdır. GPU'lardan önce, AlexNet boyutunda bir modeli eğitmek istiyorsanız, tıpkı Google'ın AlexNet'ten birkaç ay önce piyasaya sürdüğü sunucu gibi binlerce CPU'ya ihtiyacınız vardı.

Binlerce CPU ile karşılaştırıldığında, birkaç GPU'nun doktora öğrencileri ve araştırmacılar için daha erişilebilir olması, derin öğrenme araştırmalarında bir patlamayı tetikliyor.

Geçtiğimiz on yılda, hem büyük hem de yeni kurulan birçok şirket, yapay zeka için yeni donanımlar yaratmaya çalıştı. En dikkate değer girişimler arasında Google'ın TPU'su, Graphcore'un IPU'su ve Cerebras yer alıyor. SambaNova ayrıca yeni AI çipleri geliştirmek için 1 milyar dolardan fazla para topladı, ancak üretken bir AI platformu olma yolunda ilerlemiş görünüyor.

Bu dönemde kuantum hesaplama da pek çok beklentiyi uyandırdı; bunların arasında ana aktörler arasında şunlar yer alıyor:

· IBM'in kuantum işlemcisi

· Google'ın kuantum bilgisayarı. Bu yılın başlarında Nature dergisinde kuantum hatalarının azaltılmasında önemli bir kilometre taşı rapor edilmişti. Kuantum sanal makinesine Google Colab aracılığıyla herkesin erişimi mümkündür.

· MIT Kuantum Mühendisliği Merkezi, Max Planck Kuantum Optik Enstitüsü, Chicago Kuantum Değişim Merkezi vb. gibi üniversitelerdeki araştırma laboratuvarları.

Aynı derecede heyecan verici bir diğer yön ise fotonik çiplerdir. Benim en az bildiğim yön bu, yanlışlarım varsa lütfen düzeltin.

Mevcut çipler verileri iletmek için elektrik kullanıyor, bu da çok fazla enerji tüketiyor ve gecikme yaratıyor. Fotonik çipler, verileri iletmek için fotonları kullanır ve daha hızlı, daha verimli bilgi işlem için ışık hızından yararlanır. Lightmatter (270 milyon dolar), Ayar Labs (220 milyon dolar), Lightelligence (200 milyon doların üzerinde) ve Luminous Computing (115 milyon dolar) dahil olmak üzere bu alandaki çeşitli girişimler yüz milyonlarca dolar topladı.

Aşağıda, Fotonik matris çarpımının fotonik hızlandırıcıyı ve ötesini aydınlatmasından alıntılanan, foton matrisi hesaplamasının üç ana yönteminin ilerleme zaman çizelgesi yer almaktadır (Zhou ve diğerleri, Nature 2022). Üç farklı yöntem Düzlemsel Işık Dönüşümü (PLC), Mach-Zehnder Girişimölçeri (MZI) ve Dalga Boyu Bölmeli Çoğullamadır (WDM).

07Acente kullanılabilirliğini iyileştirme

Aracılar, internette gezinmek, e-posta göndermek vb. gibi eylemleri gerçekleştirebilen LLM'ler olarak düşünülebilir. Bu makaledeki diğer araştırma yönleriyle karşılaştırıldığında bu, en genç yön olabilir.

Yenilikleri ve büyük potansiyelleri nedeniyle acentelere büyük ilgi var. Auto-GPT artık GitHub'daki yıldız sayısına göre en popüler 25. kütüphanedir. GPT-Engineering de bir başka popüler kütüphanedir.

Buna rağmen yüksek lisansların yeterince güvenilir olup olmadığı, yeterince iyi performans gösterip göstermediği ve belirli operasyonel yeteneklere sahip olup olmadığı konusunda hâlâ şüpheler var.

Artık sosyal araştırmalar için aracıların kullanılmasına yönelik ilginç bir uygulama yönü var. Bir Stanford deneyi, küçük bir grup üretken aracının ortaya çıkan sosyal davranış ürettiğini gösterdi: Kullanıcıya özel tek bir fikirle başlayıp, bir temsilcinin bir Sevgililer Günü partisine ev sahipliği yapmak istemesi, diğer birkaç temsilcinin bunu sonraki iki gün boyunca özerk bir şekilde yayması. Partilere davetler, yeni arkadaşlar edinmek, birbirlerini partilere davet etmek...(Generative Agents: Interactive Simulacra of Human Behavior, Park ve diğerleri, 2023).

Belki de bu alandaki en dikkate değer girişim, iki Transformer ortak yazarı (her ikisi de o zamandan beri ayrılmış olsa da) ve eski bir OpenAI Başkan Yardımcısı tarafından kurulan ve bugüne kadar yaklaşık 500 milyon dolar toplayan Adept'tir. Geçen yıl temsilcilerinin internette nasıl gezinebileceğini ve Salesforce'a yeni hesaplar ekleyebileceğini gösterdiler. Yeni demolarını görmeyi sabırsızlıkla bekliyorum 🙂 .

08 İnsan tercihlerinden öğrenme yeteneğinin geliştirilmesi

RLHF (İnsan Tercihinden Takviyeli Öğrenme) harika ama biraz sıkıcı.

İnsanların LLM'leri eğitmenin daha iyi yollarını bulmasına şaşırmadım. RLHF ile ilgili birçok açık soru vardır, örneğin:

·İnsan tercihleri matematiksel olarak nasıl temsil edilir?

Şu anda, insan tercihleri karşılaştırma yoluyla belirleniyor: Bir insan açıklamacı, A cevabının B cevabından daha iyi olup olmadığını belirliyor. Ancak A cevabının B cevabından ne ölçüde daha iyi veya daha kötü olduğu dikkate alınmaz.

·İnsan tercihleri nelerdir?

Antropik, model yanıtlarının kalitesini üç boyutta ölçer: yardımsever, dürüst ve zararsız. Referans belgesi: Anayasal Yapay Zeka: Yapay Zeka Geri Bildiriminden Zararsızlık (Bai ve diğerleri, 2022).

DeepMind çoğu insanı memnun edecek cevaplar üretmeye çalışır. Referans makalesi: Farklı tercihlere sahip insanlar arasında anlaşma sağlamak için dil modellerine ince ayar yapılması, (Bakker ve diğerleri, 2022).

Ayrıca, bir duruş sergileyebilecek bir yapay zeka mı yoksa potansiyel olarak tartışmalı herhangi bir konu hakkında konuşmaktan kaçınan genel bir yapay zeka mı istiyoruz?

·Kültür, din, siyasi eğilimler vb. farklılıklar göz önüne alındığında “insani” tercihler kimin tercihleridir?

Tüm potansiyel kullanıcıları yeterince temsil eden eğitim verilerinin elde edilmesinde birçok zorluk vardır.

Örneğin, OpenAI'nin InstructGPT verilerinde 65 yaşın üzerinde hiçbir açıklayıcı bulunmuyor. Etiketleyiciler çoğunlukla Filipinli ve Bangladeşlidir. Referans makalesi: InstructGPT: İnsan geri bildirimiyle talimatları takip etmek için dil modellerinin eğitimi (Ouyang ve diğerleri, 2022).

Son yıllarda yapay zeka topluluğunun öncülük ettiği çabaların orijinal niyetleri takdire şayan olsa da, veri yanlılığı hâlâ mevcuttur. Örneğin, OpenAssistant veri setinde 222 katılımcıdan 201'i (%90,5) kendini erkek olarak bildirdi. Jeremy Howard, Twitter'da konuyla ilgili bir dizi tweet yayınladı.

09Sohbet arayüzünün verimliliğini artırın

ChatGPT'nin piyasaya sürülmesinden bu yana, sohbetin çok çeşitli görevlere uygun olup olmadığı konusunda devam eden bir tartışma var. Örneğin:

·Doğal dil tembel kullanıcı arayüzüdür (Austin Z. Henley, 2023)

·Neden Chatbotlar Gelecek Değil (Amelia Wattenberger, 2023)

·Hangi Tür Soruların Yanıtlanması için Konuşma Gerekir? AskReddit Sorularına İlişkin Bir Örnek Olay İncelemesi (Huang ve diğerleri, 2023)

·Yapay zeka sohbet arayüzleri, belgeleri okumak için birincil kullanıcı arayüzü haline gelebilir (Tom Johnson, 2023)

·Minimum Sohbet ile Yüksek Lisans'larla Etkileşim (Eugene Yan, 2023)

Ancak bu yeni bir tartışma değil. Pek çok ülkede, özellikle de Asya'da sohbet, yaklaşık on yıldır süper uygulamaların arayüzü olarak kullanılıyor. Dan Grover bu fenomeni 2014'te tartıştı.

Bu tür tartışmalar 2016 yılında yeniden alevlendi; birçok kişi mevcut uygulama türlerinin artık geçerliliğini yitirdiğini ve geleceğin chatbotlar olduğunu düşünüyor. Örneğin aşağıdaki çalışmalar:

·Arayüz olarak sohbette (Alistair Croll, 2016)

·Chatbot Trendi Büyük Bir Yanlış Anlama mı? (Will Knight, 2016)

·Botlar uygulamaların yerini almaz. Daha iyi uygulamalar uygulamaların yerini alacak (Dan Grover, 2016)

Kişisel olarak sohbet arayüzünü aşağıdaki nedenlerden dolayı seviyorum:

Sohbet arayüzü herkesin (daha önce bilgisayar veya internet deneyimi olmayan kişilerin bile) kullanmayı hızla öğrenebileceği bir arayüzdür.

2010'ların başında Kenya'nın düşük gelirli bir mahallesinde gönüllü olarak çalışırken, oradaki herkesin telefonlarına kısa mesaj göndererek bankacılık işlemleri yapma konusunda ne kadar rahat olduğunu görünce şaşırdım. O toplulukta hiç kimsenin bilgisayarı olmasa bile.

Sohbet arayüzüne erişim genellikle kolaydır. Ellerimiz başka şeylerle meşgulse metin yerine konuşmayı da kullanabiliriz.

Sohbet arayüzü de çok güçlü bir arayüzdür, bazı yanıtlar çok iyi olmasa bile kullanıcı tarafından yapılan her türlü isteğe yanıt verecektir.

Ancak sohbet arayüzünün geliştirilebileceği bazı alanlar olduğunu düşünüyorum:

·Bir turda birden fazla mesaj

Şu anda, hemen hemen aynı anda yalnızca bir mesaj olduğunu varsayıyoruz. Ancak arkadaşlarım ve ben mesajlaştığımızda, sohbeti tamamlamak için genellikle birden fazla mesaj gerekiyor çünkü farklı veriler (ör. görseller, konumlar, bağlantılar) girmem gerekiyor, önceki mesajdan bir şeyi unuttum veya sadece sığdırmak istemiyorum her şeyi büyük bir paragrafta.

·Çok modlu giriş

Multimodal uygulamalar alanında, çabaların çoğu daha iyi modeller oluşturmaya, daha az çaba ise daha iyi arayüzler oluşturmaya harcanmaktadır. Örnek olarak NVIDIA'nın NeVA sohbet robotunu ele alalım. Kullanıcı deneyimi uzmanı değilim, ancak burada iyileştirmeye yer olabileceğini düşünüyorum.

Not: NeVA ekibi, adınızı verdiğim için özür dilerim. Yine de çalışmalarınız harika!

Şekil: NVIDIA'nın NeVA arayüzü

·Üretken yapay zekayı iş akışlarına entegre edin

Linus Lee, "Sohbetlerin ötesinde Üretken Yapay Zeka Arayüzü" başlıklı konuşmasında bunu çok iyi bir şekilde ele alıyor. Örneğin, üzerinde çalıştığınız bir grafik sütunu hakkında bir soru sormak istiyorsanız, o sütunun üzerine gelip sorabilmeniz gerekir.

·Mesajları düzenleme ve silme

Kullanıcı girişini düzenlemek veya kaldırmak, sohbet robotuyla görüşmenin akışını nasıl değiştirir?

10 İngilizce dışındaki diller için yüksek lisans (LLM) oluşturma

Mevcut İngilizce liderliğindeki LLM'lerin performans, gecikme veya hız açısından diğer birçok dilde kötü performans gösterdiğini biliyoruz.

İşte başvurabileceğiniz ilgili çalışmalar:

·ChatGPT İngilizcenin Ötesinde: Çok Dilli Öğrenmede Büyük Dil Modellerinin Kapsamlı Bir Kullanımına Doğru (Lai ve diğerleri, 2023)

·Tüm diller eşit şekilde oluşturulmamıştır (tokenize edilmemiştir) (Yennie Jun, 2023)

Bazı okuyucular bana iki nedenden dolayı bu yönde ilerlemem gerektiğini düşünmediklerini söylediler.

Bu bir araştırma sorusundan çok "lojistik" bir sorudur. Bunu nasıl yapacağımızı zaten biliyoruz. Birinin sadece para ve çaba harcaması gerekiyor.

Bu tamamen doğru değil. Çoğu dil, örneğin İngilizce veya Çince'den çok daha az yüksek kaliteli veriye sahip olduğundan ve büyük dil modellerini eğitmek için farklı teknikler gerektirebileceğinden, düşük kaynaklı diller olarak kabul edilir.

İşte başvurabileceğiniz ilgili çalışmalar:

·Düşük Kaynaklı Diller: Geçmiş Çalışmaların ve Gelecekteki Zorlukların Gözden Geçirilmesi (Magueresse ve diğerleri, 2020)

·JW300: Düşük Kaynaklı Diller için Geniş Kapsamlı Paralel Derlem (Agić ve diğerleri, 2019)

Daha karamsar olanlar ise gelecekte birçok dilin yok olacağına ve İnternet'in İngilizce ve Çince olmak üzere iki dilden oluşan iki dünya olacağına inanıyor. Bu düşünce tarzı yeni değil. Esperanto'yu hatırlayan var mı?

Makine çevirisi ve sohbet robotları gibi yapay zeka araçlarının dil öğrenimi üzerindeki etkisi belirsizliğini koruyor. İnsanların yeni dilleri daha hızlı öğrenmesine yardımcı olacaklar mı yoksa yeni dil öğrenme ihtiyacını tamamen ortadan mı kaldıracaklar?

Sonuç olarak

Yukarıda bahsedilen 10 zorluktan bazıları gerçekten diğerlerinden daha zordur.

Örneğin, İngilizce dışındaki diller için Yüksek Lisans Eğitimi Oluşturmak başlıklı 10. maddenin daha doğrudan yeterli zaman ve kaynaklara işaret ettiğini düşünüyorum.

Madde 1, yani halüsinasyonların azaltılması daha zor olacaktır çünkü halüsinasyonlar sadece olasılıksal görevlerini yerine getiren Yüksek Lisans'lardır.

Yüksek Lisans'ı daha hızlı ve daha ucuz hale getiren 4. madde hiçbir zaman tam olarak çözülmüş bir duruma ulaşamayacaktır. Bu alanda çok fazla ilerleme kaydedildi ve daha fazlası da gelecek, ancak gelişmeyi asla bırakmayacağız.

5. ve 6. maddeler, yani yeni mimari ve yeni donanım, oldukça zorlu ve kaçınılmazdır. Mimari ve donanım arasındaki simbiyotik ilişki nedeniyle, yeni mimarilerin ortak donanım için optimize edilmesi ve donanımın da ortak mimarileri desteklemesi gerekiyor. Aynı şirket tarafından çözülebilirler.

Bu sorunlardan bazıları teknik bilgiden daha fazlasıyla çözülebilir. Örneğin, Madde 8, İnsan Tercihlerinden Öğrenmeyi Geliştirme, teknik bir sorundan çok bir strateji sorunu olabilir.

Sohbet arayüzünün verimliliğini artıran 9. madde daha çok bir kullanıcı deneyimi sorunudur. Bu sorunları çözmek için teknik olmayan altyapıya sahip daha fazla insanın birlikte çalışmasına ihtiyacımız var.