Takviyeli öğrenimin babası, iş kurmak için AGI'ye katılıyor! Efsanevi programcı Carmack ile birlikte çalışarak büyük modellere güvenmiyoruz

Orijinal kaynak: Qubits

Resim kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur

Efsanevi programcı John Carmack, takviyeli öğrenmenin babası Richard Sutton ile All in AGI'yi yaratmak için güçlerini birleştirdi.

2030 Genel yapay zeka hedefinin mümkün olduğunu kamuoyuna gösterin.

Ana akım yöntemlerin aksine, büyük model paradigmalara dayanmıyor ve gerçek zamanlı çevrimiçi öğrenmeyi amaçlıyor.

İkili, duyuruyu Sutton'un ders verdiği Alberta Üniversitesi Makine İstihbarat Enstitüsü'nde (Amii) düzenlenen özel bir etkinlikte yaptı.

Sutton, Alberta'daki öğretmenlik pozisyonunu sürdürürken Carmack'in yapay zeka girişimi Keen Technologies'e katılacak.

Her iki adam da etkinlikte Keen Technologies ekibinin yüzlerce veya binlerce çalışanı olan büyük şirketlerle karşılaştırıldığında küçük olduğunu itiraf etti.

Henüz emekleme aşamasında ve şirketin tüm teknik ekibi sahada——

Sadece bu 4 kişi ayakta.

Finansman ölçeği 20 milyon ABD dolarıdır ve bu, genellikle milyarlarca dolar toplayan OpenAI ve Anthropic ile karşılaştırılamaz.

Ancak AGI'nin nihai kaynak kodunun bir kişinin yazabileceği düzende olacağına ve yalnızca on binlerce satırdan oluşabileceğine inanıyorlar.

Üstelik yapay zeka alanı şu anda en büyük kaldıraç etkisine sahip özel bir anda ve küçük ekipler de büyük katkılar sağlama fırsatına sahip.

Efsanevi Programcı ve Takviyeli Öğrenimin Babası

Carmack'in dünyanın ilk 3D oyununu geliştirmekten roket inşa etmeye, Oculus'a katılmaya ve sonraki Meta VR'de önemli bir figür olmaya kadar uzanan efsanevi deneyimi iyi biliniyor.

Daha sonra yapay zeka ile ilgilenmeye başladı ve aynı zamanda OpenAI ile de akraba oldu.

Bir keresinde başka bir röportajında Sam Altman'ın kendisini OpenAI'ye katılmaya davet ettiğini ve sistem optimizasyonunda önemli bir rol oynayabileceğine inandığını açıklamıştı.

Ancak Carmack, o zamanlar makine öğrenimi paradigmasında modern yapay zeka konusunda herhangi bir anlayışa sahip olmadığına inanıyordu, bu yüzden aynı fikirde değildi.

Bu onun için yapay zekayı anlamaya başlaması için bir fırsat oldu.

OpenAI'nin baş bilim insanı Ilya Sutskever'den başlangıç için mutlaka okunması gerekenlerin bir listesini istedi ve sıfırdan kendi kendine çalışmaya başladı ve önce geleneksel makine öğrenimi algoritmaları hakkında temel bir anlayış kazandı.

Biraz boş vakti olduğunda ve derin öğrenmeye katılmaya devam etmeyi planladığında bir haftalık bir programlama mücadelesi hazırladı:

LeCun'un klasik makalelerinden birkaçını yazdırın ve ağ bağlantısı kesildiğinde geri yayılım formülünden başlayarak bunları uygulayın.

Bir hafta geçtikten sonra, Python'daki modern derin öğrenme çerçevelerinin yardımı olmadan, C++ ile el yapımı bir evrişimli sinir ağıyla inzivaya son verdi.

Söyleyebileceğim tek şey, büyük ustaya hayran olduğum.

O sıralarda ana işi hâlâ Facebook'un bir yan kuruluşu olan (daha sonra Meta olarak yeniden adlandırıldı) Oculus'ta VR araştırmaları yapmaktı ve ekibi Ouclus Go ve Quest gibi ürünleri piyasaya sürmeye yönlendirdi.

Ancak bu süreçte yavaş yavaş kendisi ile şirket yönetimi arasında çatışmalar ve anlaşmazlıklar ortaya çıktı, şirketin iç verimliliğinin düşük olduğuna inanıyordu ve memnuniyetsizliğini kamuoyuna da dile getirdi.

2019 yılında Oculus CTO'su görevinden istifa ederek "danışman CTO" oldu ve yapay zekaya daha fazla enerji aktarmaya başladı.

Ağustos 2022'de, yeni AI girişimi Keen Technologies'in 20 milyon ABD doları tutarında bir finansman açıkladığını duyurdu. Yatırımcılar arasında Sequoia Capital, eski GitHub CEO'su Nat Friedman ve diğerleri yer alıyor.

Daha sonra sadece 20 milyon ABD Doları ile para kazanabileceğini de açıkladı.

Ancak başkalarından para almak ona bir kriz ve aciliyet duygusu verebilir ve işleri halletme konusunda daha güçlü bir kararlılık verebilir.

2022 yılı sonunda resmi olarak Meta'dan ayrılarak VR'yi hayatın artık geride kalan bir aşaması olarak değerlendirdi ve ardından tamamen yapay zekaya yöneldi.

Bu bariz ana çizgiye ek olarak Carmack ve AI'nın da bazı açıklanamaz kaderleri var.

O dönemde 3D oyunları grafik hesaplamaya olan talebi artırdı ve GPU'lar oyun alanında gelişip genişlemeye başladı.

Günümüzde yapay zekanın patlamasını destekleyen şey GPU'nun bilgi işlem gücüdür ve bundan bahsederken hala yaptığı katkılardan gurur duymaktadır.

……

Bugünün diğer kahramanı Sutton da bir efsane.

Takviyeli öğrenmenin babası olarak bilinir ve takviyeli zaman farkı öğrenimi ve politika gradyanı gibi yöntemlere önemli katkılarda bulunmuştur.Aynı zamanda takviyeli öğrenmeye ilişkin standart ders kitabının ortak yazarıdır.

2017 yılında DeepMind'a seçkin bir bilim adamı olarak katıldı ve AlphaGo araştırma serisine katıldı.Öğrencisi David Silver, AlphaGo'nun ana liderlerinden biridir.

Sutton ünlü bir kısa makale yazdı The Acı Ders, insan deneyimini yapay zekaya öğretmeye çalışmanın işe yaramayacağını savunuyor. Şu ana kadarki tüm atılımlar bilgi işlem gücündeki gelişmelere dayanıyordu. Bu ölçekten yararlanmaya devam etmek doğru. bilgi işlem gücünün etkisi. yol.

İkisi resmi olarak iletişim kurmadan önce Carmack bu makaleye ilişkin endişesini ve onayını dile getirmişti.

Ancak ikisi arasındaki asıl doğrudan iletişim Sutton tarafından sağlandı.

Birkaç ay önce Carmack, AGI Ventures'a fon sağladığını açıkladıktan sonra Sutton'dan bir e-posta aldı.

Sutton ona araştırma yolunun tamamen akademik mi, ticari mi yoksa kar amacı gütmeyen bir yol mu olması gerektiğini sormak istedi.

Ancak daha sonraki e-posta alışverişlerinde ikili, yapay zeka araştırma yönleri ve konseptlerinde şaşırtıcı bir tutarlılık olduğunu keşfettiler ve yavaş yavaş işbirliğine dayalı bir ilişki kurdular.

Spesifik olarak, ikisi 4 fikir birliğine ulaştı:

  • Hepsi, YGZ'nin mevcut gelişiminin birkaç dar alanla sınırlı olduğuna, büyük verilere ve büyük bilgi işlem gücüne çok fazla güvenildiğine ve yeniliğin ihmal edildiğine inanıyor.
  • Herkes çok erken ticarileştirmenin YZG'nin gelişimini engelleyeceğine inanıyor
  • Hepsi, son AGI'nin çok karmaşık olmayacağına ve bir kişinin tüm ilkelere hakim olabileceğine ve hatta bir kişinin ana kodu yazabileceğine inanıyor.
  • Herkes 2030 yılında YGZ prototiplerinin ortaya çıkmasının uygulanabilir bir hedef olduğuna inanıyor.

Sadece büyük modellere güvenmeyin, küçük ekiplerin de fırsatları var

Çok cesur bir hedefti ve seyirciler de öyle düşünüyordu.

"Küçük bir ekip bu kadar iddialı bir hedefe nasıl ulaşabilir?" sorusuyla karşı karşıya kalan Carmack, AGI'ye ulaşmak için gereken veri miktarının ve bilgi işlem gücünün hayal edildiği kadar büyük olmayabileceğine inanıyordu.

İnsanların bir yıl boyunca gözlerinden gördüklerini, başparmak boyutunda bir USB flash sürücüye takılabilen, saniyede 30 kare hızında bir videoya kaydedin. 1 yaşındaki bir çocuk ancak bu kadar deneyim verisine sahiptir ve zaten bariz bir zeka göstermiştir. Algoritma doğruysa AGI'nin öğrenmesi için internetin tüm verilerinin kullanılmasına gerek yoktur.

Hesaplama gücüne olan taleple ilgili olarak, bu tür sezgisel düşünmeyi de göz önünde bulundurarak kullanıyor: İnsan beyninin bilgi işlem gücü de sınırlıdır, büyük bir bilgi işlem gücü kümesinin seviyesine ulaşmaktan çok uzaktır.

Bir sunucu düğümünden (düğüm) ve bir kabinden (raf) daha büyüktür, ancak maksimum değer yalnızca bir kat daha yüksektir.

Zaman geçtikçe algoritma daha verimli hale gelecek ve gerekli hesaplama gücü azalmaya devam edecek.

Carmack'in 3D oyunlar, roketler ve VR alanındaki çalışmalarının (görünüşte ilgisiz çalışma alanları) ortak bir yanı varsa, o da büyük ölçekli gerçek zamanlı geri bildirim sistemlerinin optimizasyonudur.

Sam Altman onu OpenAI'ye katılmaya davet ederken aradığı şey buydu.

Onun öngördüğü YGZ mimarisi devasa bir merkezi model yerine modüler ve dağıtılmış olmalıdır.

Öğrenme aynı zamanda çoğu parametrenin artık güncellenmediği mevcut ön eğitim yerine sürekli çevrimiçi öğrenme olmalıdır.

Sonuç olarak, eğitim sırasında her 33 milisaniyede bir güncellenen bir sistem 30Hz'de çalışamıyorsa, onu kullanmayacağım.

Ayrıca orijinal Cuda kodunu yazabilen ve ağ iletişimini kendi başına yönetebilen düşük seviyeli bir sistem programcısı olarak başkalarının hiç dikkate almayacağı bazı işleri yapabileceğini söyledi.

Hatta mevcut derin öğrenme çerçevesiyle sınırlı kalmayacak, daha verimli ağ mimarisi ve bilgi işlem yöntemlerini deneyecek.

Genel amaç, sanal bir ortamda sürekli öğrenme için içsel motivasyona ve sürekli öğrenme yeteneğine sahip bir sanal etmeni simüle etmektir.

Robot değil, çünkü roket yapma deneyimi ona ne kadar az fiziksel nesneyle uğraşması gerekiyorsa o kadar iyi olduğunu düşündürdü**.

YGZ'ye kısa bir süre önce dahil olan Carmack ile karşılaştırıldığında Sutton bu sorun üzerinde onlarca yıl harcadı ve daha spesifik bir araştırma planına sahip.

Bu etkinlikte çok fazla şey söylenmese de asıl kısım arXiv makalesinde "Project Alberta" şeklinde yazıldı.

Project Alberta, belirli eğitim kümeleri yerine evrensel deneyimi vurgulayan, zamansal tutarlılığa odaklanan, bilgi işlem gücüyle ölçek etkileri üretebilen yöntemlere ve çoklu aracı etkileşimine öncelik veren birleşik bir aracı çerçevesi önermektedir.

Ayrıca 12 adımlı bir yol haritası da önerildi.

İlk altı adım, modelden bağımsız bir sürekli öğrenme yöntemi tasarlamaya odaklanır ve son altı adım, çevresel modelleri ve planlamayı tanıtmaktadır.

Son adıma Zeka Yükseltme (Zeka Yükseltme) adı verilir. Bir etmen, öğrendiği bilgiyi bazı genel ilkelere göre başka bir etmenin eylemini, algısını ve bilişini güçlendirmek ve geliştirmek için kullanabilir.

Sutton, bu tür geliştirmeleri yapay zekanın tüm potansiyelini gerçekleştirmenin önemli bir parçası olarak görüyor.

Bu süreçte yapay zekanın ilerlemesini değerlendirmek için göstergelerin belirlenmesi çok önemli ama aynı zamanda da çok zor ve ekip farklı gelişmeleri araştırıyor.

Buna ek olarak, Carmack her zaman açık kaynağın savunucusu olmuştur, ancak AGI konusunda belirli bir düzeyde açıklığı sürdüreceğini ancak tüm algoritma ayrıntılarını açıklamayacağını söyledi**.

Küçük bir ekip olarak Carmack, öncü ruhu sürdürmemiz ve kısa vadeli çıkarlar yerine uzun vadeli gelişime odaklanmamız gerektiğine inanıyor.

Erken ticarileştirme düşünülmeyecektir ve ChatGPT gibi kamuya açıklanabilecek herhangi bir ara form da mevcut değildir.

Carmack, 2030'da nelerin başarılabileceğine ilişkin olarak "kamuya gösterilebilecek bir YZG'nin var" olduğuna inanıyor. Sutton'un açıklaması ise "Yapay zeka prototipleri yaşam belirtileri (yaşam belirtileri) gösterebilir" şeklinde.

2030 anahtar düğüm haline gelir

Bu, 2030 ve YGZ'nin aynı anda ortaya çıktığı ilk sefer değil.

En iyi yapay zeka ekipleri oybirliğiyle 2030 yılını YGZ'ye ulaşmanın kilit noktası olarak görüyor.

Örneğin OpenAI, toplam bilgi işlem gücünün %20'sini bir süper zeka uyum departmanı kurmaya ayıracağını duyurduğunda, süper zekanın bu on yıl içinde geleceğine inandığımızı belirtti.

Yatırım camiasının bile benzer görüşleri var.Masayoshi Son, SoftBank Dünya Kurumsal Konferansı'nda böyle bir PPT sundu.

OpenAI ve Keen Technologies dışında AGI geliştirme konusunda çalışan çok fazla kuruluş yok.

OpenAI'nin en büyük rakibi Anthropic, yakın zamanda 4 milyar dolar finansman topladı, CEO'su Dario Amodei yakın zamanda yapılan bir röportajda yapay zekanın iki veya üç yıl içinde iyi eğitimli bir insan gibi davranabileceğinden bahsetti.

Transformer'ın yazarları Vaswani ve Palmer Google'dan ayrıldıklarında genel zeka yaratmak amacıyla AdeptAI'yi kurdular.

Ancak ikili bu yılın başlarında aniden şirketten ayrıldı ve geriye yalnızca bir kurucu ortak, David Luan (en sağda) kaldı.

İki Transformer yazarı aynı zamanda Essential AI'yi de kurdu. Bu şirketin vizyonu "yıldızlara bakmak"tan ziyade büyük modellerin daha pragmatik ticarileştirilmesidir.

AGI'nin hedeflerini açıkça belirten çok fazla yerli oyuncu da yok, bunların başlıcaları MiniMax ve Yang Zhilin tarafından yeni kurulan Dark Side of the Moon'dur.

Referans bağlantıları: [1] [2] [3]

View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Reward
  • Comment
  • Share
Comment
0/400
No comments
Trade Crypto Anywhere Anytime
qrCode
Scan to download Gate app
Community
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)