Orangutanlar "Minecraft" oynamayı öğreniyor, yöntem aslında GPT-4 akıllı vücut ile aynı mı?

Orijinal kaynak: Xinzhiyuan

Görsel kaynağı: Unbounded AI‌ tarafından oluşturuldu

Bu oyuncunun ustaca "Minecraft" oynadığını ve atıştırmalıkları toplayabildiğini ve kolaylıkla blokları kırabildiğini unutmayın.

Kamera döner dönmez oyuncunun gerçek kimliğinin bir orangutan olduğunu keşfettik!

Evet, bu Ape Initiative'in insan dışı bir biyolojik sinir ağı deneyi.

Deneyin kahramanı Kanzi, 42 yaşında bir bonobo.

Eğitimden sonra çeşitli beceriler öğrendi, köyler, çöl tapınakları ve alt diyardaki portallar gibi zorlu ortamlara meydan okudu ve sonuna kadar gelenekleri temizledi.

Yapay zeka uzmanları, orangutan eğitmenlerine beceri öğrenmeyi öğretme sürecinin, insanların yapay zekaya Minecraft oynamayı öğretme sürecine benzer olduğunu keşfetti; bağlamsal pekiştirmeli öğrenme, RLHF, taklit öğrenme, ders öğrenme vb.

Orangutanlar Minecraft oynamayı öğrendiğinde

Ape Initiative'den bir bonobo olan Kanzi, dünyanın en zeki orangutanlarından biri, İngilizce biliyor ve dokunmatik ekran kullanıyor.

Ape Initiative'de Kanzi, "Minecraft" ile hızlı bir şekilde çalışmaya başlamasının temelini atmış olabilecek çeşitli elektronik dokunmatik ekranlara erişebilir.

İnsanlar Kanzi Minecraft'ı ilk kez gösterdiğinde, ekranın önüne oturur oturmaz yeşil bir ok buldu ve ardından parmağını hedefe doğru kaydırdı.

### Üç Beceri Öğrenin

Birkaç saniye içinde Kanzi, Minecraft'ta nasıl hareket edeceğini anladı.

Daha sonra ödül toplamayı da öğrendi.

Her ödül toplandığında, fıstık, üzüm ve elma gibi atıştırmalıklarla ödüllendirilecektir.

Kanzi'nin operasyonu giderek daha yetenekli hale geliyor.

Hedef okla aynı yeşil silindir olan engelleri tanır ve ödülleri toplarken bunlardan kaçınır.

Elbette Kanzi de zorluklarla karşılaşacaktır. Daha önce hiç görmediği kırma aletiyle büyük blokları kırmayı gerektiriyordu.

Kanzi'nin sıkıştığını gören insanlar, istenen araç düğmelerine işaret ederek yardım etmeye başladı. Ancak Kanzi okuduktan sonra hala anlayamamıştı.

İnsanlar tahta blokları aletlerle kırarak bunu kendileri yapmak zorundaydı. Kanzi izledikten sonra düşünceli oldu.Bekleyen herkesin gözünde o da aynısını yaptı.Düğmeye bastıktan sonra tahta bloğu parçaladı. İnsanlar bir anda tezahüratlara boğuldu.

Şimdi, Kanzi'nin beceri ağacında iki şey var: atıştırmalıkları toplamak ve blokları kırmak.

Personel, mağara becerilerini öğrenirken, Kanzi'nin kırmaya çalıştığı tahta bloktan kayıp düşerse, Kanzi'nin öylece uzaklaşacağını keşfetti. Bu nedenle, insanlar bunun için özel olarak bir görevi özelleştirdiler——

Koleksiyonunu ve parçalama becerilerini kanıtlamak için elmas duvarlarla dolu bir mağarada tahta blokları parçalayın.

Mağarada her şey yolundaydı, ancak Kanzi'nin bir sorunu vardı: köşeye sıkıştı. Bu zamanda, yardım eli uzatmak için insanlara ihtiyaç vardır.

Sonunda Kanzi, son duvarı kırarak mağaranın dibine ulaştı.

Kalabalıktan tezahüratlar yükseldi ve Kanzi personele beşlik çaktı.

### Hile Yapılmış İnsanlar

Sonra ilginç bir şey geldi: personel bir insan oyuncuyu Kanzi ile oyunu oynamaya davet etti, tabii ki o Kanzi'nin kimliğini bilmiyordu.

Personel, oyuncunun kendisiyle oyunu oynayan kişinin bir insan olmadığını fark etmesinin ne kadar sürdüğünü görmek niyetindedir.

İlk başta bu küçük kardeş, rakibin hareket hızının inanılmaz derecede yavaş olduğunu hissetti.

Gözlerinin önüne Kanzi'nin resmi gelince küçük kardeş korktu ve irkildi.

Labirentten çık

"Minecraft" oynadıktan sonra Kanzi giderek daha cesur hale geldi.

Kanzi ne zaman bir ödül toplasa, insanlar onun davranışını tezahürat şeklinde onaylayacak ve başarısız olursa, eğitmen de onu alkış ve tezahüratla oyuna devam etmesi için teşvik edecek.

Şu anda, yeraltı labirentinin haritasının kilidini açmayı öğrendi:

Önünüzdeki engelleri yıkın:

Ametisti bulun:

Kanzi sıkıştığında yürüyüşe çıkar ve yanına bir sopa koyar.

Ne yazık ki başarısız olsa bile, Kanzi kendini yenilemek için düğmeye basacaktır.

Son seviye, çatallarla dolu büyük bir labirenttir.

Labirentten çıkmakta geciktiği için Kanzi endişelendi ve dalla birlikte bağırmaya başladı ya da öfkeyle dalı kırdı.

Sonunda sakinleşti ve seviyeyi kırmaya devam etti ve labirentten çıktı.

Hemen alkışlar ve tezahüratlar Kanzi'yi çevreledi.

Görünüşe göre "Benim Dünyam" bir bonobo olan Kanzi tarafından oynandı.

Orangutanlara öğretmekle yapay zekayı öğretmek arasındaki benzerlikler

Bir bonobonun ustalıkla bir video oyunu oynamasını izlemek biraz garip ve tekinsiz gelebilir.

Nvidia Kıdemli Bilim Adamı Jim Fan bu konuda yorum yaptı -

Kanzi ve ataları Minecraft'ı hayatlarında hiç görmemiş olsalar da, elektronik ekranlarda görüntülenen Minecraft'ın dokularına ve fiziğine hızla uyum sağladı.

Bu da maruz kaldıkları ve yaşadıkları doğal ortamdan çok farklıdır. Bu genelleme düzeyi, bugüne kadarki en güçlü görme modellerini çok aşıyor.

Hayvanları Minecraft oynamaları için eğitme teknikleri, esasen yapay zekayı eğitme ilkeleriyle aynıdır:

- Bağlama Dayalı Takviyeli Öğrenme:

Kanzi, oyunda belirgin bir dönüm noktasına ulaştığında, bir meyve veya fıstık alır ve bu da onu oyundaki kurallara uyması için motive eder.

- RLHF:

Kanzi, insan dilinden anlamaz, ancak eğitmenlerinin onu desteklediğini görebilir ve ara sıra yanıt verebilir. Eğitim ekibinden gelen alkışlar, Kanzi'ye doğru yolda olduğuna dair güçlü bir işaret verdi.

- Taklit ederek öğrenme:

Eğitmen, Kanzi'ye görevi nasıl tamamlayacağını gösterdikten sonra ilgili işlemin anlamını hemen kavradı. Sunumun etkisi, yalnızca ödülleri kullanma stratejisinin çok ötesine geçer.

- Müfredat öğrenimi:

Eğitmen ve Kanzi çok basit bir ortamla başlar ve yavaş yavaş Kanzi'ye kontrol becerilerini öğretir. Son olarak, Kanzi karmaşık mağaralar, labirentler ve ağlar arasında seyahat edebiliyor.

Bununla da kalmıyor, benzer eğitim teknikleriyle bile hayvanın görsel sistemi çok kısa bir süre içinde yeni bir ortamı tanıyıp uyum sağlayabiliyorken, yapay zeka görüş modeli daha fazla zaman ve eğitim maliyeti gerektirecek ve genellikle elde edilmesi zor İdeal etki.

Bir kez daha Moravec'in paradoksunun uçurumuna düşüyoruz:

Yapay zeka, insan yeteneklerine ters davranır. Düşünmeme veya içgüdüsel olarak düşündüğümüz düşük seviyeli zeka faaliyetlerinde (algı ve motor kontrol gibi) yapay zeka korkunçtur. Ancak muhakeme ve soyutlama gerektiren (mantıksal muhakeme ve dil anlama gibi) ileri düzey zeki faaliyetlerde yapay zeka, insanı kolaylıkla geçebilmektedir.

Bu, tam olarak bu deneyde sunulan sonuçlara karşılık gelir:

En iyi yapay zekamız (GPT-4) dili anlamada insan düzeyine yakın, ancak algılama ve tanımada hayvanların çok gerisinde.

Netizen: Görünüşe göre orangutanlar oyun oynarken sinirleniyor

Hem Kanzi hem de LLM'ler Minecraft oynayabilir, ancak Kanzi'nin öğrenme şekli ile LLM'ler arasında farkında olmamız gereken göz ardı edilemez bir fark vardır.

Kanzi'nin mükemmel öğrenme yeteneğiyle karşılaşan netizenler numara yapmaya başladı.

Bazı insanlar 6 yıl sonra dünyanın maymunlar gezegeni için bir savaş olacağını tahmin ediyor...

Ya da bir orangutan kola içer ve insan toplumuyla bütünleşir...

Boss Ma bile vurularak Musk'ın "maymun versiyonuna" dönüştürüldü.

Ayrıca Kanzi'nin bir oyuncunun öfkesine sahip ilk insan olmayan kişi olduğu ve bundan memnun olduğu söyleniyor.

"Kanzi'nin kendi oyun kanalı olsaydı, dürüstçe izlerdim."

"Oyun oynamak söz konusu olduğunda insanlarla bonobolar arasında pek bir fark yok. Hepimiz belirli görevleri yerine getirmek ve hedefleri tamamlamak için ödüllerle motive oluyoruz, tek fark ödüllerin gerçek içeriği."

"Minecraft'ta, Kanzi'nin elmas madenciliği ödülleri daha acil ve ham (yiyecek), oysa bizim elmas madenciliği ödüllerimiz daha gecikmeli ve oyunla ilgili. Her neyse, biraz çılgınca."

Önce GPT "Minecraft" oynamayı öğrendi ve şimdi bonobolar da oynayabiliyor, bu da insanların Neuralink'i kullanmanın geleceğini dört gözle beklemelerine neden oluyor.

Jim Fan, yapay zeka ajanlarına Minecraft oynamayı öğretiyor

İnsanlar, AI'ya Minecraft oynamayı öğretme konusunda zaten çok fazla ileri düzey deneyim biriktirdiler.

Bu yılın Mayıs ayı gibi erken bir tarihte Jim Fan ekibi, Nvidia'nın yapay zeka aracısını GPT-4'e bağladı ve yepyeni bir yapay zeka aracısı Voyager'ı yarattı.

Voyager yalnızca performansta AutoGPT'den daha iyi performans göstermekle kalmaz, aynı zamanda oyundaki tüm sahnede ömür boyu öğrenmeyi gerçekleştirebilir!

İnsan müdahalesi olmadan "Minecraft" a hükmetmek için bağımsız olarak kod yazabilir.

Voyager'ın ortaya çıkmasından sonra genel yapay zeka AGI'ye bir adım daha yaklaştığımız söylenebilir.

Gerçek Dijital Yaşam

GPT-4'e eriştikten sonra, Voyager'ın insanlar için hiç endişelenmesine gerek yok ve tamamen kendi kendini yetiştiriyor.

Sadece kazma, ev inşa etme, toplama ve avlanma gibi temel hayatta kalma becerilerinde ustalaşmakla kalmadı, aynı zamanda kendi kendine açık keşif yapmayı da öğrendi.

Kendi başına hareket ederek, farklı seviyelerde zırhlarla donatılmış, Şanghay'ı engellemek için kalkanlar ve hayvanları barındırmak için çitler kullanarak eşyalarını ve ekipmanını sürekli genişletiyor.

Büyük dil modellerinin ortaya çıkışı, cisimleştirilmiş etmenlerin inşasına yeni olanaklar getirmiştir. Çünkü LLM tabanlı ajan, tutarlı bir eylem planı veya yürütülebilir strateji oluşturmak için önceden eğitilmiş modelde yer alan dünya bilgisini kullanabilir.

Jim Fan: Bu fikre BabyAGI/AutoGPT'den önce sahiptik ve en iyi gradyansız mimariyi bulmak için çok zaman harcadık

Ajanda GPT-4'ün tanıtılması, ajanın ömür boyu öğrenememe kusurundan kurtulmasına olanak tanıyan yeni bir paradigma (gradyan inişinden ziyade kod yürütme yoluyla "eğitim") açar.

OpenAI bilim adamı Karpathy de bunu övdü: Bu, gelişmiş beceriler için "gradyansız bir mimari". Burada LLM, prefrontal kortekse eşdeğerdir ve alt düzey mayın avcısı API'si kod yoluyla oluşturulur.

3 temel bileşen

Voyager'ı etkili bir yaşam boyu öğrenme ajanı yapmak için Nvidia, Caltech ve diğer kurumlardan ekipler 3 temel bileşen önerdi:

1. Programı iyileştirmek için oyun geri bildirimini, yürütme hatalarını ve kendi kendini doğrulamayı birleştiren yinelemeli bir bilgi istemi mekanizması

2. Karmaşık davranışları depolamak ve almak için bir beceri kodu tabanı

3. Aracının keşfini en üst düzeye çıkaran otomatikleştirilmiş bir eğitim

İlk olarak Voyager, belirli bir hedefe ulaşmak için bir program yazmak üzere popüler bir Minecraft Java API'sini (Mineflayer) kullanmaya çalışacak.

Oyun ortamı geri bildirimi ve Java uygulama hataları (varsa), GPT-4'ün programı geliştirmesine yardımcı olacaktır.

Sol: Çevresel geri bildirim. GPT-4, çubuğu yapmadan önce 2 tahtaya daha ihtiyacı olduğunu fark eder. Sağ: Yürütme hatası. GPT-4, Minecraft'ta "Acacia" baltası olmadığı için "Acacia" baltası değil tahta balta yapması gerektiğini fark etti.

Aracının mevcut durumunu ve görevini sağlayarak, GPT-4 programa görevi tamamlayıp tamamlamadığını bildirir.

Ayrıca, görev başarısız olursa, GPT-4 ayrıca eleştiri sunacak ve görevin nasıl tamamlanacağını önerecektir.

kendini doğrulama

İkincisi, Voyager, başarılı prosedürleri bir vektör veri tabanında depolayarak kademeli olarak bir beceri bankası oluşturur. Her program kendi docstring'ini gömerek alınabilir.

Karmaşık beceriler, basit beceriler birleştirilerek sentezlenir, bu da Voyager'ın yeteneklerinin zaman içinde hızla gelişmesine ve yıkıcı amneziyi hafifletmesine olanak tanır.

Yukarı: Beceri ekleyin. Her beceri, gelecekte benzer durumlarda alınabilen, açıklamasının bir gömülmesiyle dizine eklenir. Alt: Becerileri alın. Otomatik müfredat tarafından önerilen yeni bir görevle karşılaşıldığında, bir sorgulama yapılır ve ilgili ilk 5 beceri belirlenir.

Üçüncüsü, otomatik bir müfredat aracının mevcut beceri düzeyine ve dünya durumuna dayalı olarak uygun keşif görevleri önerir.

Örneğin kendini orman yerine çölde bulursa demir yerine kum ve kaktüs toplamayı öğren. Dersler, "mümkün olduğu kadar çeşitli keşfetme" hedefine dayalı olarak GPT-4 tarafından oluşturulur.

otomatik kurs

Hayat boyu öğrenebilen ilk LLM odaklı somut zeka olarak, Voyager'ın eğitim süreci ile orangutan eğitim süreci arasındaki benzerlikler bize çok ilham verebilir.

Referanslar: