Meta ağır güncelleme, Xiaoza'nın metaverse'de ev işi yapabilen bir köpeği var! İnsansı avatarlar son derece gerçekçidir ve yapay zeka ajanları gerçek fiziksel dünyadaki insanlarla etkileşime girer
Bugün Meta, insanları bulmayı ve insanların odaları temizlemesine yardımcı olmayı öğrenen, kendisi tarafından eğitilmiş bir yapay zeka ajanı olan Habitat 3.0'ı piyasaya sürdü. Sosyal botlar, bir sonraki kilometre taşı!
Bugünden itibaren insanlar, ev işlerine yardımcı olan robotlara bir adım daha yaklaştı!
Meta, bir sosyal yapay zeka ajanı geliştirmek amacıyla Habitat 3.0'ı duyurdu, bu da sosyal zeka robotlarının yeni bir dönüm noktasına girdiği anlamına geliyor.
Bu somutlaşmış zekaların arkasındaki anahtar elbette AI Ajanıdır. Onlarla robotlar insanlarla işbirliği yapabilir ve günlük görevleri tamamlamalarına yardımcı olabilir.
Bildiri Adresi:
Proje Adresi:
Aslında, Meta bugün aynı anda üç büyük gelişmeyi duyurdu -
**1. Habitat 3.0, çeşitli, gerçekçi iç mekan ortamlarında insan-makine etkileşimi görevlerinde büyük ölçekli eğitimi destekleyen ilk simülatördür. **
Hem robotları hem de insansı avatarları destekleyerek, insanların ve robotların bir odayı temizlemeye yardımcı olmak gibi bir ev ortamında işbirliği yapmasına olanak tanır.
**2. Habitat Sentetik Sahne Veri Kümesi (HSSD-200), 211 sahnede 466 anlamsal kategoride 18.000'den fazla nesne içeren, sanatçılar tarafından oluşturulan üç boyutlu bir veri kümesidir. **
HSSD-200, benzer veri kümelerinde en yüksek kaliteye sahiptir, navigasyon aracılarını eğitebilir ve fiziksel dünyadaki üç boyutlu yeniden yapılandırma sahneleri üzerinde çok iyi bir genelleme etkisine sahiptir ve kullanılan sahne sayısı iki kat daha azdır.
**3. HomeRobot, robotların simüle edilmiş ve fiziksel ortamlarda açık uçlu kelime görevlerini yerine getirmesine olanak tanıyan, ev robot asistanları için çok uygun fiyatlı bir donanım ve yazılım platformudur. **
Büyük ölçekli öğrenmede Habitat 3.0, tek bir GPU'da saniyede 1.000'den fazla adımı tamamlayabilir.
Netizen: Ev işi yapabilen robot ne zaman çıkacak
Netizenler şunları söyledi: Bu, robotikte büyük bir sıçrama.
İç çeken insanlar da var: bu çok gelişmiş bir Sims oyunu.
Bazı insanlar şimdiden Meta Quest VR'da Habitat 3.0'ı deneyimlemeyi dört gözle bekliyor.
Rüya, temizlik yardım robotları çok uzakta olmamalı.
Habitat 3.0
Habitat 3.0 ile Meta, yalnızca insanların görünüş ve duruş açısından gerçekçi bir simülasyonunu sağlamakla kalmaz.
Ayrıca basitten (yürüme ve el sallama gibi) karmaşığa (nesnelerle etkileşim gibi) kadar çeşitli eylem türlerini destekler ve hareket yakalama ile uyumludur.
Ek olarak, avatar performans düşüşü olmadan programlı olarak kontrol edilebilir - insan-makine simülasyon hızı, robot-robot simülasyon hızına benzer.
### ** Döngüdeki insanlar**
Habitat 3.0'ın bir diğer önemli özelliği de "döngüdeki insan"dır.
Bir fare, klavye veya VR ile inanılmaz insan-bilgisayar etkileşimi kontrolü elde edebiliriz.
Görevi tamamladıktan sonra sistem, robotun stratejisini ve verilerini toplar ve insan-makine etkileşimini değerlendirir.
Sosyal Görevler
Ek olarak, Habitat 3.0 çeşitli gerçek dünya sosyal senaryolarını simüle edebilir.
Örneğin, sosyal navigasyon olarak bilinen bir görevde, robotların güvende kalırken insanları bulması ve takip etmesi gerekir.
Başka bir görevde, robotların bir odayı toplamak gibi görevleri tamamlamak için insanlarla birlikte çalışması gerekir.
Bu noktada, insanların ve robotların hedef konuma ayrı ayrı gitmesi gerekiyor ve robotun bu hedefe mümkün olduğunca verimli bir şekilde insanlarla ulaşmanın bir yolunu bulması gerekiyor.
Çeşitli sosyal davranışlar gerçekleştirebilen eğitimli robotlar!
Robotlar, insanlardan güvenli bir mesafeyi korumanın yanı sıra, gerektiğinde geri çekilecek ve insanların yürümesi için yer bırakacaktır.
Yapay zeka ajanlarının gerçek dünyada insanlarla etkileşime girmesine izin verin
Geçmişte, yapay zeka asistanlarını düşündüğümüzde, genellikle web tabanlı sohbet robotlarını veya akıllı hoparlörleri düşünürdük.
Meta araştırmacıları, çevreyi algılayabilmeleri, dijital ve fiziksel dünyalarda insanlarla iletişim kurabilmeleri ve onlara yardım edebilmeleri için genel zekaya sahip somutlaştırılmış yapay zeka ajanlarını uygulamayı umuyorlar.
Vizyonlardan biri, insan kullanımı için tüm gün giyilebilir AR kulaklıkları yapmaktır.
Buna ek olarak, araştırmacılar sosyal akıllı robotların arkasındaki teknolojiyi geliştirerek, insanlara ev işlerinde yardım etmelerine ve ortaklarının gereksinimleri için insanların bireyselleştirilmiş tercihlerine uyum sağlamalarına olanak tanıyor.
Çalışma, yeni nesil AR ve VR deneyimlerini daha iyi hale getirmek için gömülü sistemlere yönelik derinlemesine araştırmalara odaklanıyor.
Bununla birlikte, somutlaştırılmış yapay zeka aracılarını robotlar veya AR gözlükleri gibi fiziksel donanım üzerinde gerçek kişilerle eğitmek ve test etmek, bazı ölçeklenebilirlik sınırlamalarına sahiptir ve güvenlik sorunları olabilir.
Bu, standartlaştırılmış kıyaslama prosedürlerinin oluşturulmasını gerektirir.
Bu nedenle Meta araştırmacıları, simülatörler ve veri kümeleri arasında robot araştırması için yeni bir araç seti geliştirdi.
Ayrıca, araştırmanın bu yönünü daha kolay ve daha uygun maliyetli hale getirmek için donanım ve yazılım içeren bir teknoloji yığını geliştirdiler.
Robotun yeteneklerini hızlı bir şekilde geliştirmek için araştırmacılar, simülatörlerde yeni algoritmalar ve modeller geliştirip test ediyor ve ardından bunları fiziksel robotlara taşıyor.
Yıllar geçtikçe, Habitat Simülatörü birçok önemli ilerleme kaydetti.
Habitat 1.0'da eğitilen sanal robotlar, fiziksel dünya evlerinin 3D taramalarında saniyede 10.000 adımdan (SPS) daha yüksek hızlarda gezinebilir.
Habitat 2.0, etkileşimli ortamlar (örneğin, alınacak eşyalar, açılabilen çekmeceler) sunar ve eşyaları yeniden düzenleyerek evleri temizlemek için sanal robotları eğitir.
Habitat 3.0 bir adım daha ileri gider ve hem robotları hem de insansı avatarları destekleyerek oturma odasını toplamak ve mutfakta yemek tarifleri hazırlamak gibi günlük görevleri tamamlamak için insan-makine işbirliğini mümkün kılar.
Bu, çeşitli, gerçekçi, görsel ve anlamsal olarak zengin görevlerde insan-robot işbirliğini incelemek için yeni yollar açar.
Ayrıca Habitat 3.0, gerçekçi düşük seviyeli ve yüksek seviyeli etkileşimleri simüle edebilen gerçekçi görünüm, doğal yürüyüş ve hareketlere sahip insansı avatarları destekler.
Bu avatarlar, öğrenilmiş stratejiler tarafından veya "döngüdeki insan" arayüzü aracılığıyla gerçek kişiler tarafından kontrol edilebilir.
Bu arabirim klavyeleri, fareleri ve VR kulaklıklarını destekler.
Simüle edilmiş ortamlarda insanların ve robotların bir arada bulunması, insanların robotik yapay zeka stratejilerini öğrenmelerini, günlük görevleri tamamlamalarını ve bunları ilk kez aile benzeri bir ortamda, insansı avatarların varlığında değerlendirmelerini sağlar.
Bu şüphesiz büyük önem taşıyor -
Pekiştirmeli öğrenme algoritmaları, anlamlı bilgileri öğrenmek için tipik olarak milyonlarca yineleme gerektirir, bu nedenle bu deneyleri fiziksel dünyada yapmak yıllar alabilir.
Bir simülasyon deneyinde, birkaç gün içinde yapılabilir.
2. Fiziksel dünyadaki farklı evlerde veri toplamak pratik değildir, çünkü bu, robotu farklı yerlere taşımayı ve ayrıca ortamı ayarlamayı gerektirir.
Simülasyonda, ortamı bir saniyeden daha kısa bir sürede değiştirebilir ve hemen yeni bir ortamda denemeye başlayabilirsiniz.
Model iyi eğitilmezse, robot çevreye zarar verme veya fiziksel dünyadaki insanlara zarar verme potansiyeline sahiptir.
Simülatörler, araştırmacıların yöntemleri fiziksel dünyaya dağıtmadan önce güvenli bir ortamda test etmelerine olanak tanır ve bu da güvenliği sağlar.
Günümüzün en gelişmiş yapay zeka modelleri, eğitmek için büyük miktarda veri gerektirir ve simülasyonlar, araştırmacıların veri toplamayı ölçeklendirmesini kolaylaştırır.
Fiziksel dünyada, veri toplama oldukça pahalı ve yavaş olabilir.
Dahası, araştırmacılar, sosyal somutlaşmış yapay zeka alanında ölçütler oluşturmak için son derece ilgili iki görev ve bir dizi ölçüt önermektedir.
İlk görev, evleri temizlemek gibi bir dizi seç ve yerleştir görevini yerine getirmek için birlikte çalışan robotları ve insansı avatarları içeren "sosyal toplama" dır.
Bu görevde, robotlar ve insanlar ortak bir hedefe ulaşmak için birlikte hareket etmelidir. Bu akıllı davranış, büyük ölçekli simülasyon eğitiminden sonra ortaya çıkar.
İkinci görev, robotun güvenli bir mesafeyi korurken bir kişiyi bulmasını ve izlemesini sağlayan "sosyal navigasyon" dur.
Habitat Birleştirme Sahnesi Veri Kümesi
3B sahne veri kümeleri, robotları simüle edilmiş bir ortamda eğitmek için gereklidir.
Şu anda, eğitim verilerinin ölçeklendirilmesini destekleyen birçok veri kümesi olsa da, veri kümesi boyutu ile özgünlük arasındaki dengeyi anlamıyoruz.
Bu amaçla Meta, yeni bir sentetik 3D sahne veri kümesi olan HSSD-200'ü piyasaya sürdü.
466 anlamsal kategoriden 18.656 fiziksel dünya nesnesi modeli de dahil olmak üzere gerçek iç ortamı temsil eden 211 yüksek kaliteli 3B görüntüden oluşur. Önceki veri kümelerinden daha gerçek fiziğe daha yakın.
Özellikle, HSSD-200 daha yüksek kaliteli, tamamen yapay olarak hazırlanmış 3B iç sahneler sağlar ve WordNet ontolojisine karşılık gelen ince taneli anlamsal sınıflandırma içerir.
Ek olarak, HSSD-200'ün varlık sıkıştırma işlevi, yüksek performanslı yapay zeka simülasyonu sağlar.
Sahneler açısından, HSSD-200, Floorplanner iç tasarım arayüzü kullanılarak yapılmıştır ve düzen esas olarak gerçek evin bir kopyasıdır.
Bunlar arasında, bireysel nesneler, çoğu durumda gerçek mobilya ve cihazlarla eşleşen profesyonel 3D sanatçılar tarafından oluşturulur.
Deneyler, daha küçük ancak daha yüksek kaliteli HSSD-200 veri kümesinin, gezinme hedefleri olarak nesnelere sahip objectNav aracıları oluşturabildiğini ve performansının daha büyük veri kümelerinde eğitilen aracılarınkiyle karşılaştırılabilir olduğunu göstermiştir.
Ayrıca, bir ajanı HSSD-200 üzerinde eğitmek için gereken senaryo sayısı 2 kat daha azdır -
10.000 ProcTHOR senaryosu ile eğitilen ajanlarla karşılaştırıldığında, 122 HSSD-200 senaryosu ile eğitilen ajanlar, HM3DSem fiziksel dünya senaryolarına daha iyi genelleme yapar.
EvRobot
Ortak, paylaşılan platformlar, makine öğrenimi gelişmelerinin önemli bir parçasıdır, ancak robotikte, donanım başarılarını çoğaltmak ve ölçeklendirmek zor olduğu için benzer platformlar eksiktir.
Bu bağlamda Meta, tekrarlanabilir bir robotik araştırma platformu için üç hedef önermektedir:
- İlham verici bir Kuzey Yıldızı:
Platformun, araştırmacıları motive etmek ve çalışmalarında onlara yardımcı olmak için rehberli Kuzey Yıldızı misyonları sağlaması gerekiyor. Bunlar arasında, ilginç gerçek dünya problemleriyle ilgili çeşitli yöntemleri de karşılaştırabilirler.
Örneğin, "Açık Kelime Hareketi Manipülasyonu (OVMM)" – bilinmeyen herhangi bir ortamdaki nesneleri almak ve belirlenmiş bir yere yerleştirmek. Bu, çok güçlü uzun vadeli algı ve sahne anlayışı gerektirir ve çok çeşitli görevler için kullanışlıdır.
- Yazılım Yetenekleri:
Platformun, robotun navigasyon ve manipülasyon dahil olmak üzere çeşitli görevler için kullanımını kolaylaştırmak için bazı soyutlama arayüzü sağlaması gerekiyor.
-Topluluk:
Platformun, geliştiricileri dahil olmaya ve kod tabanı etrafında bir topluluk oluşturmaya teşvik etmesi gerekiyor.
Bu alandaki araştırmaları ilerletmek için Meta, Hello Robot Stretch'in gezinme ve manipülasyon özellikleri için destek sağlayan yeni bir HomeRobot kitaplığı başlattı.
Proje Adresi:
Özellikle, HomeRobot iki bileşene sahiptir:
Simülasyon bileşenleri: yeni, yüksek kaliteli çok odalı ev ortamlarında geniş ve çeşitli nesneler kullanmak için;
Fiziksel dünya bileşenleri: Fiziksel dünya deneylerinin laboratuvarlar arasında tekrarlanmasını teşvik etmek için düşük maliyetli Hello Robot Stretch ve Boston Dynamics ürünleri için yazılım yığınları sağlar.
Ayrıca HomeRobot, kullanıcıların robotu hızlı bir şekilde kurmasına ve hemen test etmesine olanak tanıyan çok kolay bir yazılım yığını sağlar. Özellikler şunları içerir:
-Taşınabilir -lik:
Her görev için simülasyon ve fizik dünyası ayarları arasında birleşik bir durum ve eylem alanı vardır ve robotu yüksek seviyeli bir hareket alanı (önceden ayarlanmış bir kavrama stratejisi gibi) veya düşük seviyeli sürekli eklem kontrolü kullanarak çalıştırmanın kolay bir yolunu sağlar.
-Modülerleştirme:
Algı ve eylem bileşeni, üst düzey durumları (örneğin, anlamsal haritalar, bölümlere ayrılmış nokta bulutları) ve üst düzey eylemleri (örneğin, bir hedef konuma gitmek, bir hedef nesneyi almak) destekler.
- Temel Aracı:
OVMM'nin temel işlevlerini sağlamak için bu yetenekleri kullanma stratejileri ve daha karmaşık aracılar oluşturmaya yönelik araçlar diğer ekipler tarafından geliştirilebilir.
HomeRobot OVMM kıyaslamasında, bir temsilci ev ortamındaki yenilik öğelerini alabilir ve bunları bir hedef kabın içine veya içine yerleştirebilir.
Bunlar arasında Meta, gezinme ve yerleştirme becerilerinin simülasyondan fiziksel dünyaya aktarılabileceğini göstermek için pekiştirmeli öğrenme ve sezgisel (model tabanlı) temelleri kullanır. Sonuçlar, baseline'ın fiziksel dünyada %20'lik bir başarı oranına ulaşabileceğini gösteriyor.
Kaynaklar:
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Meta ağır güncelleme, Xiaoza'nın metaverse'de ev işi yapabilen bir köpeği var! İnsansı avatarlar son derece gerçekçidir ve yapay zeka ajanları gerçek fiziksel dünyadaki insanlarla etkileşime girer
Kaynak: Shin Zhiyuan
Bugün Meta, insanları bulmayı ve insanların odaları temizlemesine yardımcı olmayı öğrenen, kendisi tarafından eğitilmiş bir yapay zeka ajanı olan Habitat 3.0'ı piyasaya sürdü. Sosyal botlar, bir sonraki kilometre taşı!
Bugünden itibaren insanlar, ev işlerine yardımcı olan robotlara bir adım daha yaklaştı!
Proje Adresi:
Aslında, Meta bugün aynı anda üç büyük gelişmeyi duyurdu -
**1. Habitat 3.0, çeşitli, gerçekçi iç mekan ortamlarında insan-makine etkileşimi görevlerinde büyük ölçekli eğitimi destekleyen ilk simülatördür. **
Hem robotları hem de insansı avatarları destekleyerek, insanların ve robotların bir odayı temizlemeye yardımcı olmak gibi bir ev ortamında işbirliği yapmasına olanak tanır.
HSSD-200, benzer veri kümelerinde en yüksek kaliteye sahiptir, navigasyon aracılarını eğitebilir ve fiziksel dünyadaki üç boyutlu yeniden yapılandırma sahneleri üzerinde çok iyi bir genelleme etkisine sahiptir ve kullanılan sahne sayısı iki kat daha azdır.
Büyük ölçekli öğrenmede Habitat 3.0, tek bir GPU'da saniyede 1.000'den fazla adımı tamamlayabilir.
Netizen: Ev işi yapabilen robot ne zaman çıkacak
Netizenler şunları söyledi: Bu, robotikte büyük bir sıçrama.
Habitat 3.0
Habitat 3.0 ile Meta, yalnızca insanların görünüş ve duruş açısından gerçekçi bir simülasyonunu sağlamakla kalmaz.
Habitat 3.0'ın bir diğer önemli özelliği de "döngüdeki insan"dır.
Sosyal Görevler
Ek olarak, Habitat 3.0 çeşitli gerçek dünya sosyal senaryolarını simüle edebilir.
Örneğin, sosyal navigasyon olarak bilinen bir görevde, robotların güvende kalırken insanları bulması ve takip etmesi gerekir.
Bu noktada, insanların ve robotların hedef konuma ayrı ayrı gitmesi gerekiyor ve robotun bu hedefe mümkün olduğunca verimli bir şekilde insanlarla ulaşmanın bir yolunu bulması gerekiyor.
Robotlar, insanlardan güvenli bir mesafeyi korumanın yanı sıra, gerektiğinde geri çekilecek ve insanların yürümesi için yer bırakacaktır.
Yapay zeka ajanlarının gerçek dünyada insanlarla etkileşime girmesine izin verin
Geçmişte, yapay zeka asistanlarını düşündüğümüzde, genellikle web tabanlı sohbet robotlarını veya akıllı hoparlörleri düşünürdük.
Meta araştırmacıları, çevreyi algılayabilmeleri, dijital ve fiziksel dünyalarda insanlarla iletişim kurabilmeleri ve onlara yardım edebilmeleri için genel zekaya sahip somutlaştırılmış yapay zeka ajanlarını uygulamayı umuyorlar.
Vizyonlardan biri, insan kullanımı için tüm gün giyilebilir AR kulaklıkları yapmaktır.
Buna ek olarak, araştırmacılar sosyal akıllı robotların arkasındaki teknolojiyi geliştirerek, insanlara ev işlerinde yardım etmelerine ve ortaklarının gereksinimleri için insanların bireyselleştirilmiş tercihlerine uyum sağlamalarına olanak tanıyor.
Çalışma, yeni nesil AR ve VR deneyimlerini daha iyi hale getirmek için gömülü sistemlere yönelik derinlemesine araştırmalara odaklanıyor.
Bu, standartlaştırılmış kıyaslama prosedürlerinin oluşturulmasını gerektirir.
Bu nedenle Meta araştırmacıları, simülatörler ve veri kümeleri arasında robot araştırması için yeni bir araç seti geliştirdi.
Ayrıca, araştırmanın bu yönünü daha kolay ve daha uygun maliyetli hale getirmek için donanım ve yazılım içeren bir teknoloji yığını geliştirdiler.
Robotun yeteneklerini hızlı bir şekilde geliştirmek için araştırmacılar, simülatörlerde yeni algoritmalar ve modeller geliştirip test ediyor ve ardından bunları fiziksel robotlara taşıyor.
Yıllar geçtikçe, Habitat Simülatörü birçok önemli ilerleme kaydetti.
Habitat 2.0, etkileşimli ortamlar (örneğin, alınacak eşyalar, açılabilen çekmeceler) sunar ve eşyaları yeniden düzenleyerek evleri temizlemek için sanal robotları eğitir.
Habitat 3.0 bir adım daha ileri gider ve hem robotları hem de insansı avatarları destekleyerek oturma odasını toplamak ve mutfakta yemek tarifleri hazırlamak gibi günlük görevleri tamamlamak için insan-makine işbirliğini mümkün kılar.
Bu, çeşitli, gerçekçi, görsel ve anlamsal olarak zengin görevlerde insan-robot işbirliğini incelemek için yeni yollar açar.
Ayrıca Habitat 3.0, gerçekçi düşük seviyeli ve yüksek seviyeli etkileşimleri simüle edebilen gerçekçi görünüm, doğal yürüyüş ve hareketlere sahip insansı avatarları destekler.
Bu arabirim klavyeleri, fareleri ve VR kulaklıklarını destekler.
Simüle edilmiş ortamlarda insanların ve robotların bir arada bulunması, insanların robotik yapay zeka stratejilerini öğrenmelerini, günlük görevleri tamamlamalarını ve bunları ilk kez aile benzeri bir ortamda, insansı avatarların varlığında değerlendirmelerini sağlar.
Bu şüphesiz büyük önem taşıyor -
Bir simülasyon deneyinde, birkaç gün içinde yapılabilir.
Simülasyonda, ortamı bir saniyeden daha kısa bir sürede değiştirebilir ve hemen yeni bir ortamda denemeye başlayabilirsiniz.
Simülatörler, araştırmacıların yöntemleri fiziksel dünyaya dağıtmadan önce güvenli bir ortamda test etmelerine olanak tanır ve bu da güvenliği sağlar.
Fiziksel dünyada, veri toplama oldukça pahalı ve yavaş olabilir.
İlk görev, evleri temizlemek gibi bir dizi seç ve yerleştir görevini yerine getirmek için birlikte çalışan robotları ve insansı avatarları içeren "sosyal toplama" dır.
Bu görevde, robotlar ve insanlar ortak bir hedefe ulaşmak için birlikte hareket etmelidir. Bu akıllı davranış, büyük ölçekli simülasyon eğitiminden sonra ortaya çıkar.
İkinci görev, robotun güvenli bir mesafeyi korurken bir kişiyi bulmasını ve izlemesini sağlayan "sosyal navigasyon" dur.
Habitat Birleştirme Sahnesi Veri Kümesi
3B sahne veri kümeleri, robotları simüle edilmiş bir ortamda eğitmek için gereklidir.
Şu anda, eğitim verilerinin ölçeklendirilmesini destekleyen birçok veri kümesi olsa da, veri kümesi boyutu ile özgünlük arasındaki dengeyi anlamıyoruz.
Bu amaçla Meta, yeni bir sentetik 3D sahne veri kümesi olan HSSD-200'ü piyasaya sürdü.
466 anlamsal kategoriden 18.656 fiziksel dünya nesnesi modeli de dahil olmak üzere gerçek iç ortamı temsil eden 211 yüksek kaliteli 3B görüntüden oluşur. Önceki veri kümelerinden daha gerçek fiziğe daha yakın.
Ek olarak, HSSD-200'ün varlık sıkıştırma işlevi, yüksek performanslı yapay zeka simülasyonu sağlar.
Bunlar arasında, bireysel nesneler, çoğu durumda gerçek mobilya ve cihazlarla eşleşen profesyonel 3D sanatçılar tarafından oluşturulur.
Ayrıca, bir ajanı HSSD-200 üzerinde eğitmek için gereken senaryo sayısı 2 kat daha azdır -
10.000 ProcTHOR senaryosu ile eğitilen ajanlarla karşılaştırıldığında, 122 HSSD-200 senaryosu ile eğitilen ajanlar, HM3DSem fiziksel dünya senaryolarına daha iyi genelleme yapar.
EvRobot
Ortak, paylaşılan platformlar, makine öğrenimi gelişmelerinin önemli bir parçasıdır, ancak robotikte, donanım başarılarını çoğaltmak ve ölçeklendirmek zor olduğu için benzer platformlar eksiktir.
Bu bağlamda Meta, tekrarlanabilir bir robotik araştırma platformu için üç hedef önermektedir:
- İlham verici bir Kuzey Yıldızı:
Platformun, araştırmacıları motive etmek ve çalışmalarında onlara yardımcı olmak için rehberli Kuzey Yıldızı misyonları sağlaması gerekiyor. Bunlar arasında, ilginç gerçek dünya problemleriyle ilgili çeşitli yöntemleri de karşılaştırabilirler.
Örneğin, "Açık Kelime Hareketi Manipülasyonu (OVMM)" – bilinmeyen herhangi bir ortamdaki nesneleri almak ve belirlenmiş bir yere yerleştirmek. Bu, çok güçlü uzun vadeli algı ve sahne anlayışı gerektirir ve çok çeşitli görevler için kullanışlıdır.
Platformun, robotun navigasyon ve manipülasyon dahil olmak üzere çeşitli görevler için kullanımını kolaylaştırmak için bazı soyutlama arayüzü sağlaması gerekiyor.
-Topluluk:
Platformun, geliştiricileri dahil olmaya ve kod tabanı etrafında bir topluluk oluşturmaya teşvik etmesi gerekiyor.
Bu alandaki araştırmaları ilerletmek için Meta, Hello Robot Stretch'in gezinme ve manipülasyon özellikleri için destek sağlayan yeni bir HomeRobot kitaplığı başlattı.
Özellikle, HomeRobot iki bileşene sahiptir:
Simülasyon bileşenleri: yeni, yüksek kaliteli çok odalı ev ortamlarında geniş ve çeşitli nesneler kullanmak için;
Fiziksel dünya bileşenleri: Fiziksel dünya deneylerinin laboratuvarlar arasında tekrarlanmasını teşvik etmek için düşük maliyetli Hello Robot Stretch ve Boston Dynamics ürünleri için yazılım yığınları sağlar.
-Taşınabilir -lik:
Her görev için simülasyon ve fizik dünyası ayarları arasında birleşik bir durum ve eylem alanı vardır ve robotu yüksek seviyeli bir hareket alanı (önceden ayarlanmış bir kavrama stratejisi gibi) veya düşük seviyeli sürekli eklem kontrolü kullanarak çalıştırmanın kolay bir yolunu sağlar.
-Modülerleştirme:
Algı ve eylem bileşeni, üst düzey durumları (örneğin, anlamsal haritalar, bölümlere ayrılmış nokta bulutları) ve üst düzey eylemleri (örneğin, bir hedef konuma gitmek, bir hedef nesneyi almak) destekler.
- Temel Aracı:
OVMM'nin temel işlevlerini sağlamak için bu yetenekleri kullanma stratejileri ve daha karmaşık aracılar oluşturmaya yönelik araçlar diğer ekipler tarafından geliştirilebilir.
Bunlar arasında Meta, gezinme ve yerleştirme becerilerinin simülasyondan fiziksel dünyaya aktarılabileceğini göstermek için pekiştirmeli öğrenme ve sezgisel (model tabanlı) temelleri kullanır. Sonuçlar, baseline'ın fiziksel dünyada %20'lik bir başarı oranına ulaşabileceğini gösteriyor.
Kaynaklar: