Pembaruan berat meta, Xiaoza memiliki anjing yang dapat melakukan pekerjaan rumah di metaverse! Avatar humanoid sangat realistis, dan agen AI berinteraksi dengan orang-orang di dunia fisik nyata
Hari ini, Meta merilis Habitat 3.0, agen AI yang dilatih olehnya yang telah belajar menemukan orang dan membantu orang membersihkan kamar. Bot sosial, tonggak sejarah berikutnya!
Mulai hari ini, manusia selangkah lebih dekat dengan robot yang membantu pekerjaan rumah tangga!
Meta mengumumkan Habitat 3.0 dengan tujuan mengembangkan agen AI sosial, yang berarti robot kecerdasan sosial telah memasuki tonggak sejarah baru.
Kunci di balik kecerdasan yang terkandung ini, tentu saja, Agen AI. Dengan mereka, robot dapat berkolaborasi dengan manusia dan membantu mereka menyelesaikan tugas sehari-hari.
Alamat kertas:
Alamat Proyek:
Faktanya, Meta mengumumkan tiga perkembangan besar pada saat yang sama hari ini -
**1. Habitat 3.0 adalah simulator pertama yang mendukung pelatihan skala besar tentang tugas interaksi manusia-mesin di lingkungan dalam ruangan yang beragam dan realistis. **
Ini mendukung robot dan avatar humanoid, memungkinkan manusia dan robot untuk berkolaborasi di lingkungan rumah, seperti membantu membersihkan ruangan.
**2. Habitat Synthetic Scene Dataset (HSSD-200) adalah dataset tiga dimensi yang dibuat oleh seniman yang berisi lebih dari 18.000 objek dalam 466 kategori semantik dalam 211 adegan. **
HSSD-200 memiliki kualitas tertinggi dalam kumpulan data serupa, dapat melatih agen navigasi, dan memiliki efek generalisasi yang sangat baik pada adegan rekonstruksi tiga dimensi di dunia fisik, dan jumlah adegan yang digunakan adalah dua urutan besarnya lebih sedikit.
**3. HomeRobot adalah platform perangkat keras dan perangkat lunak yang sangat terjangkau untuk asisten robot rumahan, memungkinkan robot untuk melakukan tugas kosakata terbuka dalam lingkungan simulasi dan fisik. **
Pada pembelajaran skala besar, Habitat 3.0 dapat menyelesaikan lebih dari 1.000 langkah per detik pada satu GPU.
Netizen: Kapan robot yang mampu melakukan pekerjaan rumah keluar
Netizens berkata: Ini adalah lompatan besar dalam robotika.
Ada juga orang yang menghela nafas: ini adalah game Sims yang sangat canggih.
Beberapa orang sudah menantikan untuk mengalami Habitat 3.0 di Meta Quest VR.
Mimpi, robot bantuan rumah tangga tidak boleh jauh.
Habitat 3.0
Dengan Habitat 3.0, Meta tidak hanya memberikan simulasi realistis manusia dalam penampilan dan postur.
Ini juga mendukung berbagai jenis tindakan, dari yang sederhana (seperti berjalan dan melambai) hingga yang kompleks (seperti berinteraksi dengan objek), dan kompatibel dengan motion capture.
Selain itu, avatar dapat dikontrol secara terprogram tanpa penurunan kinerja – kecepatan simulasi manusia-mesin mirip dengan kecepatan simulasi robot-robot.
### ** Orang-orang dalam lingkaran **
Fitur kunci lain dari Habitat 3.0 adalah "manusia dalam lingkaran".
Dengan mouse, keyboard atau VR, kita dapat mencapai kontrol interaksi manusia-komputer yang menakjubkan.
Setelah menyelesaikan tugas, sistem mengumpulkan strategi dan data robot, dan mengevaluasi interaksi manusia-mesin.
Tugas Sosial
Selain itu, Habitat 3.0 dapat mensimulasikan berbagai skenario sosial dunia nyata.
Dalam tugas yang dikenal sebagai navigasi sosial, misalnya, robot perlu menemukan dan mengikuti manusia sambil tetap aman.
Dalam tugas lain, robot perlu bekerja dengan manusia untuk menyelesaikan tugas-tugas seperti merapikan ruangan.
Pada titik ini, manusia dan robot perlu pergi ke lokasi target secara terpisah, dan robot perlu menemukan cara untuk mencapai tujuan ini dengan manusia seefisien mungkin.
Robot terlatih yang dapat mencapai berbagai perilaku sosial!
Selain menjaga jarak aman dari manusia, robot juga akan mundur bila diperlukan, menyisakan ruang bagi manusia untuk berjalan.
Biarkan agen AI berinteraksi dengan manusia di dunia nyata
Di masa lalu, ketika kita memikirkan asisten AI, kita biasanya memikirkan chatbots berbasis web, atau speaker pintar.
Peneliti Meta telah berharap untuk menerapkan agen AI yang diwujudkan dengan kecerdasan umum, sehingga mereka dapat merasakan lingkungan, berkomunikasi dengan dan membantu manusia di dunia digital dan fisik.
Salah satu visinya adalah membuat headset AR yang dapat dipakai sepanjang hari untuk digunakan manusia.
Selain itu, para peneliti meningkatkan teknologi di balik robot cerdas sosial, memungkinkan mereka untuk membantu manusia dengan pekerjaan rumah tangga dan beradaptasi dengan preferensi individual manusia untuk kebutuhan pasangan mereka.
Pekerjaan ini difokuskan pada penelitian mendalam ke dalam sistem tertanam untuk membuat pengalaman AR dan VR generasi berikutnya menjadi lebih baik.
Namun, pelatihan dan pengujian yang diwujudkan agen AI dengan orang-orang nyata pada perangkat keras fisik, baik robot atau kacamata AR, memiliki beberapa keterbatasan skalabilitas dan mungkin memiliki masalah keamanan.
Ini membutuhkan penetapan prosedur pembandingan standar.
Oleh karena itu, peneliti Meta telah mengembangkan seperangkat alat baru untuk penelitian robot di seluruh simulator dan kumpulan data.
Mereka juga telah mengembangkan tumpukan teknologi yang mencakup perangkat keras dan perangkat lunak untuk membuat aspek penelitian ini lebih mudah dan lebih terjangkau.
Untuk meningkatkan kemampuan robot dengan cepat, para peneliti mengembangkan dan menguji algoritma dan model baru di simulator dan kemudian memindahkannya ke robot fisik.
Selama bertahun-tahun, Habitat Simulator telah membuat banyak kemajuan signifikan.
Robot virtual yang dilatih di Habitat 1.0 dapat menavigasi pemindaian 3D rumah dunia fisik dengan kecepatan lebih dari 10.000 langkah per detik (SPS).
Habitat 2.0 memperkenalkan lingkungan interaktif (misalnya, item untuk diambil, laci yang dapat dibuka) dan melatih robot virtual untuk membersihkan rumah dengan mengatur ulang item.
Habitat 3.0 melangkah lebih jauh dan dapat mendukung robot dan avatar humanoid, memungkinkan kolaborasi manusia-mesin untuk menyelesaikan tugas sehari-hari, seperti merapikan ruang tamu dan menyiapkan resep di dapur.
Ini membuka jalan baru untuk mempelajari kolaborasi manusia-robot dalam tugas yang beragam, realistis, visual, dan kaya semantik.
Selain itu, Habitat 3.0 mendukung avatar humanoid dengan penampilan realistis, gaya berjalan alami, dan gerakan, yang dapat mensimulasikan interaksi tingkat rendah dan tingkat tinggi yang realistis.
Avatar ini dapat dikontrol baik dengan strategi yang dipelajari atau oleh orang-orang nyata melalui antarmuka "human-in-the-loop".
Antarmuka ini mendukung keyboard, mouse, dan headset VR.
Koeksistensi manusia dan robot dalam lingkungan simulasi memungkinkan manusia untuk mempelajari strategi AI robot, menyelesaikan tugas sehari-hari, dan mengevaluasinya untuk pertama kalinya di lingkungan seperti keluarga, di hadapan avatar humanoid.
Ini tidak diragukan lagi sangat penting -
Algoritma pembelajaran penguatan biasanya membutuhkan jutaan iterasi untuk mempelajari pengetahuan yang bermakna, sehingga perlu waktu bertahun-tahun untuk melakukan eksperimen ini di dunia fisik.
Dalam percobaan simulasi, itu bisa dilakukan dalam beberapa hari.
2. Mengumpulkan data di rumah yang berbeda di dunia fisik tidak praktis, karena ini membutuhkan pemindahan robot ke tempat yang berbeda dan juga pengaturan lingkungan.
Dalam simulasi, Anda dapat mengubah lingkungan dalam sepersekian detik dan segera mulai bereksperimen di lingkungan baru.
Jika model tidak dilatih dengan baik, robot berpotensi merusak lingkungan atau membahayakan orang di dunia fisik.
Simulator memungkinkan peneliti untuk menguji metode di lingkungan yang aman sebelum menerapkannya ke dunia fisik, yang menjamin keamanan.
Model AI paling canggih saat ini membutuhkan sejumlah besar data untuk dilatih, dan simulasi memudahkan peneliti untuk meningkatkan pengumpulan data.
Di dunia fisik, pengumpulan data bisa sangat mahal dan lambat.
Selain itu, para peneliti mengusulkan dua tugas yang sangat relevan dan serangkaian tolok ukur untuk menetapkan tolok ukur di bidang AI yang diwujudkan secara sosial.
Tugas pertama adalah "merapikan sosial," yang melibatkan robot dan avatar humanoid yang bekerja sama untuk melakukan serangkaian tugas pick-and-place, seperti membersihkan rumah.
Dalam tugas ini, robot dan manusia harus bertindak bersama untuk mencapai tujuan bersama. Perilaku cerdas ini terjadi setelah pelatihan simulasi skala besar.
Tugas kedua adalah "navigasi sosial," yang memungkinkan robot untuk menemukan dan melacak seseorang sambil menjaga jarak aman.
Himpunan Data Adegan Pengomposisian Habitat
Himpunan data adegan 3D sangat penting untuk melatih robot dalam lingkungan simulasi.
Saat ini, meskipun ada banyak himpunan data yang mendukung penskalaan data pelatihan, kami tidak memahami trade-off antara ukuran himpunan data dan keaslian.
Untuk tujuan ini, Meta telah meluncurkan dataset adegan 3D sintetis baru - HSSD-200.
Ini terdiri dari 211 adegan 3D berkualitas tinggi yang mewakili lingkungan dalam ruangan yang sebenarnya, termasuk 18.656 model objek dunia fisik dari 466 kategori semantik. Lebih dekat dengan fisika nyata daripada kumpulan data sebelumnya.
Secara khusus, HSSD-200 memberikan kualitas yang lebih tinggi, adegan interior 3D yang sepenuhnya dibuat secara artifisial, dan mencakup klasifikasi semantik berbutir halus yang sesuai dengan ontologi WordNet.
Selain itu, fungsi kompresi aset HSSD-200 memungkinkan simulasi AI berkinerja tinggi.
Dalam hal adegan, HSSD-200 dibuat menggunakan antarmuka desain interior Floorplanner, dan tata letaknya terutama merupakan reproduksi dari rumah yang sebenarnya.
Di antara mereka, objek individu dibuat oleh seniman 3D profesional, dalam banyak kasus cocok dengan furnitur dan peralatan yang sebenarnya.
Eksperimen telah menunjukkan bahwa dataset HSSD-200 yang lebih kecil namun berkualitas lebih tinggi dapat menghasilkan agen objectNav dengan objek sebagai target navigasi, dan kinerjanya sebanding dengan agen yang dilatih pada dataset yang lebih besar.
Selain itu, jumlah skenario yang diperlukan untuk melatih agen pada HSSD-200 adalah 2 urutan besarnya kurang -
Dibandingkan dengan agen yang dilatih dengan 10.000 skenario ProcHOR, agen yang dilatih dengan 122 skenario HSSD-200 menggeneralisasi skenario dunia fisik HM3DSem dengan lebih baik.
RumahRobot
Platform bersama yang umum adalah bagian penting dari kemajuan pembelajaran mesin, tetapi dalam robotika, platform serupa kurang karena sulit untuk mereplikasi dan mengukur pencapaian perangkat keras.
Dalam hal ini, Meta mengusulkan tiga tujuan untuk platform penelitian robotika yang dapat direproduksi:
**- Bintang Utara yang menginspirasi: **
Platform ini perlu menyediakan misi Bintang Utara yang dipandu untuk memotivasi para peneliti dan membantu mereka dalam pekerjaan mereka. Di antara mereka, mereka juga dapat membandingkan berbagai metode pada masalah dunia nyata yang menarik.
Misalnya, "Open Word Movement Manipulation (OVMM)" – mengambil objek di lingkungan yang tidak dikenal dan menempatkannya di lokasi yang ditentukan. Ini membutuhkan persepsi jangka panjang dan pemahaman adegan yang sangat kuat, dan berguna untuk berbagai tugas.
**- Kemampuan Perangkat Lunak: **
Platform perlu menyediakan beberapa antarmuka abstraksi untuk membuat robot lebih mudah digunakan untuk berbagai tugas, termasuk navigasi dan manipulasi.
-Masyarakat:
Platform perlu mendorong pengembang untuk terlibat dan mencoba membangun komunitas di sekitar basis kode.
Untuk memajukan penelitian di bidang ini, Meta telah meluncurkan perpustakaan HomeRobot baru yang memungkinkan dukungan untuk fitur navigasi dan manipulasi Hello Robot Stretch.
Alamat Proyek:
Secara khusus, HomeRobot memiliki dua komponen:
Komponen simulasi: untuk menggunakan serangkaian objek yang besar dan beragam di lingkungan rumah multi-kamar baru yang berkualitas tinggi;
Komponen dunia fisik: Menyediakan tumpukan perangkat lunak untuk produk Hello Robot Stretch dan Boston Dynamics berbiaya rendah untuk mendorong replikasi eksperimen dunia fisik di seluruh laboratorium.
Selain itu, HomeRobot menyediakan tumpukan perangkat lunak yang sangat ramah, memungkinkan pengguna untuk dengan cepat mengatur robot dan segera mengujinya. Fitur termasuk:
-Portabilitas:
Ada keadaan terpadu dan ruang aksi antara pengaturan dunia simulasi dan fisika untuk setiap tugas, menyediakan cara mudah untuk mengoperasikan robot menggunakan ruang gerak tingkat tinggi (seperti strategi mencengkeram preset) atau kontrol bersama kontinu tingkat rendah.
-Modularisasi:
Komponen persepsi dan tindakan mendukung keadaan tingkat tinggi (misalnya, peta semantik, awan titik tersegmentasi) dan tindakan tingkat tinggi (misalnya, pergi ke lokasi target, mengambil objek target).
**- Agen Dasar: **
Strategi untuk menggunakan kemampuan ini untuk menyediakan fungsionalitas dasar OVMM, serta alat untuk membangun agen yang lebih kompleks, dapat dikembangkan oleh tim lain.
Dalam tolok ukur HomeRobot OVMM, agen dapat mengambil item baru di lingkungan rumah dan menempatkannya di dalam atau di wadah target.
Di antara mereka, Meta menggunakan pembelajaran penguatan dan baseline heuristik (berbasis model) untuk menunjukkan bahwa keterampilan navigasi dan penempatan dapat ditransfer dari simulasi ke dunia fisik. Hasilnya menunjukkan bahwa baseline dapat mencapai tingkat keberhasilan 20% di dunia fisik.
Sumber daya:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Pembaruan berat meta, Xiaoza memiliki anjing yang dapat melakukan pekerjaan rumah di metaverse! Avatar humanoid sangat realistis, dan agen AI berinteraksi dengan orang-orang di dunia fisik nyata
Sumber: Shin Zhiyuan
Hari ini, Meta merilis Habitat 3.0, agen AI yang dilatih olehnya yang telah belajar menemukan orang dan membantu orang membersihkan kamar. Bot sosial, tonggak sejarah berikutnya!
Mulai hari ini, manusia selangkah lebih dekat dengan robot yang membantu pekerjaan rumah tangga!
Alamat Proyek:
Faktanya, Meta mengumumkan tiga perkembangan besar pada saat yang sama hari ini -
**1. Habitat 3.0 adalah simulator pertama yang mendukung pelatihan skala besar tentang tugas interaksi manusia-mesin di lingkungan dalam ruangan yang beragam dan realistis. **
Ini mendukung robot dan avatar humanoid, memungkinkan manusia dan robot untuk berkolaborasi di lingkungan rumah, seperti membantu membersihkan ruangan.
HSSD-200 memiliki kualitas tertinggi dalam kumpulan data serupa, dapat melatih agen navigasi, dan memiliki efek generalisasi yang sangat baik pada adegan rekonstruksi tiga dimensi di dunia fisik, dan jumlah adegan yang digunakan adalah dua urutan besarnya lebih sedikit.
Pada pembelajaran skala besar, Habitat 3.0 dapat menyelesaikan lebih dari 1.000 langkah per detik pada satu GPU.
Netizen: Kapan robot yang mampu melakukan pekerjaan rumah keluar
Netizens berkata: Ini adalah lompatan besar dalam robotika.
Habitat 3.0
Dengan Habitat 3.0, Meta tidak hanya memberikan simulasi realistis manusia dalam penampilan dan postur.
Fitur kunci lain dari Habitat 3.0 adalah "manusia dalam lingkaran".
Tugas Sosial
Selain itu, Habitat 3.0 dapat mensimulasikan berbagai skenario sosial dunia nyata.
Dalam tugas yang dikenal sebagai navigasi sosial, misalnya, robot perlu menemukan dan mengikuti manusia sambil tetap aman.
Pada titik ini, manusia dan robot perlu pergi ke lokasi target secara terpisah, dan robot perlu menemukan cara untuk mencapai tujuan ini dengan manusia seefisien mungkin.
Selain menjaga jarak aman dari manusia, robot juga akan mundur bila diperlukan, menyisakan ruang bagi manusia untuk berjalan.
Biarkan agen AI berinteraksi dengan manusia di dunia nyata
Di masa lalu, ketika kita memikirkan asisten AI, kita biasanya memikirkan chatbots berbasis web, atau speaker pintar.
Peneliti Meta telah berharap untuk menerapkan agen AI yang diwujudkan dengan kecerdasan umum, sehingga mereka dapat merasakan lingkungan, berkomunikasi dengan dan membantu manusia di dunia digital dan fisik.
Salah satu visinya adalah membuat headset AR yang dapat dipakai sepanjang hari untuk digunakan manusia.
Selain itu, para peneliti meningkatkan teknologi di balik robot cerdas sosial, memungkinkan mereka untuk membantu manusia dengan pekerjaan rumah tangga dan beradaptasi dengan preferensi individual manusia untuk kebutuhan pasangan mereka.
Pekerjaan ini difokuskan pada penelitian mendalam ke dalam sistem tertanam untuk membuat pengalaman AR dan VR generasi berikutnya menjadi lebih baik.
Ini membutuhkan penetapan prosedur pembandingan standar.
Oleh karena itu, peneliti Meta telah mengembangkan seperangkat alat baru untuk penelitian robot di seluruh simulator dan kumpulan data.
Mereka juga telah mengembangkan tumpukan teknologi yang mencakup perangkat keras dan perangkat lunak untuk membuat aspek penelitian ini lebih mudah dan lebih terjangkau.
Untuk meningkatkan kemampuan robot dengan cepat, para peneliti mengembangkan dan menguji algoritma dan model baru di simulator dan kemudian memindahkannya ke robot fisik.
Selama bertahun-tahun, Habitat Simulator telah membuat banyak kemajuan signifikan.
Habitat 2.0 memperkenalkan lingkungan interaktif (misalnya, item untuk diambil, laci yang dapat dibuka) dan melatih robot virtual untuk membersihkan rumah dengan mengatur ulang item.
Habitat 3.0 melangkah lebih jauh dan dapat mendukung robot dan avatar humanoid, memungkinkan kolaborasi manusia-mesin untuk menyelesaikan tugas sehari-hari, seperti merapikan ruang tamu dan menyiapkan resep di dapur.
Ini membuka jalan baru untuk mempelajari kolaborasi manusia-robot dalam tugas yang beragam, realistis, visual, dan kaya semantik.
Selain itu, Habitat 3.0 mendukung avatar humanoid dengan penampilan realistis, gaya berjalan alami, dan gerakan, yang dapat mensimulasikan interaksi tingkat rendah dan tingkat tinggi yang realistis.
Antarmuka ini mendukung keyboard, mouse, dan headset VR.
Koeksistensi manusia dan robot dalam lingkungan simulasi memungkinkan manusia untuk mempelajari strategi AI robot, menyelesaikan tugas sehari-hari, dan mengevaluasinya untuk pertama kalinya di lingkungan seperti keluarga, di hadapan avatar humanoid.
Ini tidak diragukan lagi sangat penting -
Dalam percobaan simulasi, itu bisa dilakukan dalam beberapa hari.
Dalam simulasi, Anda dapat mengubah lingkungan dalam sepersekian detik dan segera mulai bereksperimen di lingkungan baru.
Simulator memungkinkan peneliti untuk menguji metode di lingkungan yang aman sebelum menerapkannya ke dunia fisik, yang menjamin keamanan.
Di dunia fisik, pengumpulan data bisa sangat mahal dan lambat.
Tugas pertama adalah "merapikan sosial," yang melibatkan robot dan avatar humanoid yang bekerja sama untuk melakukan serangkaian tugas pick-and-place, seperti membersihkan rumah.
Dalam tugas ini, robot dan manusia harus bertindak bersama untuk mencapai tujuan bersama. Perilaku cerdas ini terjadi setelah pelatihan simulasi skala besar.
Tugas kedua adalah "navigasi sosial," yang memungkinkan robot untuk menemukan dan melacak seseorang sambil menjaga jarak aman.
Himpunan Data Adegan Pengomposisian Habitat
Himpunan data adegan 3D sangat penting untuk melatih robot dalam lingkungan simulasi.
Saat ini, meskipun ada banyak himpunan data yang mendukung penskalaan data pelatihan, kami tidak memahami trade-off antara ukuran himpunan data dan keaslian.
Untuk tujuan ini, Meta telah meluncurkan dataset adegan 3D sintetis baru - HSSD-200.
Ini terdiri dari 211 adegan 3D berkualitas tinggi yang mewakili lingkungan dalam ruangan yang sebenarnya, termasuk 18.656 model objek dunia fisik dari 466 kategori semantik. Lebih dekat dengan fisika nyata daripada kumpulan data sebelumnya.
Selain itu, fungsi kompresi aset HSSD-200 memungkinkan simulasi AI berkinerja tinggi.
Di antara mereka, objek individu dibuat oleh seniman 3D profesional, dalam banyak kasus cocok dengan furnitur dan peralatan yang sebenarnya.
Selain itu, jumlah skenario yang diperlukan untuk melatih agen pada HSSD-200 adalah 2 urutan besarnya kurang -
Dibandingkan dengan agen yang dilatih dengan 10.000 skenario ProcHOR, agen yang dilatih dengan 122 skenario HSSD-200 menggeneralisasi skenario dunia fisik HM3DSem dengan lebih baik.
RumahRobot
Platform bersama yang umum adalah bagian penting dari kemajuan pembelajaran mesin, tetapi dalam robotika, platform serupa kurang karena sulit untuk mereplikasi dan mengukur pencapaian perangkat keras.
Dalam hal ini, Meta mengusulkan tiga tujuan untuk platform penelitian robotika yang dapat direproduksi:
**- Bintang Utara yang menginspirasi: **
Platform ini perlu menyediakan misi Bintang Utara yang dipandu untuk memotivasi para peneliti dan membantu mereka dalam pekerjaan mereka. Di antara mereka, mereka juga dapat membandingkan berbagai metode pada masalah dunia nyata yang menarik.
Misalnya, "Open Word Movement Manipulation (OVMM)" – mengambil objek di lingkungan yang tidak dikenal dan menempatkannya di lokasi yang ditentukan. Ini membutuhkan persepsi jangka panjang dan pemahaman adegan yang sangat kuat, dan berguna untuk berbagai tugas.
Platform perlu menyediakan beberapa antarmuka abstraksi untuk membuat robot lebih mudah digunakan untuk berbagai tugas, termasuk navigasi dan manipulasi.
-Masyarakat:
Platform perlu mendorong pengembang untuk terlibat dan mencoba membangun komunitas di sekitar basis kode.
Untuk memajukan penelitian di bidang ini, Meta telah meluncurkan perpustakaan HomeRobot baru yang memungkinkan dukungan untuk fitur navigasi dan manipulasi Hello Robot Stretch.
Secara khusus, HomeRobot memiliki dua komponen:
Komponen simulasi: untuk menggunakan serangkaian objek yang besar dan beragam di lingkungan rumah multi-kamar baru yang berkualitas tinggi;
Komponen dunia fisik: Menyediakan tumpukan perangkat lunak untuk produk Hello Robot Stretch dan Boston Dynamics berbiaya rendah untuk mendorong replikasi eksperimen dunia fisik di seluruh laboratorium.
-Portabilitas:
Ada keadaan terpadu dan ruang aksi antara pengaturan dunia simulasi dan fisika untuk setiap tugas, menyediakan cara mudah untuk mengoperasikan robot menggunakan ruang gerak tingkat tinggi (seperti strategi mencengkeram preset) atau kontrol bersama kontinu tingkat rendah.
-Modularisasi:
Komponen persepsi dan tindakan mendukung keadaan tingkat tinggi (misalnya, peta semantik, awan titik tersegmentasi) dan tindakan tingkat tinggi (misalnya, pergi ke lokasi target, mengambil objek target).
**- Agen Dasar: **
Strategi untuk menggunakan kemampuan ini untuk menyediakan fungsionalitas dasar OVMM, serta alat untuk membangun agen yang lebih kompleks, dapat dikembangkan oleh tim lain.
Di antara mereka, Meta menggunakan pembelajaran penguatan dan baseline heuristik (berbasis model) untuk menunjukkan bahwa keterampilan navigasi dan penempatan dapat ditransfer dari simulasi ke dunia fisik. Hasilnya menunjukkan bahwa baseline dapat mencapai tingkat keberhasilan 20% di dunia fisik.
Sumber daya: