Meta 重磅更新，小扎在元宇宙里養了會做家務的狗！ 人形化身超逼真，AI 智慧體在真實物理世界和人互動

來源：新智元

今天，Meta重磅發佈了Habitat 3.0，經它訓練的AI智慧體，學會了找人，還能幫人打掃房間。 社交智慧機器人，進入下一個里程碑！

今天開始，人類離幫忙做家務的機器人，又近了一步！

Meta宣佈推出Habitat 3.0，目的是開發出社會化的AI智慧體，這意味著社交智慧機器人已經進入新的里程碑階段。

這些具身智能背後的關鍵，當然就是AI Agent。 有了它們，機器人可以和人類協作，幫人類完成日常任務。

論文位址：

專案位址：

其實，Meta在今天同時宣佈了三項重大進展——

**1. Habitat 3.0是第一個支持在多樣化、逼真的室內環境中，就人機交互任務進行大規模訓練的模擬器。 **

它能同時支援機器人和人形化身，讓人類和機器人在家庭環境中協作，比如幫忙打掃房間。

**2. Habitat合成場景數據集（HSSD-200），是由藝術家創造的三維數據集，包含211個場景中466個語義類別的18,000多個物件。 **

HSSD-200在同類數據集中品質最高，可以訓練導航智慧體，對物理世界三維重建場景的泛化效果非常好，使用的場景數量也要少兩個數量級。

**3. HomeRobot則是一個家用機器人助手硬體和軟體平臺，非常經濟實惠，機器人可以在類比和物理世界環境中，執行開放的詞彙任務。 **

在大規模學習上，Habitat 3.0在單GPU上每秒可以完成超過1000步。

網友：能幹家務的機器人什麼時候出來

網友們表示：這是機器人技術的重大飛躍。

還有人感慨：這是非常高級的模擬人生遊戲。

已經有人期待在Meta Quest VR中體驗 Habitat 3.0了。

Dream一下，家政輔助機器人應該不遠了。

人居 3.0

利用Habitat 3.0，Meta不僅在外貌和姿勢上對人類進行了真實的類比。

而且，還支援從簡單（如行走和揮手）到複雜（如與物體交互）等各種類型的動作，並相容動捕。

此外，虛擬化身還可以通過程式進行控制，並且不會出現性能下降——人-機類比速度跟機器人-機器人類比速度類似。

### 人在迴路

Habitat 3.0的另一個關鍵特徵，就是「人在迴路」了。

通過滑鼠、鍵盤或VR，我們可以實現效果驚人的人機交互控制。

完成任務后，系統會收集機器人的策略和數據，並進行人機交互的評估。

社交任務

此外，Habitat 3.0還可以類比多種真實的社交場景。

比如在被稱為社交導航的任務中，機器人需要在保持安全的同時找到並跟隨人類。

在另一項任務中，機器人需要和人類共同協作，完成諸如整理房間的任務。

這時人和機器人需要分別走到目標位置，其中，機器人需要想辦法盡可能高效地和人類共同實現這一目標。

經過訓練的機器人，可以實現各種社會行為！

除了能和人類保持安全距離外，機器人還會在必要時自己後退，給人類留出走路的空間。

讓AI智慧體在真實世界和人類互動

以往，當我們想到AI助手時，想到的通常是基於網路的聊天機器人，或者智慧揚聲器。

而Meta的研究者們一直希望實現具備通用智慧的具身AI Agent，讓它們可以感知環境，在數位和物理世界中和人類溝通、幫助人類。

其中一個願景，就是做出全天可穿戴的AR頭顯，供人類使用。

另外，研究者們還在改進社交智慧機器人背後的技術，讓它們幫人類幹家務，還能適應人類對於伴侶要求的個人化偏好。

工作主要集中在深入研究嵌入式系統，讓下一代的AR和VR體驗更佳。

不過，在物理硬體（無論是機器人還是AR眼鏡）上與真人一起訓練和測試具身AI智慧體，會有一些可擴充性限制，還可能存在安全問題。

這就需要建立標準化的基準程式。

因此，Meta的研究者們開發了一套新工具，用於跨模擬器、數據集的機器人研究。

他們還開發了一個包含軟硬體的技術堆疊，讓這方面的研究更容易，也更實惠。

為了快速提高機器人能力，研究者在模擬器中開發和測試新的演算法和模型，然後移植到實體機器人上。

幾年以來，Habitat模擬器取得了許多顯著的進步。

在Habitat 1.0訓練的虛擬機器人，能以每秒超過10,000步（SPS）的速度，在物理世界房屋的三維掃描中導航。

Habitat 2.0 引入了互動式環境（例如，可拿起的物品、可打開的抽屜），並訓練虛擬機器人通過重新排列物品來清理房屋。

Habitat 3.0在此基礎更進一步，能夠同時支援機器人和人形化身，實現人機協作完成日常任務，比如整理客廳、在廚房準備食譜。

這就開闢了新途徑，研究人類與機器人在多樣化、逼真、視覺和語義豐富的任務中的協作。

另外，Habitat 3.0還支援具有逼真外觀、自然步態和動作的人形化身，可以類比逼真的低級和高級交互。

這些人形化身既可由學習到的策略控制，也可由真人通過「human-in-the-loop」介面進行控制。

這個介面支援鍵盤、滑鼠以及VR頭顯。

人與機器人在模擬環境中的共存，使人類能夠首次在類似家庭的環境中，在有人形化身存在的情況下，學習機器人AI策略，完成日常任務，並對其進行評估。

這無疑具有重大意義——

1. 強化學習演算法通常需要數百萬次的反覆運算，才能學習到有意義的知識，因此在物理世界中進行這些實驗可能，需要數年時間。

而在模擬實驗中，幾天就能完成。

2. 在物理世界的不同房屋中收集數據是不切實際的，因為這需要將機器人移動到不同的地方，還要設置環境。

而在類比中，可以在幾分之一秒內改變環境，然後立馬在新環境中開始實驗。

3. 如果模型沒有訓練好，機器人就有可能破壞環境，或者傷害物理世界中的人。

而模擬器能夠讓研究者在安全的環境中測試方法，然後再將其部署到物理世界中，這樣就保證了安全。

4. 當今最先進的AI模型，需要大量數據進行訓練，而類比使研究者能夠輕鬆地擴大數據收集規模。

而在物理世界中，數據收集的成本可能相當高，速度也會很慢。

而且，研究者還提出了兩個高度相關的任務和一套基準，以建立社會化具身AI領域的基準。

第一個任務是「社交整理」，涉及機器人和人形化身協同工作，執行一系列拾放任務，比如清理房屋。

在這項任務中，機器人和人類必須協調行動，以實現共同目標。 大規模的模擬訓練后，就會產生這種智能行為。

第二項任務是「社交導航」，讓機器人在保持安全距離的情況下，定位並跟蹤一個人。

Habitat合成場景數據集

三維場景數據集對於在類比環境中訓練機器人來說至關重要。

目前，雖然已經有不少數據集可支援對訓練數據進行擴展，但我們並不瞭解數據集規模與真實性之間的權衡。

為此，Meta推出了一個全新的合成三維場景數據集——HSSD-200。

它由211個代表實際室內環境的高品質三維場景組成，包含了來自466個語義類別的18,656個物理世界物體模型。 與之前的數據集相比，更加接近真實的物理場景。

具體來說，HSSD-200提供了更高品質，且完全由人工製作的3D室內場景，並包括了與WordNet本體相對應的細粒度語義分類。

此外，HSSD-200的資產壓縮功能，還可實現高性能的人工智慧類比。

場景方面，HSSD-200採用了Floorplanner室內設計介面進行製作，佈局主要是對實際房屋的再現。

其中，單個物件由專業的3D藝術家創建，在大多數情況下與實際的傢具和電器相匹配。

實驗表明，規模較小但品質較高的HSSD-200數據集，可以生成以物品為導航目標的（ObjectNav）智慧體，其性能可與在規模更大的數據集上訓練的智慧體相媲美。

而且，在HSSD-200上訓練智慧體所需的場景數量，要少2個數量級——

與使用10,000個ProcTHOR場景訓練出的智慧體相比，使用122個HSSD-200場景訓練出的智慧體對HM3DSem物理世界場景的泛化效果更好。

家用機器人

共用、共用平臺是機器學習進步的重要組成部分，但在機器人領域，由於很難複製和擴展硬體成果，因此十分缺少類似的平臺。

對此，Meta為可重現的機器人研究平臺提出了三個目標：

- 一顆激勵人心的北極星：

平臺需要提供具有指導性的北極星任務，以此激勵研究人員並幫助他們開展工作。 其中，他們還可以在有趣的真實世界問題上對各種方法進行比較。

比如「開放詞彙移動操縱（OVMM）」——在任意未知的環境中拾取物體，並將其放到指定位置。 這需要非常強大的長期感知能力和場景理解能力，而且對各類的任務都非常有用。

- 軟體能力：

平臺需要提供一些抽象介面，使機器人更容易用於各種任務，包括導航和操作。

- 社區：

平臺需要鼓勵開發者參與進去，並嘗試圍繞代碼庫建立一個社區。

為了推動這一領域的研究，Meta推出了一個全新的HomeRobot庫，實現了對Hello Robot Stretch的導航和操縱功能的支援。

專案位址：

具體來說，HomeRobot有兩個元件：

1. 類比元件：提在新的、高品質的多房間家庭環境中使用大量且多樣的物件集;

2. 物理世界元件：為低成本的Hello Robot Stretch以及波士頓動力公司的產品提供軟體堆棧，以鼓勵在各實驗室之間複製物理世界實驗。

此外，HomeRobot還提供了一個非常友好的軟體棧，從而讓用戶能夠快速設置機器人，並立即進行測試。 其特點包包括：

- 可移植性：

每項任務的類比和物理世界設置之間都有統一的狀態和動作空間，為使用高層次的動作空間（如預設抓取策略）或低層次的連續關節控制來操作機器人，提供了簡便的方法。

- 模組化：

感知和行動元件支援高層次的狀態（如語義地圖、分割點雲）和高層次的行動（如前往目標位置、拾取目標物體）。

- 基準智能體：

使用這些功能為OVMM提供基本功能的策略，以及構建更複雜智慧體的工具，其他團隊可以在此基礎上進行開發。

在HomeRobot OVMM基準中，智慧體可在家居環境中抓取新奇物品，並將其放入或放在目標容器中。

其中，Meta採用強化學習和啟發式（基於模型）基線，展示了導航和放置技能可以從類比到物理世界轉移。 結果表明，基線可以在物理世界中實現20%的成功率。

參考資料：