📢 Gate广场 #NERO发帖挑战# 秀观点赢大奖活动火热开启!
Gate NERO生态周来袭!发帖秀出NERO项目洞察和活动实用攻略,瓜分30,000NERO!
💰️ 15位优质发帖用户 * 2,000枚NERO每人
如何参与:
1️⃣ 调研NERO项目
对NERO的基本面、社区治理、发展目标、代币经济模型等方面进行研究,分享你对项目的深度研究。
2️⃣ 参与并分享真实体验
参与NERO生态周相关活动,并晒出你的参与截图、收益图或实用教程。可以是收益展示、简明易懂的新手攻略、小窍门,也可以是行情点位分析,内容详实优先。
3️⃣ 鼓励带新互动
如果你的帖子吸引到他人参与活动,或者有好友评论“已参与/已交易”,将大幅提升你的获奖概率!
NERO热门活动(帖文需附以下活动链接):
NERO Chain (NERO) 生态周:Gate 已上线 NERO 现货交易,为回馈平台用户,HODLer Airdrop、Launchpool、CandyDrop、余币宝已上线 NERO,邀您体验。参与攻略见公告:https://www.gate.com/announcements/article/46284
高质量帖子Tips:
教程越详细、图片越直观、互动量越高,获奖几率越大!
市场见解独到、真实参与经历、有带新互动者,评选将优先考虑。
帖子需原创,字数不少于250字,且需获得至少3条有效互动
Meta 重磅更新,小扎在元宇宙里养了会做家务的狗!人形化身超逼真,AI 智能体在真实物理世界和人互动
来源:新智元
今天,Meta重磅发布了Habitat 3.0,经它训练的AI智能体,学会了找人,还能帮人打扫房间。社交智能机器人,进入下一个里程碑!
今天开始,人类离帮忙做家务的机器人,又近了一步!
项目地址:
其实,Meta在今天同时宣布了三项重大进展——
1. Habitat 3.0是第一个支持在多样化、逼真的室内环境中,就人机交互任务进行大规模训练的模拟器。
它能同时支持机器人和人形化身,让人类和机器人在家庭环境中协作,比如帮忙打扫房间。
HSSD-200在同类数据集中质量最高,可以训练导航智能体,对物理世界三维重建场景的泛化效果非常好,使用的场景数量也要少两个数量级。
在大规模学习上,Habitat 3.0在单GPU上每秒可以完成超过1000步。
网友:能干家务的机器人什么时候出来
网友们表示:这是机器人技术的重大飞跃。
Habitat 3.0
利用Habitat 3.0,Meta不仅在外貌和姿势上对人类进行了真实的模拟。
Habitat 3.0的另一个关键特征,就是「人在回路」了。
社交任务
此外,Habitat 3.0还可以模拟多种真实的社交场景。
比如在被称为社交导航的任务中,机器人需要在保持安全的同时找到并跟随人类。
这时人和机器人需要分别走到目标位置,其中,机器人需要想办法尽可能高效地和人类共同实现这一目标。
除了能和人类保持安全距离外,机器人还会在必要时自己后退,给人类留出走路的空间。
让AI智能体在真实世界和人类互动
以往,当我们想到AI助手时,想到的通常是基于网络的聊天机器人,或者智能扬声器。
而Meta的研究者们一直希望实现具备通用智能的具身AI Agent,让它们可以感知环境,在数字和物理世界中和人类沟通、帮助人类。
其中一个愿景,就是做出全天可穿戴的AR头显,供人类使用。
另外,研究者们还在改进社交智能机器人背后的技术,让它们帮人类干家务,还能适应人类对于伴侣要求的个性化偏好。
工作主要集中在深入研究嵌入式系统,让下一代的AR和VR体验更佳。
这就需要建立标准化的基准程序。
因此,Meta的研究者们开发了一套新工具,用于跨模拟器、数据集的机器人研究。
他们还开发了一个包含软硬件的技术堆栈,让这方面的研究更容易,也更实惠。
为了快速提高机器人能力,研究者在模拟器中开发和测试新的算法和模型,然后移植到实体机器人上。
几年以来,Habitat模拟器取得了许多显著的进步。
Habitat 2.0 引入了交互式环境(例如,可拿起的物品、可打开的抽屉),并训练虚拟机器人通过重新排列物品来清理房屋。
Habitat 3.0在此基础更进一步,能够同时支持机器人和人形化身,实现人机协作完成日常任务,比如整理客厅、在厨房准备食谱。
这就开辟了新途径,研究人类与机器人在多样化、逼真、视觉和语义丰富的任务中的协作。
另外,Habitat 3.0还支持具有逼真外观、自然步态和动作的人形化身,可以模拟逼真的低级和高级交互。
这个界面支持键盘、鼠标以及VR头显。
人与机器人在模拟环境中的共存,使人类能够首次在类似家庭的环境中,在有人形化身存在的情况下,学习机器人AI策略,完成日常任务,并对其进行评估。
这无疑具有重大意义——
而在模拟实验中,几天就能完成。
而在模拟中,可以在几分之一秒内改变环境,然后立马在新环境中开始实验。
而模拟器能够让研究者在安全的环境中测试方法,然后再将其部署到物理世界中,这样就保证了安全。
而在物理世界中,数据收集的成本可能相当高,速度也会很慢。
第一个任务是「社交整理」,涉及机器人和人形化身协同工作,执行一系列拾放任务,比如清理房屋。
在这项任务中,机器人和人类必须协调行动,以实现共同目标。大规模的模拟训练后,就会产生这种智能行为。
第二项任务是「社交导航」,让机器人在保持安全距离的情况下,定位并跟踪一个人。
Habitat合成场景数据集
三维场景数据集对于在模拟环境中训练机器人来说至关重要。
目前,虽然已经有不少数据集可支持对训练数据进行扩展,但我们并不了解数据集规模与真实性之间的权衡。
为此,Meta推出了一个全新的合成三维场景数据集——HSSD-200。
它由211个代表实际室内环境的高质量三维场景组成,包含了来自466个语义类别的18,656个物理世界物体模型。与之前的数据集相比,更加接近真实的物理场景。
此外,HSSD-200的资产压缩功能,还可实现高性能的人工智能模拟。
其中,单个对象由专业的3D艺术家创建,在大多数情况下与实际的家具和电器相匹配。
而且,在HSSD-200上训练智能体所需的场景数量,要少2个数量级——
与使用10,000个ProcTHOR场景训练出的智能体相比,使用122个HSSD-200场景训练出的智能体对HM3DSem物理世界场景的泛化效果更好。
HomeRobot
共用、共享平台是机器学习进步的重要组成部分,但在机器人领域,由于很难复制和扩展硬件成果,因此十分缺少类似的平台。
对此,Meta为可重现的机器人研究平台提出了三个目标:
- 一颗激励人心的北极星:
平台需要提供具有指导性的北极星任务,以此激励研究人员并帮助他们开展工作。其中,他们还可以在有趣的真实世界问题上对各种方法进行比较。
比如「开放词汇移动操纵(OVMM)」——在任意未知的环境中拾取物体,并将其放到指定位置。这需要非常强大的长期感知能力和场景理解能力,而且对各类的任务都非常有用。
平台需要提供一些抽象界面,使机器人更容易用于各种任务,包括导航和操作。
- 社区:
平台需要鼓励开发者参与进去,并尝试围绕代码库建立一个社区。
为了推动这一领域的研究,Meta推出了一个全新的HomeRobot库,实现了对Hello Robot Stretch的导航和操纵功能的支持。
具体来说,HomeRobot有两个组件:
模拟组件:提在新的、高质量的多房间家庭环境中使用大量且多样的对象集;
物理世界组件:为低成本的Hello Robot Stretch以及波士顿动力公司的产品提供软件堆栈,以鼓励在各实验室之间复制物理世界实验。
- 可移植性:
每项任务的模拟和物理世界设置之间都有统一的状态和动作空间,为使用高层次的动作空间(如预设抓取策略)或低层次的连续关节控制来操作机器人,提供了简便的方法。
- 模块化:
感知和行动组件支持高层次的状态(如语义地图、分割点云)和高层次的行动(如前往目标位置、拾取目标物体)。
- 基准智能体:
使用这些功能为OVMM提供基本功能的策略,以及构建更复杂智能体的工具,其他团队可以在此基础上进行开发。
其中,Meta采用强化学习和启发式(基于模型)基线,展示了导航和放置技能可以从模拟到物理世界转移。结果表明,基线可以在物理世界中实现20%的成功率。
参考资料: