Mise à jour lourde de Meta, Xiaoza a un chien qui peut faire le ménage dans le métavers ! Les avatars humanoïdes sont ultra-réalistes et les agents de l’IA interagissent avec les gens dans le monde physique réel
Aujourd’hui, Meta a publié Habitat 3.0, un agent d’IA formé par lui qui a appris à trouver des personnes et à aider les gens à nettoyer les pièces. Les bots sociaux, la prochaine étape !
À partir d’aujourd’hui, les humains se rapprochent un peu plus des robots qui aident aux tâches ménagères !
Meta a annoncé Habitat 3.0 dans le but de développer un agent d’IA sociale, ce qui signifie que les robots d’intelligence sociale sont entrés dans une nouvelle étape.
La clé derrière ces intelligences incarnées est, bien sûr, l’agent d’IA. Grâce à eux, les robots peuvent collaborer avec les humains et les aider à accomplir leurs tâches quotidiennes.
Adresse papier :
Adresse du projet :
En fait, Meta a annoncé trois développements majeurs en même temps aujourd’hui -
**1. Habitat 3.0 est le premier simulateur à prendre en charge la formation à grande échelle sur les tâches d’interaction homme-machine dans des environnements intérieurs diversifiés et réalistes. **
Il prend en charge à la fois les robots et les avatars humanoïdes, permettant aux humains et aux robots de collaborer dans un environnement domestique, par exemple en aidant à nettoyer une pièce.
**2. L’Habitat Synthetic Scene Dataset (HSSD-200) est un jeu de données tridimensionnelles créé par des artistes qui contient plus de 18 000 objets dans 466 catégories sémantiques dans 211 scènes. **
HSSD-200 a la plus haute qualité dans des ensembles de données similaires, peut entraîner des agents de navigation et a un très bon effet de généralisation sur les scènes de reconstruction tridimensionnelle dans le monde physique, et le nombre de scènes utilisées est inférieur de deux ordres de grandeur.
**3. HomeRobot est une plate-forme matérielle et logicielle très abordable pour les assistants robotiques domestiques, permettant aux robots d’effectuer des tâches de vocabulaire ouvertes dans des environnements simulés et physiques. **
Dans le cadre d’un apprentissage à grande échelle, Habitat 3.0 peut effectuer plus de 1 000 pas par seconde sur un seul GPU.
**Netizen : Quand le robot capable de faire le ménage sortira-t-il ?
Les internautes ont déclaré : Il s’agit d’un saut majeur dans la robotique.
Il y a aussi des gens qui soupirent : c’est un jeu Sims très avancé.
Certaines personnes ont déjà hâte de faire l’expérience d’Habitat 3.0 dans Meta Quest VR.
Rêve, les robots d’aide à l’entretien ménager ne devraient pas être loin.
Habitat 3.0
Avec Habitat 3.0, Meta ne se contente pas de fournir une simulation réaliste de l’apparence et de la posture des humains.
Il prend également en charge divers types d’actions, des plus simples (comme marcher et faire des signes) aux plus complexes (comme interagir avec des objets), et est compatible avec la capture de mouvement.
De plus, l’avatar peut être contrôlé par programmation sans dégradation des performances - la vitesse de simulation homme-machine est similaire à la vitesse de simulation robot-robot.
### ** Personnes dans la boucle**
Une autre caractéristique clé d’Habitat 3.0 est « l’humain dans la boucle ».
Avec une souris, un clavier ou la réalité virtuelle, nous pouvons obtenir un contrôle étonnant de l’interaction homme-machine.
Une fois la tâche terminée, le système collecte la stratégie et les données du robot, et évalue l’interaction homme-machine.
Tâches sociales
De plus, Habitat 3.0 peut simuler une variété de scénarios sociaux réels.
Dans une tâche connue sous le nom de navigation sociale, par exemple, les robots doivent trouver et suivre les humains tout en restant en sécurité.
Dans une autre tâche, les robots doivent travailler avec des humains pour accomplir des tâches telles que le rangement d’une pièce.
À ce stade, les humains et les robots doivent se rendre séparément à l’emplacement cible, et le robot doit trouver un moyen d’atteindre cet objectif avec les humains aussi efficacement que possible.
Des robots entraînés qui peuvent réaliser une variété de comportements sociaux !
En plus de garder une distance de sécurité avec les humains, les robots reculeront également si nécessaire, laissant de la place aux humains pour marcher.
Laissez les agents d’IA interagir avec les humains dans le monde réel
Dans le passé, lorsque nous pensions aux assistants IA, nous pensions généralement aux chatbots basés sur le Web ou aux haut-parleurs intelligents.
Les chercheurs de Meta espèrent mettre en œuvre des agents d’IA incarnés dotés d’une intelligence générale, afin qu’ils puissent détecter l’environnement, communiquer avec les humains et les aider dans les mondes numérique et physique.
L’une des visions est de fabriquer des casques de réalité augmentée portables toute la journée pour un usage humain.
De plus, les chercheurs améliorent la technologie derrière les robots intelligents sociaux, leur permettant d’aider les humains dans les tâches ménagères et de s’adapter aux préférences individualisées des humains pour les besoins de leurs partenaires.
Le travail est axé sur la recherche approfondie sur les systèmes embarqués afin d’améliorer la prochaine génération d’expériences de réalité augmentée et de réalité virtuelle.
Cependant, la formation et le test d’agents d’IA incarnés avec de vraies personnes sur du matériel physique, qu’il s’agisse de robots ou de lunettes AR, présentent certaines limites d’évolutivité et peuvent présenter des problèmes de sécurité.
Cela nécessite la mise en place de procédures d’étalonnage standardisées.
Par conséquent, les chercheurs de Meta ont développé un nouvel ensemble d’outils pour la recherche sur les robots à travers des simulateurs et des ensembles de données.
Ils ont également mis au point une pile technologique qui comprend du matériel et des logiciels pour rendre cet aspect de la recherche plus facile et plus abordable.
Pour améliorer rapidement les capacités du robot, les chercheurs développent et testent de nouveaux algorithmes et modèles dans des simulateurs, puis les portent sur des robots physiques.
Au fil des ans, Habitat Simulator a fait de nombreuses avancées significatives.
Les robots virtuels entraînés dans Habitat 1.0 peuvent naviguer dans des scans 3D de maisons du monde physique à des vitesses de plus de 10 000 pas par seconde (SPS).
Habitat 2.0 introduit des environnements interactifs (p. ex., des objets à ramasser, des tiroirs qui peuvent être ouverts) et entraîne des robots virtuels à nettoyer les maisons en réorganisant les objets.
Habitat 3.0 va encore plus loin et peut prendre en charge à la fois les robots et les avatars humanoïdes, permettant une collaboration homme-machine pour accomplir des tâches quotidiennes, telles que ranger le salon et préparer des recettes dans la cuisine.
Cela ouvre de nouvelles voies pour étudier la collaboration homme-robot dans des tâches diverses, réalistes, visuelles et sémantiquement riches.
De plus, Habitat 3.0 prend en charge les avatars humanoïdes avec une apparence, une démarche et des mouvements réalistes, qui peuvent simuler des interactions réalistes de bas et de haut niveau.
Ces avatars peuvent être contrôlés soit par des stratégies apprises, soit par de vraies personnes via l’interface « human-in-the-loop ».
Cette interface prend en charge les claviers, les souris et les casques VR.
La coexistence d’humains et de robots dans des environnements simulés permet aux humains d’apprendre des stratégies d’IA robotiques, d’accomplir des tâches quotidiennes et de les évaluer pour la première fois dans un environnement familial, en présence d’avatars humanoïdes.
C’est sans aucun doute d’une grande importance.
Les algorithmes d’apprentissage par renforcement nécessitent généralement des millions d’itérations pour acquérir des connaissances significatives, de sorte que la réalisation de ces expériences dans le monde physique peut prendre des années.
Dans une expérience de simulation, cela peut être fait en quelques jours.
2. La collecte de données dans différentes maisons du monde physique n’est pas pratique, car cela nécessite de déplacer le robot à différents endroits et de configurer l’environnement.
Dans la simulation, vous pouvez changer d’environnement en une fraction de seconde et commencer immédiatement à expérimenter dans un nouvel environnement.
Si le modèle n’est pas bien entraîné, le robot a le potentiel d’endommager l’environnement ou de nuire aux personnes dans le monde physique.
Les simulateurs permettent aux chercheurs de tester des méthodes dans un environnement sécurisé avant de les déployer dans le monde physique, ce qui garantit la sécurité.
Les modèles d’IA les plus avancés d’aujourd’hui nécessitent de grandes quantités de données pour être entraînés, et les simulations permettent aux chercheurs d’intensifier facilement la collecte de données.
Dans le monde physique, la collecte de données peut être assez coûteuse et lente.
De plus, les chercheurs proposent deux tâches très pertinentes et un ensemble de repères pour établir des repères dans le domaine de l’IA incarnée sociale.
La première tâche est le « rangement social », qui implique que des robots et des avatars humanoïdes travaillent ensemble pour effectuer une série de tâches de pick-and-place, telles que le nettoyage des maisons.
Dans cette tâche, les robots et les humains doivent agir de concert pour atteindre un objectif commun. Ce comportement intelligent se produit après un entraînement par simulation à grande échelle.
La deuxième tâche est la « navigation sociale », qui permet au robot de localiser et de suivre une personne tout en maintenant une distance de sécurité.
Jeu de données de scènes de composition d’habitats
Les jeux de données de scènes 3D sont essentiels pour entraîner des robots dans un environnement simulé.
À l’heure actuelle, bien qu’il existe de nombreux jeux de données qui prennent en charge la mise à l’échelle des données d’entraînement, nous ne comprenons pas le compromis entre la taille du jeu de données et l’authenticité.
À cette fin, Meta a lancé un nouveau jeu de données de scènes 3D synthétiques - HSSD-200.
Il se compose de 211 scènes 3D de haute qualité représentant l’environnement intérieur réel, dont 18 656 modèles d’objets physiques du monde issus de 466 catégories sémantiques. Plus proche de la physique réelle que les jeux de données précédents.
Plus précisément, le HSSD-200 fournit des scènes d’intérieur 3D de meilleure qualité, entièrement conçues artificiellement, et inclut une classification sémantique à grain fin correspondant à l’ontologie WordNet.
De plus, la fonction de compression des actifs du HSSD-200 permet une simulation d’IA haute performance.
En ce qui concerne les scènes, le HSSD-200 est réalisé à l’aide de l’interface de design d’intérieur Floorplanner, et la mise en page est principalement une reproduction de la maison réelle.
Parmi eux, les objets individuels sont créés par des artistes 3D professionnels, dans la plupart des cas correspondant à des meubles et des appareils électroménagers réels.
Des expériences ont montré que le jeu de données HSSD-200, plus petit mais de meilleure qualité, peut générer des agents objectNav avec des objets comme cibles de navigation, et que ses performances sont comparables à celles des agents entraînés sur des jeux de données plus volumineux.
De plus, le nombre de scénarios nécessaires pour former un agent sur HSSD-200 est inférieur de 2 ordres de grandeur.
Par rapport aux agents entraînés avec 10 000 scénarios ProcTHOR, les agents formés avec 122 scénarios HSSD-200 se généralisent mieux aux scénarios du monde physique HM3DSem.
HomeRobot
Les plates-formes communes et partagées sont une partie importante des progrès de l’apprentissage automatique, mais en robotique, les plates-formes similaires font défaut car il est difficile de reproduire et de mettre à l’échelle les réalisations matérielles.
À cet égard, Meta propose trois objectifs pour une plateforme de recherche en robotique reproductible :
- Une étoile polaire inspirante :
La plate-forme doit fournir des missions guidées North Star pour motiver les chercheurs et les aider dans leur travail. Parmi eux, ils peuvent également comparer diverses méthodes sur des problèmes intéressants du monde réel.
Par exemple, « Open Word Movement Manipulation (OVMM) » – ramasser des objets dans un environnement inconnu et les placer dans un endroit désigné. Cela nécessite une perception à long terme et une compréhension de la scène très fortes, et est utile pour un large éventail de tâches.
- Capacités logicielles :
La plate-forme doit fournir une interface d’abstraction pour rendre le robot plus facile à utiliser pour une variété de tâches, y compris la navigation et la manipulation.
-Communauté:
La plateforme doit encourager les développeurs à s’impliquer et à essayer de construire une communauté autour de la base de code.
Pour faire avancer la recherche dans ce domaine, Meta a lancé une nouvelle bibliothèque HomeRobot qui permet de prendre en charge les fonctions de navigation et de manipulation du Hello Robot Stretch.
Adresse du projet :
Plus précisément, HomeRobot a deux composants :
Composants de simulation : pour utiliser un ensemble large et diversifié d’objets dans de nouveaux environnements domestiques multi-pièces de haute qualité ;
Composants du monde physique : fournit des piles logicielles pour les produits à faible coût Hello Robot Stretch et Boston Dynamics afin d’encourager la réplication des expériences du monde physique dans les laboratoires.
De plus, HomeRobot fournit une pile logicielle très conviviale, permettant aux utilisateurs de configurer rapidement le robot et de le tester immédiatement. Les caractéristiques comprennent :
-Portabilité:
Il existe un espace d’état et d’action unifié entre les paramètres du monde de la simulation et de la physique pour chaque tâche, ce qui permet de faire fonctionner facilement le robot à l’aide d’un espace de mouvement de haut niveau (comme une stratégie de préhension prédéfinie) ou d’un contrôle articulaire continu de bas niveau.
-Modularization:
La composante de perception et d’action prend en charge les états de haut niveau (par exemple, les cartes sémantiques, les nuages de points segmentés) et les actions de haut niveau (par exemple, se rendre à un emplacement cible, ramasser un objet cible).
- Agent de base :
D’autres équipes peuvent développer des stratégies permettant d’utiliser ces fonctionnalités pour fournir les fonctionnalités de base d’OVMM, ainsi que des outils permettant de créer des agents plus complexes.
Dans le benchmark HomeRobot OVMM, un agent peut saisir des éléments de nouveauté dans l’environnement domestique et les placer dans ou dans un conteneur cible.
Parmi eux, Meta utilise l’apprentissage par renforcement et les bases de référence heuristiques (basées sur des modèles) pour montrer que les compétences de navigation et de placement peuvent être transférées de la simulation au monde physique. Les résultats montrent que la ligne de base peut atteindre un taux de réussite de 20% dans le monde physique.
Ressources:
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Mise à jour lourde de Meta, Xiaoza a un chien qui peut faire le ménage dans le métavers ! Les avatars humanoïdes sont ultra-réalistes et les agents de l’IA interagissent avec les gens dans le monde physique réel
Source: Shin Zhiyuan
Aujourd’hui, Meta a publié Habitat 3.0, un agent d’IA formé par lui qui a appris à trouver des personnes et à aider les gens à nettoyer les pièces. Les bots sociaux, la prochaine étape !
À partir d’aujourd’hui, les humains se rapprochent un peu plus des robots qui aident aux tâches ménagères !
Adresse du projet :
En fait, Meta a annoncé trois développements majeurs en même temps aujourd’hui -
**1. Habitat 3.0 est le premier simulateur à prendre en charge la formation à grande échelle sur les tâches d’interaction homme-machine dans des environnements intérieurs diversifiés et réalistes. **
Il prend en charge à la fois les robots et les avatars humanoïdes, permettant aux humains et aux robots de collaborer dans un environnement domestique, par exemple en aidant à nettoyer une pièce.
HSSD-200 a la plus haute qualité dans des ensembles de données similaires, peut entraîner des agents de navigation et a un très bon effet de généralisation sur les scènes de reconstruction tridimensionnelle dans le monde physique, et le nombre de scènes utilisées est inférieur de deux ordres de grandeur.
Dans le cadre d’un apprentissage à grande échelle, Habitat 3.0 peut effectuer plus de 1 000 pas par seconde sur un seul GPU.
**Netizen : Quand le robot capable de faire le ménage sortira-t-il ?
Les internautes ont déclaré : Il s’agit d’un saut majeur dans la robotique.
Habitat 3.0
Avec Habitat 3.0, Meta ne se contente pas de fournir une simulation réaliste de l’apparence et de la posture des humains.
Une autre caractéristique clé d’Habitat 3.0 est « l’humain dans la boucle ».
Tâches sociales
De plus, Habitat 3.0 peut simuler une variété de scénarios sociaux réels.
Dans une tâche connue sous le nom de navigation sociale, par exemple, les robots doivent trouver et suivre les humains tout en restant en sécurité.
À ce stade, les humains et les robots doivent se rendre séparément à l’emplacement cible, et le robot doit trouver un moyen d’atteindre cet objectif avec les humains aussi efficacement que possible.
En plus de garder une distance de sécurité avec les humains, les robots reculeront également si nécessaire, laissant de la place aux humains pour marcher.
Laissez les agents d’IA interagir avec les humains dans le monde réel
Dans le passé, lorsque nous pensions aux assistants IA, nous pensions généralement aux chatbots basés sur le Web ou aux haut-parleurs intelligents.
Les chercheurs de Meta espèrent mettre en œuvre des agents d’IA incarnés dotés d’une intelligence générale, afin qu’ils puissent détecter l’environnement, communiquer avec les humains et les aider dans les mondes numérique et physique.
L’une des visions est de fabriquer des casques de réalité augmentée portables toute la journée pour un usage humain.
De plus, les chercheurs améliorent la technologie derrière les robots intelligents sociaux, leur permettant d’aider les humains dans les tâches ménagères et de s’adapter aux préférences individualisées des humains pour les besoins de leurs partenaires.
Le travail est axé sur la recherche approfondie sur les systèmes embarqués afin d’améliorer la prochaine génération d’expériences de réalité augmentée et de réalité virtuelle.
Cela nécessite la mise en place de procédures d’étalonnage standardisées.
Par conséquent, les chercheurs de Meta ont développé un nouvel ensemble d’outils pour la recherche sur les robots à travers des simulateurs et des ensembles de données.
Ils ont également mis au point une pile technologique qui comprend du matériel et des logiciels pour rendre cet aspect de la recherche plus facile et plus abordable.
Pour améliorer rapidement les capacités du robot, les chercheurs développent et testent de nouveaux algorithmes et modèles dans des simulateurs, puis les portent sur des robots physiques.
Au fil des ans, Habitat Simulator a fait de nombreuses avancées significatives.
Habitat 2.0 introduit des environnements interactifs (p. ex., des objets à ramasser, des tiroirs qui peuvent être ouverts) et entraîne des robots virtuels à nettoyer les maisons en réorganisant les objets.
Habitat 3.0 va encore plus loin et peut prendre en charge à la fois les robots et les avatars humanoïdes, permettant une collaboration homme-machine pour accomplir des tâches quotidiennes, telles que ranger le salon et préparer des recettes dans la cuisine.
Cela ouvre de nouvelles voies pour étudier la collaboration homme-robot dans des tâches diverses, réalistes, visuelles et sémantiquement riches.
De plus, Habitat 3.0 prend en charge les avatars humanoïdes avec une apparence, une démarche et des mouvements réalistes, qui peuvent simuler des interactions réalistes de bas et de haut niveau.
Cette interface prend en charge les claviers, les souris et les casques VR.
La coexistence d’humains et de robots dans des environnements simulés permet aux humains d’apprendre des stratégies d’IA robotiques, d’accomplir des tâches quotidiennes et de les évaluer pour la première fois dans un environnement familial, en présence d’avatars humanoïdes.
C’est sans aucun doute d’une grande importance.
Dans une expérience de simulation, cela peut être fait en quelques jours.
Dans la simulation, vous pouvez changer d’environnement en une fraction de seconde et commencer immédiatement à expérimenter dans un nouvel environnement.
Les simulateurs permettent aux chercheurs de tester des méthodes dans un environnement sécurisé avant de les déployer dans le monde physique, ce qui garantit la sécurité.
Dans le monde physique, la collecte de données peut être assez coûteuse et lente.
La première tâche est le « rangement social », qui implique que des robots et des avatars humanoïdes travaillent ensemble pour effectuer une série de tâches de pick-and-place, telles que le nettoyage des maisons.
Dans cette tâche, les robots et les humains doivent agir de concert pour atteindre un objectif commun. Ce comportement intelligent se produit après un entraînement par simulation à grande échelle.
La deuxième tâche est la « navigation sociale », qui permet au robot de localiser et de suivre une personne tout en maintenant une distance de sécurité.
Jeu de données de scènes de composition d’habitats
Les jeux de données de scènes 3D sont essentiels pour entraîner des robots dans un environnement simulé.
À l’heure actuelle, bien qu’il existe de nombreux jeux de données qui prennent en charge la mise à l’échelle des données d’entraînement, nous ne comprenons pas le compromis entre la taille du jeu de données et l’authenticité.
À cette fin, Meta a lancé un nouveau jeu de données de scènes 3D synthétiques - HSSD-200.
Il se compose de 211 scènes 3D de haute qualité représentant l’environnement intérieur réel, dont 18 656 modèles d’objets physiques du monde issus de 466 catégories sémantiques. Plus proche de la physique réelle que les jeux de données précédents.
De plus, la fonction de compression des actifs du HSSD-200 permet une simulation d’IA haute performance.
Parmi eux, les objets individuels sont créés par des artistes 3D professionnels, dans la plupart des cas correspondant à des meubles et des appareils électroménagers réels.
De plus, le nombre de scénarios nécessaires pour former un agent sur HSSD-200 est inférieur de 2 ordres de grandeur.
Par rapport aux agents entraînés avec 10 000 scénarios ProcTHOR, les agents formés avec 122 scénarios HSSD-200 se généralisent mieux aux scénarios du monde physique HM3DSem.
HomeRobot
Les plates-formes communes et partagées sont une partie importante des progrès de l’apprentissage automatique, mais en robotique, les plates-formes similaires font défaut car il est difficile de reproduire et de mettre à l’échelle les réalisations matérielles.
À cet égard, Meta propose trois objectifs pour une plateforme de recherche en robotique reproductible :
- Une étoile polaire inspirante :
La plate-forme doit fournir des missions guidées North Star pour motiver les chercheurs et les aider dans leur travail. Parmi eux, ils peuvent également comparer diverses méthodes sur des problèmes intéressants du monde réel.
Par exemple, « Open Word Movement Manipulation (OVMM) » – ramasser des objets dans un environnement inconnu et les placer dans un endroit désigné. Cela nécessite une perception à long terme et une compréhension de la scène très fortes, et est utile pour un large éventail de tâches.
La plate-forme doit fournir une interface d’abstraction pour rendre le robot plus facile à utiliser pour une variété de tâches, y compris la navigation et la manipulation.
-Communauté:
La plateforme doit encourager les développeurs à s’impliquer et à essayer de construire une communauté autour de la base de code.
Pour faire avancer la recherche dans ce domaine, Meta a lancé une nouvelle bibliothèque HomeRobot qui permet de prendre en charge les fonctions de navigation et de manipulation du Hello Robot Stretch.
Plus précisément, HomeRobot a deux composants :
Composants de simulation : pour utiliser un ensemble large et diversifié d’objets dans de nouveaux environnements domestiques multi-pièces de haute qualité ;
Composants du monde physique : fournit des piles logicielles pour les produits à faible coût Hello Robot Stretch et Boston Dynamics afin d’encourager la réplication des expériences du monde physique dans les laboratoires.
-Portabilité:
Il existe un espace d’état et d’action unifié entre les paramètres du monde de la simulation et de la physique pour chaque tâche, ce qui permet de faire fonctionner facilement le robot à l’aide d’un espace de mouvement de haut niveau (comme une stratégie de préhension prédéfinie) ou d’un contrôle articulaire continu de bas niveau.
-Modularization:
La composante de perception et d’action prend en charge les états de haut niveau (par exemple, les cartes sémantiques, les nuages de points segmentés) et les actions de haut niveau (par exemple, se rendre à un emplacement cible, ramasser un objet cible).
- Agent de base :
D’autres équipes peuvent développer des stratégies permettant d’utiliser ces fonctionnalités pour fournir les fonctionnalités de base d’OVMM, ainsi que des outils permettant de créer des agents plus complexes.
Parmi eux, Meta utilise l’apprentissage par renforcement et les bases de référence heuristiques (basées sur des modèles) pour montrer que les compétences de navigation et de placement peuvent être transférées de la simulation au monde physique. Les résultats montrent que la ligne de base peut atteindre un taux de réussite de 20% dans le monde physique.
Ressources: