Actualización pesada de Meta, ¡Xiaoza tiene un perro que puede hacer las tareas domésticas en el metaverso! Los avatares humanoides son ultrarrealistas y los agentes de IA interactúan con las personas en el mundo físico real
Hoy, Meta lanzó Habitat 3.0, un agente de IA entrenado por ella que ha aprendido a encontrar personas y ayudar a las personas a limpiar habitaciones. Bots sociales, ¡el próximo hito!
A partir de hoy, los humanos están un paso más cerca de los robots que ayudan con las tareas domésticas.
Meta anunció Hábitat 3.0 con el objetivo de desarrollar un agente de IA social, lo que significa que los robots de inteligencia social han entrado en un nuevo hito.
La clave detrás de estas inteligencias incorporadas es, por supuesto, AI Agent. Con ellos, los robots pueden colaborar con los humanos y ayudarlos a completar las tareas diarias.
Dirección del papel:
Dirección del proyecto:
De hecho, Meta anunció hoy tres importantes novedades al mismo tiempo:
**1. Habitat 3.0 es el primer simulador que admite el entrenamiento a gran escala en tareas de interacción hombre-máquina en entornos interiores diversos y realistas. **
Es compatible tanto con robots como con avatares humanoides, lo que permite que los humanos y los robots colaboren en un entorno doméstico, como ayudar a limpiar una habitación.
**2. El Habitat Synthetic Scene Dataset (HSSD-200) es un conjunto de datos tridimensional creado por artistas que contiene más de 18.000 objetos en 466 categorías semánticas en 211 escenas. **
HSSD-200 tiene la más alta calidad en conjuntos de datos similares, puede entrenar agentes de navegación y tiene un muy buen efecto de generalización en escenas de reconstrucción tridimensional en el mundo físico, y el número de escenas utilizadas es dos órdenes de magnitud menor.
**3. HomeRobot es una plataforma de hardware y software muy asequible para asistentes robóticos domésticos, que permite a los robots realizar tareas de vocabulario abiertas en entornos simulados y físicos. **
En el aprendizaje a gran escala, Habitat 3.0 puede completar más de 1.000 pasos por segundo en una sola GPU.
Internauta: ¿Cuándo saldrá el robot capaz de hacer las tareas domésticas?
Los internautas dijeron: Este es un gran salto en la robótica.
También hay gente que suspira: este es un juego de Los Sims muy avanzado.
Algunas personas ya están ansiosas por experimentar Hábitat 3.0 en Meta Quest VR.
Los robots de asistencia de limpieza de ensueño no deberían estar muy lejos.
Hábitat 3.0
Con Habitat 3.0, Meta no solo proporciona una simulación realista de los humanos en apariencia y postura.
También admite varios tipos de acciones, desde simples (como caminar y saludar) hasta complejas (como interactuar con objetos), y es compatible con la captura de movimiento.
Además, el avatar se puede controlar mediante programación sin degradación del rendimiento: la velocidad de simulación hombre-máquina es similar a la velocidad de simulación robot-robot.
### ** Personas al tanto**
Otra característica clave de Hábitat 3.0 es el "humano en el bucle".
Con un ratón, un teclado o una realidad virtual, podemos lograr un control asombroso de la interacción humano-computadora.
Después de completar la tarea, el sistema recopila la estrategia y los datos del robot y evalúa la interacción hombre-máquina.
Tareas sociales
Además, Hábitat 3.0 puede simular una variedad de escenarios sociales del mundo real.
En una tarea conocida como navegación social, por ejemplo, los robots necesitan encontrar y seguir a los humanos mientras se mantienen a salvo.
En otra tarea, los robots necesitan trabajar con humanos para completar tareas como ordenar una habitación.
En este punto, los humanos y los robots deben ir a la ubicación objetivo por separado, y el robot debe encontrar una manera de lograr este objetivo con los humanos de la manera más eficiente posible.
¡Robots entrenados que pueden lograr una variedad de comportamientos sociales!
Además de mantener una distancia segura de los humanos, los robots también retrocederán cuando sea necesario, dejando espacio para que los humanos caminen.
Permite que los agentes de IA interactúen con los humanos en el mundo real
En el pasado, cuando pensábamos en asistentes de IA, solíamos pensar en chatbots basados en la web, o altavoces inteligentes.
Los investigadores de Meta esperan implementar agentes de IA incorporados con inteligencia general, para que puedan sentir el entorno, comunicarse y ayudar a los humanos en los mundos digital y físico.
Una de las visiones es fabricar auriculares de realidad aumentada portátiles para todo el día para uso humano.
Además, los investigadores están mejorando la tecnología detrás de los robots inteligentes sociales, lo que les permite ayudar a los humanos con las tareas domésticas y adaptarse a las preferencias individualizadas de los humanos para los requisitos de sus parejas.
El trabajo se centra en la investigación en profundidad de los sistemas integrados para mejorar la próxima generación de experiencias de RA y RV.
Sin embargo, entrenar y probar agentes de IA incorporados con personas reales en hardware físico, ya sean robots o gafas de realidad aumentada, tiene algunas limitaciones de escalabilidad y puede tener problemas de seguridad.
Para ello es necesario establecer procedimientos normalizados de evaluación comparativa.
Por lo tanto, los investigadores de Meta han desarrollado un nuevo conjunto de herramientas para la investigación de robots en simuladores y conjuntos de datos.
También han desarrollado una pila de tecnología que incluye hardware y software para hacer que este aspecto de la investigación sea más fácil y asequible.
Para mejorar rápidamente las capacidades del robot, los investigadores desarrollan y prueban nuevos algoritmos y modelos en simuladores y luego los trasladan a robots físicos.
A lo largo de los años, Habitat Simulator ha logrado muchos avances significativos.
Los robots virtuales entrenados en Hábitat 1.0 pueden navegar por escaneos 3D de las casas del mundo físico a velocidades de más de 10.000 pasos por segundo (SPS).
Hábitat 2.0 introduce entornos interactivos (por ejemplo, objetos para recoger, cajones que se pueden abrir) y entrena a robots virtuales para limpiar casas reorganizando objetos.
Habitat 3.0 va un paso más allá y puede admitir tanto robots como avatares humanoides, lo que permite la colaboración entre humanos y máquinas para completar tareas cotidianas, como ordenar la sala de estar y preparar recetas en la cocina.
Esto abre nuevas vías para estudiar la colaboración entre humanos y robots en tareas diversas, realistas, visuales y semánticamente ricas.
Además, Habitat 3.0 admite avatares humanoides con apariencia realista, marcha natural y movimientos, que pueden simular interacciones realistas de bajo y alto nivel.
Estos avatares pueden ser controlados por estrategias aprendidas o por personas reales a través de la interfaz "human-in-the-loop".
Esta interfaz es compatible con teclados, ratones y auriculares de realidad virtual.
La coexistencia de humanos y robots en entornos simulados permite a los humanos aprender estrategias robóticas de IA, completar tareas diarias y evaluarlas por primera vez en un entorno familiar, en presencia de avatares humanoides.
Esto es, sin duda, de gran importancia:
Los algoritmos de aprendizaje por refuerzo suelen requerir millones de iteraciones para aprender conocimientos significativos, por lo que puede llevar años realizar estos experimentos en el mundo físico.
En un experimento de simulación, se puede hacer en unos pocos días.
2. La recopilación de datos en diferentes casas del mundo físico no es práctica, ya que esto requiere mover el robot a diferentes lugares y también configurar el entorno.
En la simulación, puede cambiar el entorno en una fracción de segundo e inmediatamente comenzar a experimentar en un nuevo entorno.
Si el modelo no está bien entrenado, el robot tiene el potencial de dañar el medio ambiente o dañar a las personas en el mundo físico.
Los simuladores permiten a los investigadores probar métodos en un entorno seguro antes de implementarlos en el mundo físico, lo que garantiza la seguridad.
Los modelos de IA más avanzados de hoy en día requieren grandes cantidades de datos para entrenarse, y las simulaciones facilitan a los investigadores la ampliación de la recopilación de datos.
En el mundo físico, la recopilación de datos puede ser bastante costosa y lenta.
Además, los investigadores proponen dos tareas muy relevantes y un conjunto de puntos de referencia para establecer puntos de referencia en el campo de la IA social encarnada.
La primera tarea es el "orden social", que implica que robots y avatares humanoides trabajen juntos para realizar una serie de tareas de recogida y colocación, como limpiar casas.
En esta tarea, los robots y los humanos deben actuar en conjunto para lograr un objetivo común. Este comportamiento inteligente se produce después de un entrenamiento de simulación a gran escala.
La segunda tarea es la "navegación social", que permite al robot localizar y rastrear a una persona mientras mantiene una distancia segura.
Conjunto de datos de escena de composición de hábitats
Los conjuntos de datos de escenas 3D son esenciales para entrenar robots en un entorno simulado.
Actualmente, aunque hay muchos conjuntos de datos que admiten el escalado de datos de entrenamiento, no comprendemos el equilibrio entre el tamaño del conjunto de datos y la autenticidad.
Con este fin, Meta ha lanzado un nuevo conjunto de datos de escenas 3D sintéticas: HSSD-200.
Consta de 211 escenas 3D de alta calidad que representan el entorno interior real, incluidos 18.656 modelos de objetos físicos del mundo de 466 categorías semánticas. Más cerca de la física real que los conjuntos de datos anteriores.
Específicamente, HSSD-200 proporciona escenas interiores en 3D de mayor calidad, totalmente elaboradas artificialmente, e incluye una clasificación semántica de grano fino correspondiente a la ontología de WordNet.
Además, la función de compresión de activos del HSSD-200 permite una simulación de IA de alto rendimiento.
En cuanto a las escenas, el HSSD-200 está hecho utilizando la interfaz de diseño de interiores Floorplanner, y el diseño es principalmente una reproducción de la casa real.
Entre ellos, los objetos individuales son creados por artistas 3D profesionales, en la mayoría de los casos a juego con muebles y electrodomésticos reales.
Los experimentos han demostrado que el conjunto de datos HSSD-200, más pequeño pero de mayor calidad, puede generar agentes objectNav con objetos como objetivos de navegación, y su rendimiento es comparable al de los agentes entrenados en conjuntos de datos más grandes.
Además, el número de escenarios necesarios para entrenar a un agente en HSSD-200 es 2 órdenes de magnitud menor:
En comparación con los agentes entrenados con 10.000 escenarios de ProcTHOR, los agentes entrenados con 122 escenarios HSSD-200 generalizan mejor a los escenarios del mundo físico HM3DSem.
RobotHogar
Las plataformas comunes y compartidas son una parte importante de los avances del aprendizaje automático, pero en robótica faltan plataformas similares porque es difícil replicar y escalar los logros del hardware.
En este sentido, Meta propone tres objetivos para una plataforma de investigación robótica reproducible:
- Una inspiradora Estrella Polar:
La plataforma debe proporcionar misiones guiadas de la Estrella Polar para motivar a los investigadores y ayudarlos en su trabajo. Entre ellos, también pueden comparar varios métodos sobre problemas interesantes del mundo real.
Por ejemplo, "Open Word Movement Manipulation (OVMM)": recoger objetos en cualquier entorno desconocido y colocarlos en un lugar designado. Esto requiere una percepción muy fuerte a largo plazo y una comprensión de la escena, y es útil para una amplia gama de tareas.
- Capacidades de software:
La plataforma debe proporcionar una interfaz de abstracción para que el robot sea más fácil de usar para una variedad de tareas, incluida la navegación y la manipulación.
-Comunidad:
La plataforma debe alentar a los desarrolladores a involucrarse y tratar de construir una comunidad en torno al código base.
Para avanzar en la investigación en esta área, Meta ha lanzado una nueva biblioteca HomeRobot que permite la compatibilidad con las funciones de navegación y manipulación de Hello Robot Stretch.
Dirección del proyecto:
En concreto, HomeRobot tiene dos componentes:
Componentes de simulación: para utilizar un conjunto grande y diverso de objetos en entornos domésticos nuevos y de alta calidad de varias habitaciones;
Componentes del mundo físico: Proporciona pilas de software para los productos de bajo costo Hello Robot Stretch y Boston Dynamics para fomentar la replicación de experimentos del mundo físico en los laboratorios.
Además, HomeRobot proporciona una pila de software muy amigable, lo que permite a los usuarios configurar rápidamente el robot y probarlo de inmediato. Las características incluyen:
-Portabilidad:
Existe un estado unificado y un espacio de acción entre la configuración del mundo de simulación y física para cada tarea, lo que proporciona una manera fácil de operar el robot utilizando un espacio de movimiento de alto nivel (como una estrategia de agarre preestablecida) o un control conjunto continuo de bajo nivel.
-Modularización:
El componente de percepción y acción admite estados de alto nivel (por ejemplo, mapas semánticos, nubes de puntos segmentadas) y acciones de alto nivel (por ejemplo, ir a una ubicación de destino, recoger un objeto de destino).
- Agente base:
Otros equipos pueden desarrollar estrategias para usar estas capacidades para proporcionar la funcionalidad básica de OVMM, así como herramientas para crear agentes más complejos.
En el punto de referencia HomeRobot OVMM, un agente puede tomar elementos novedosos en el entorno doméstico y colocarlos en un contenedor de destino.
Entre ellas, Meta utiliza el aprendizaje por refuerzo y las líneas de base heurísticas (basadas en modelos) para demostrar que las habilidades de navegación y colocación pueden transferirse de la simulación al mundo físico. Los resultados muestran que la línea de base puede alcanzar una tasa de éxito del 20% en el mundo físico.
Recursos:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Actualización pesada de Meta, ¡Xiaoza tiene un perro que puede hacer las tareas domésticas en el metaverso! Los avatares humanoides son ultrarrealistas y los agentes de IA interactúan con las personas en el mundo físico real
Fuente: Shin Zhiyuan
Hoy, Meta lanzó Habitat 3.0, un agente de IA entrenado por ella que ha aprendido a encontrar personas y ayudar a las personas a limpiar habitaciones. Bots sociales, ¡el próximo hito!
A partir de hoy, los humanos están un paso más cerca de los robots que ayudan con las tareas domésticas.
Dirección del proyecto:
De hecho, Meta anunció hoy tres importantes novedades al mismo tiempo:
**1. Habitat 3.0 es el primer simulador que admite el entrenamiento a gran escala en tareas de interacción hombre-máquina en entornos interiores diversos y realistas. **
Es compatible tanto con robots como con avatares humanoides, lo que permite que los humanos y los robots colaboren en un entorno doméstico, como ayudar a limpiar una habitación.
HSSD-200 tiene la más alta calidad en conjuntos de datos similares, puede entrenar agentes de navegación y tiene un muy buen efecto de generalización en escenas de reconstrucción tridimensional en el mundo físico, y el número de escenas utilizadas es dos órdenes de magnitud menor.
En el aprendizaje a gran escala, Habitat 3.0 puede completar más de 1.000 pasos por segundo en una sola GPU.
Internauta: ¿Cuándo saldrá el robot capaz de hacer las tareas domésticas?
Los internautas dijeron: Este es un gran salto en la robótica.
Hábitat 3.0
Con Habitat 3.0, Meta no solo proporciona una simulación realista de los humanos en apariencia y postura.
Otra característica clave de Hábitat 3.0 es el "humano en el bucle".
Tareas sociales
Además, Hábitat 3.0 puede simular una variedad de escenarios sociales del mundo real.
En una tarea conocida como navegación social, por ejemplo, los robots necesitan encontrar y seguir a los humanos mientras se mantienen a salvo.
En este punto, los humanos y los robots deben ir a la ubicación objetivo por separado, y el robot debe encontrar una manera de lograr este objetivo con los humanos de la manera más eficiente posible.
Además de mantener una distancia segura de los humanos, los robots también retrocederán cuando sea necesario, dejando espacio para que los humanos caminen.
Permite que los agentes de IA interactúen con los humanos en el mundo real
En el pasado, cuando pensábamos en asistentes de IA, solíamos pensar en chatbots basados en la web, o altavoces inteligentes.
Los investigadores de Meta esperan implementar agentes de IA incorporados con inteligencia general, para que puedan sentir el entorno, comunicarse y ayudar a los humanos en los mundos digital y físico.
Una de las visiones es fabricar auriculares de realidad aumentada portátiles para todo el día para uso humano.
Además, los investigadores están mejorando la tecnología detrás de los robots inteligentes sociales, lo que les permite ayudar a los humanos con las tareas domésticas y adaptarse a las preferencias individualizadas de los humanos para los requisitos de sus parejas.
El trabajo se centra en la investigación en profundidad de los sistemas integrados para mejorar la próxima generación de experiencias de RA y RV.
Para ello es necesario establecer procedimientos normalizados de evaluación comparativa.
Por lo tanto, los investigadores de Meta han desarrollado un nuevo conjunto de herramientas para la investigación de robots en simuladores y conjuntos de datos.
También han desarrollado una pila de tecnología que incluye hardware y software para hacer que este aspecto de la investigación sea más fácil y asequible.
Para mejorar rápidamente las capacidades del robot, los investigadores desarrollan y prueban nuevos algoritmos y modelos en simuladores y luego los trasladan a robots físicos.
A lo largo de los años, Habitat Simulator ha logrado muchos avances significativos.
Hábitat 2.0 introduce entornos interactivos (por ejemplo, objetos para recoger, cajones que se pueden abrir) y entrena a robots virtuales para limpiar casas reorganizando objetos.
Habitat 3.0 va un paso más allá y puede admitir tanto robots como avatares humanoides, lo que permite la colaboración entre humanos y máquinas para completar tareas cotidianas, como ordenar la sala de estar y preparar recetas en la cocina.
Esto abre nuevas vías para estudiar la colaboración entre humanos y robots en tareas diversas, realistas, visuales y semánticamente ricas.
Además, Habitat 3.0 admite avatares humanoides con apariencia realista, marcha natural y movimientos, que pueden simular interacciones realistas de bajo y alto nivel.
Esta interfaz es compatible con teclados, ratones y auriculares de realidad virtual.
La coexistencia de humanos y robots en entornos simulados permite a los humanos aprender estrategias robóticas de IA, completar tareas diarias y evaluarlas por primera vez en un entorno familiar, en presencia de avatares humanoides.
Esto es, sin duda, de gran importancia:
En un experimento de simulación, se puede hacer en unos pocos días.
En la simulación, puede cambiar el entorno en una fracción de segundo e inmediatamente comenzar a experimentar en un nuevo entorno.
Los simuladores permiten a los investigadores probar métodos en un entorno seguro antes de implementarlos en el mundo físico, lo que garantiza la seguridad.
En el mundo físico, la recopilación de datos puede ser bastante costosa y lenta.
La primera tarea es el "orden social", que implica que robots y avatares humanoides trabajen juntos para realizar una serie de tareas de recogida y colocación, como limpiar casas.
En esta tarea, los robots y los humanos deben actuar en conjunto para lograr un objetivo común. Este comportamiento inteligente se produce después de un entrenamiento de simulación a gran escala.
La segunda tarea es la "navegación social", que permite al robot localizar y rastrear a una persona mientras mantiene una distancia segura.
Conjunto de datos de escena de composición de hábitats
Los conjuntos de datos de escenas 3D son esenciales para entrenar robots en un entorno simulado.
Actualmente, aunque hay muchos conjuntos de datos que admiten el escalado de datos de entrenamiento, no comprendemos el equilibrio entre el tamaño del conjunto de datos y la autenticidad.
Con este fin, Meta ha lanzado un nuevo conjunto de datos de escenas 3D sintéticas: HSSD-200.
Consta de 211 escenas 3D de alta calidad que representan el entorno interior real, incluidos 18.656 modelos de objetos físicos del mundo de 466 categorías semánticas. Más cerca de la física real que los conjuntos de datos anteriores.
Además, la función de compresión de activos del HSSD-200 permite una simulación de IA de alto rendimiento.
Entre ellos, los objetos individuales son creados por artistas 3D profesionales, en la mayoría de los casos a juego con muebles y electrodomésticos reales.
Además, el número de escenarios necesarios para entrenar a un agente en HSSD-200 es 2 órdenes de magnitud menor:
En comparación con los agentes entrenados con 10.000 escenarios de ProcTHOR, los agentes entrenados con 122 escenarios HSSD-200 generalizan mejor a los escenarios del mundo físico HM3DSem.
RobotHogar
Las plataformas comunes y compartidas son una parte importante de los avances del aprendizaje automático, pero en robótica faltan plataformas similares porque es difícil replicar y escalar los logros del hardware.
En este sentido, Meta propone tres objetivos para una plataforma de investigación robótica reproducible:
- Una inspiradora Estrella Polar:
La plataforma debe proporcionar misiones guiadas de la Estrella Polar para motivar a los investigadores y ayudarlos en su trabajo. Entre ellos, también pueden comparar varios métodos sobre problemas interesantes del mundo real.
Por ejemplo, "Open Word Movement Manipulation (OVMM)": recoger objetos en cualquier entorno desconocido y colocarlos en un lugar designado. Esto requiere una percepción muy fuerte a largo plazo y una comprensión de la escena, y es útil para una amplia gama de tareas.
La plataforma debe proporcionar una interfaz de abstracción para que el robot sea más fácil de usar para una variedad de tareas, incluida la navegación y la manipulación.
-Comunidad:
La plataforma debe alentar a los desarrolladores a involucrarse y tratar de construir una comunidad en torno al código base.
Para avanzar en la investigación en esta área, Meta ha lanzado una nueva biblioteca HomeRobot que permite la compatibilidad con las funciones de navegación y manipulación de Hello Robot Stretch.
En concreto, HomeRobot tiene dos componentes:
Componentes de simulación: para utilizar un conjunto grande y diverso de objetos en entornos domésticos nuevos y de alta calidad de varias habitaciones;
Componentes del mundo físico: Proporciona pilas de software para los productos de bajo costo Hello Robot Stretch y Boston Dynamics para fomentar la replicación de experimentos del mundo físico en los laboratorios.
-Portabilidad:
Existe un estado unificado y un espacio de acción entre la configuración del mundo de simulación y física para cada tarea, lo que proporciona una manera fácil de operar el robot utilizando un espacio de movimiento de alto nivel (como una estrategia de agarre preestablecida) o un control conjunto continuo de bajo nivel.
-Modularización:
El componente de percepción y acción admite estados de alto nivel (por ejemplo, mapas semánticos, nubes de puntos segmentadas) y acciones de alto nivel (por ejemplo, ir a una ubicación de destino, recoger un objeto de destino).
- Agente base:
Otros equipos pueden desarrollar estrategias para usar estas capacidades para proporcionar la funcionalidad básica de OVMM, así como herramientas para crear agentes más complejos.
Entre ellas, Meta utiliza el aprendizaje por refuerzo y las líneas de base heurísticas (basadas en modelos) para demostrar que las habilidades de navegación y colocación pueden transferirse de la simulación al mundo físico. Los resultados muestran que la línea de base puede alcanzar una tasa de éxito del 20% en el mundo físico.
Recursos: