Мета-тяжелое обновление, у Сяоцзы есть собака, которая может выполнять работу по дому в метавселенной! Гуманоидные аватары ультрареалистичны, а ИИ-агенты взаимодействуют с людьми в реальном физическом мире
Сегодня Meta выпустила Habitat 3.0 — обученный ею ИИ-агент, который научился находить людей и помогать им убирать комнаты. Социальные боты, следующая веха!
С сегодняшнего дня люди стали на шаг ближе к роботам, которые помогают по хозяйству!
Meta анонсировала Habitat 3.0 с целью разработки социального ИИ-агента, а это значит, что роботы социального интеллекта вступили в новую веху.
Ключом, стоящим за этими воплощенными интеллектами, является, конечно же, ИИ-агент. С их помощью роботы могут сотрудничать с людьми и помогать им выполнять повседневные задачи.
Адрес доклада:
Адрес проекта:
На самом деле, сегодня Meta объявила сразу о трех крупных разработках -
**1. Habitat 3.0 — это первый симулятор, поддерживающий крупномасштабное обучение задачам взаимодействия человека и машины в разнообразных, реалистичных помещениях. **
Он поддерживает как роботов, так и гуманоидные аватары, позволяя людям и роботам сотрудничать в домашней обстановке, например, помогать убирать комнату.
**2. HSSD-200 — это трехмерный набор данных, созданный художниками, который содержит более 18 000 объектов в 466 семантических категориях в 211 сценах. **
HSSD-200 имеет высочайшее качество в аналогичных наборах данных, может обучать навигационных агентов и обладает очень хорошим обобщающим эффектом на трехмерных реконструкциях сцен в физическом мире, а количество используемых сцен на два порядка меньше.
**3. HomeRobot — это очень доступная аппаратно-программная платформа для домашних роботов-помощников, позволяющая роботам выполнять открытые словарные задачи в смоделированных и физических средах. **
При крупномасштабном обучении Habitat 3.0 может выполнять более 1000 шагов в секунду на одном графическом процессоре.
Пользователи сети: Когда появится робот, способный работать по дому
Пользователи сети заявили: «Это большой скачок в робототехнике.
Есть и такие, кто вздыхает: это очень продвинутая игра Sims.
Некоторые люди уже с нетерпением ждут возможности опробовать Habitat 3.0 в Meta Quest VR.
Мечтайте, роботы-помощники по дому не должны быть далеко.
Среда обитания 3.0
В Habitat 3.0 Meta не только обеспечивает реалистичную симуляцию внешнего вида и осанки людей.
Он также поддерживает различные типы действий, от простых (например, ходьба и махание руками) до сложных (например, взаимодействие с объектами), и совместим с захватом движения.
Кроме того, аватаром можно управлять программно без снижения производительности — скорость симуляции человек-машина аналогична скорости симуляции робот-робот.
### ** Люди в курсе**
Еще одна ключевая особенность Habitat 3.0 — «человек в петле».
С помощью мыши, клавиатуры или виртуальной реальности мы можем добиться удивительного управления взаимодействием человека и компьютера.
После выполнения задачи система собирает стратегию и данные робота, а также оценивает взаимодействие человека и машины.
Социальные задачи
Кроме того, Habitat 3.0 может моделировать различные реальные социальные сценарии.
Например, в задаче, известной как социальная навигация, роботы должны находить людей и следовать за ними, оставаясь при этом в безопасности.
В другой задаче роботы должны работать с людьми для выполнения таких задач, как уборка в комнате.
В этот момент люди и роботы должны отправиться в целевую локацию отдельно, и робот должен найти способ достичь этой цели с людьми максимально эффективно.
Обученные роботы, способные к разнообразному социальному поведению!
В дополнение к тому, что роботы держатся на безопасном расстоянии от людей, они также отступают, когда это необходимо, оставляя место для ходьбы.
Пусть ИИ-агенты взаимодействуют с людьми в реальном мире
В прошлом, когда мы думали об ИИ-помощниках, мы обычно думали о веб-чат-ботах или умных колонках.
Исследователи Meta надеялись внедрить воплощенных агентов искусственного интеллекта с общим интеллектом, чтобы они могли чувствовать окружающую среду, общаться и помогать людям в цифровом и физическом мирах.
Одно из видений состоит в том, чтобы сделать носимые в течение всего дня гарнитуры дополненной реальности для использования человеком.
Кроме того, исследователи совершенствуют технологию, лежащую в основе роботов с социальным интеллектом, позволяя им помогать людям по дому и адаптироваться к индивидуальным предпочтениям людей в соответствии с требованиями своих партнеров.
Работа сосредоточена на углубленном исследовании встраиваемых систем, чтобы сделать следующее поколение AR и VR лучше.
Однако обучение и тестирование воплощенных агентов ИИ с реальными людьми на физическом оборудовании, будь то роботы или очки дополненной реальности, имеет некоторые ограничения масштабируемости и может иметь проблемы с безопасностью.
Для этого необходимо разработать стандартизированные процедуры сравнительного анализа.
Поэтому исследователи Meta разработали новый набор инструментов для исследования роботов в симуляторах и наборах данных.
Они также разработали стек технологий, который включает в себя аппаратное и программное обеспечение, чтобы сделать этот аспект исследований проще и доступнее.
Чтобы быстро улучшить возможности робота, исследователи разрабатывают и тестируют новые алгоритмы и модели на симуляторах, а затем портируют их на физических роботов.
За прошедшие годы Habitat Simulator добилась многих значительных успехов.
Виртуальные роботы, обученные в Habitat 1.0, могут перемещаться по 3D-сканам домов физического мира со скоростью более 10 000 шагов в секунду (SPS).
Среда обитания 2.0 вводит интерактивную среду (например, предметы, которые нужно поднять, ящики, которые можно открыть) и обучает виртуальных роботов убирать дома, переставляя предметы.
Habitat 3.0 делает еще один шаг вперед и может поддерживать как роботов, так и гуманоидные аватары, обеспечивая сотрудничество человека и машины для выполнения повседневных задач, таких как уборка гостиной и приготовление рецептов на кухне.
Это открывает новые возможности для изучения взаимодействия человека и робота в разнообразных, реалистичных, визуальных и семантически насыщенных задачах.
Кроме того, Habitat 3.0 поддерживает гуманоидные аватары с реалистичным внешним видом, естественной походкой и движениями, которые могут имитировать реалистичные низкоуровневые и высокоуровневые взаимодействия.
Этими аватарами можно управлять либо с помощью изученных стратегий, либо с помощью реальных людей через интерфейс «человек-в-петле».
Этот интерфейс поддерживает клавиатуры, мыши и VR-гарнитуры.
Сосуществование людей и роботов в смоделированных средах позволяет людям изучать стратегии роботизированного ИИ, выполнять повседневные задачи и впервые оценивать их в семейной среде, в присутствии гуманоидных аватаров.
Это, несомненно, имеет большое значение -
Алгоритмы обучения с подкреплением обычно требуют миллионов итераций для получения значимых знаний, поэтому на проведение этих экспериментов в физическом мире могут уйти годы.
В имитационном эксперименте это можно сделать за несколько дней.
2. Сбор данных в разных домах в физическом мире непрактичен, так как для этого требуется перемещать робота в разные места, а также настраивать окружение.
В симуляции вы можете изменить окружение за доли секунды и сразу же начать экспериментировать в новой среде.
Если модель не обучена должным образом, робот может нанести ущерб окружающей среде или людям в физическом мире.
Симуляторы позволяют исследователям тестировать методы в безопасной среде перед их развертыванием в физическом мире, что обеспечивает безопасность.
Самые продвинутые модели ИИ на сегодняшний день требуют больших объемов данных для обучения, а моделирование позволяет исследователям легко масштабировать сбор данных.
В физическом мире сбор данных может быть довольно дорогим и медленным.
Кроме того, исследователи предлагают две весьма актуальные задачи и набор бенчмарков для установления бенчмарков в области социального воплощенного ИИ.
Первая задача — «социальная уборка», которая включает в себя роботов и гуманоидных аватаров, работающих вместе для выполнения ряда задач, таких как уборка домов.
В этой задаче роботы и люди должны действовать сообща для достижения общей цели. Такое интеллектуальное поведение возникает после крупномасштабного симуляционного обучения.
Вторая задача — «социальная навигация», которая позволяет роботу находить и отслеживать человека, сохраняя при этом безопасную дистанцию.
Набор данных сцены для композитинга среды обитания
Наборы данных 3D-сцен необходимы для обучения роботов в смоделированной среде.
В настоящее время, несмотря на то, что существует множество наборов данных, поддерживающих масштабирование обучающих данных, мы не понимаем компромисса между размером набора данных и его подлинностью.
С этой целью Meta запустила новый синтетический 3D-набор данных сцен - HSSD-200.
Он состоит из 211 высококачественных 3D-сцен, представляющих реальную внутреннюю среду, в том числе 18 656 моделей объектов физического мира из 466 семантических категорий. Ближе к реальной физике, чем предыдущие наборы данных.
В частности, HSSD-200 обеспечивает более высокое качество, полностью искусственно созданные 3D-интерьерные сцены и включает в себя детальную семантическую классификацию, соответствующую онтологии WordNet.
Кроме того, функция сжатия активов HSSD-200 обеспечивает высокопроизводительное моделирование с помощью искусственного интеллекта.
Что касается сцен, HSSD-200 выполнен с использованием интерфейса дизайна интерьера Floorplanner, а планировка в основном представляет собой воспроизведение реального дома.
Среди них профессиональные 3D-художники создают отдельные объекты, в большинстве случаев сочетающиеся с реальной мебелью и техникой.
Эксперименты показали, что меньший, но более качественный набор данных HSSD-200 может генерировать агентов objectNav с объектами в качестве целей навигации, и его производительность сравнима с производительностью агентов, обученных на больших наборах данных.
Более того, количество сценариев, необходимых для обучения агента на HSSD-200, на 2 порядка меньше -
По сравнению с агентами, обученными на 10 000 сценариях ProcTHOR, агенты, обученные на 122 сценариях HSSD-200, лучше обобщаются на сценарии физического мира HM3DSem.
ДомашнийРобот
Обычные, совместно используемые платформы являются важной частью достижений машинного обучения, но в робототехнике подобных платформ не хватает, потому что трудно воспроизвести и масштабировать аппаратные достижения.
В связи с этим Meta предлагает три цели для воспроизводимой исследовательской платформы робототехники:
- Вдохновляющая полярная звезда:
Платформа должна обеспечивать управляемые миссии «Полярная звезда», чтобы мотивировать исследователей и помогать им в их работе. Среди них также можно сравнить различные методы решения интересных реальных задач.
Например, «Манипуляция движением открытого слова (OVMM)» – подбирание предметов в любой незнакомой обстановке и размещение их в назначенном месте. Это требует очень сильного долгосрочного восприятия и понимания сцены и полезно для широкого круга задач.
- Возможности программного обеспечения:
Платформа должна предоставлять некоторый интерфейс абстракции, чтобы робота было проще использовать для различных задач, включая навигацию и манипуляции.
-Сообщество:
Платформа должна поощрять разработчиков к участию и пытаться создать сообщество вокруг кодовой базы.
Для продвижения исследований в этой области Meta запустила новую библиотеку HomeRobot, которая обеспечивает поддержку функций навигации и манипуляций Hello Robot Stretch.
Адрес проекта:
В частности, HomeRobot состоит из двух компонентов:
Компоненты симуляции: использовать большой и разнообразный набор объектов в новых, высококачественных многокомнатных домашних условиях;
Компоненты физического мира: Предоставляет программные стеки для недорогих продуктов Hello Robot Stretch и Boston Dynamics для поощрения тиражирования экспериментов в физическом мире в лабораториях.
Кроме того, HomeRobot предоставляет очень удобный программный стек, позволяющий пользователям быстро настроить робота и сразу же протестировать его. Особенности включают в себя:
-Портативность:
Для каждой задачи существует единое пространство состояний и действий между настройками симуляции и мира физики, что обеспечивает простой способ управления роботом с использованием высокоуровневого пространства движения (например, предустановленной стратегии захвата) или низкоуровневого непрерывного управления суставом.
-Модульность:
Компонент восприятия и действия поддерживает высокоуровневые состояния (например, семантические карты, сегментированные облака точек) и высокоуровневые действия (например, переход к целевому местоположению, захват целевого объекта).
- Базовый агент:
Стратегии использования этих возможностей для обеспечения базовой функциональности OVMM, а также инструменты для создания более сложных агентов могут быть разработаны другими командами.
В тесте производительности HomeRobot OVMM агент может захватывать новые предметы в домашней обстановке и помещать их в целевой контейнер или в него.
Среди них Meta использует обучение с подкреплением и эвристические (основанные на модели) базовые линии, чтобы показать, что навыки навигации и размещения могут быть перенесены из симуляции в физический мир. Результаты показывают, что базовый уровень может достигать 20% успеха в физическом мире.
Ресурсы:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Мета-тяжелое обновление, у Сяоцзы есть собака, которая может выполнять работу по дому в метавселенной! Гуманоидные аватары ультрареалистичны, а ИИ-агенты взаимодействуют с людьми в реальном физическом мире
Источник: Шинь Чжиюань
Сегодня Meta выпустила Habitat 3.0 — обученный ею ИИ-агент, который научился находить людей и помогать им убирать комнаты. Социальные боты, следующая веха!
С сегодняшнего дня люди стали на шаг ближе к роботам, которые помогают по хозяйству!
Адрес проекта:
На самом деле, сегодня Meta объявила сразу о трех крупных разработках -
**1. Habitat 3.0 — это первый симулятор, поддерживающий крупномасштабное обучение задачам взаимодействия человека и машины в разнообразных, реалистичных помещениях. **
Он поддерживает как роботов, так и гуманоидные аватары, позволяя людям и роботам сотрудничать в домашней обстановке, например, помогать убирать комнату.
HSSD-200 имеет высочайшее качество в аналогичных наборах данных, может обучать навигационных агентов и обладает очень хорошим обобщающим эффектом на трехмерных реконструкциях сцен в физическом мире, а количество используемых сцен на два порядка меньше.
При крупномасштабном обучении Habitat 3.0 может выполнять более 1000 шагов в секунду на одном графическом процессоре.
Пользователи сети: Когда появится робот, способный работать по дому
Пользователи сети заявили: «Это большой скачок в робототехнике.
Среда обитания 3.0
В Habitat 3.0 Meta не только обеспечивает реалистичную симуляцию внешнего вида и осанки людей.
Еще одна ключевая особенность Habitat 3.0 — «человек в петле».
Социальные задачи
Кроме того, Habitat 3.0 может моделировать различные реальные социальные сценарии.
Например, в задаче, известной как социальная навигация, роботы должны находить людей и следовать за ними, оставаясь при этом в безопасности.
В этот момент люди и роботы должны отправиться в целевую локацию отдельно, и робот должен найти способ достичь этой цели с людьми максимально эффективно.
В дополнение к тому, что роботы держатся на безопасном расстоянии от людей, они также отступают, когда это необходимо, оставляя место для ходьбы.
Пусть ИИ-агенты взаимодействуют с людьми в реальном мире
В прошлом, когда мы думали об ИИ-помощниках, мы обычно думали о веб-чат-ботах или умных колонках.
Исследователи Meta надеялись внедрить воплощенных агентов искусственного интеллекта с общим интеллектом, чтобы они могли чувствовать окружающую среду, общаться и помогать людям в цифровом и физическом мирах.
Одно из видений состоит в том, чтобы сделать носимые в течение всего дня гарнитуры дополненной реальности для использования человеком.
Кроме того, исследователи совершенствуют технологию, лежащую в основе роботов с социальным интеллектом, позволяя им помогать людям по дому и адаптироваться к индивидуальным предпочтениям людей в соответствии с требованиями своих партнеров.
Работа сосредоточена на углубленном исследовании встраиваемых систем, чтобы сделать следующее поколение AR и VR лучше.
Для этого необходимо разработать стандартизированные процедуры сравнительного анализа.
Поэтому исследователи Meta разработали новый набор инструментов для исследования роботов в симуляторах и наборах данных.
Они также разработали стек технологий, который включает в себя аппаратное и программное обеспечение, чтобы сделать этот аспект исследований проще и доступнее.
Чтобы быстро улучшить возможности робота, исследователи разрабатывают и тестируют новые алгоритмы и модели на симуляторах, а затем портируют их на физических роботов.
За прошедшие годы Habitat Simulator добилась многих значительных успехов.
Среда обитания 2.0 вводит интерактивную среду (например, предметы, которые нужно поднять, ящики, которые можно открыть) и обучает виртуальных роботов убирать дома, переставляя предметы.
Habitat 3.0 делает еще один шаг вперед и может поддерживать как роботов, так и гуманоидные аватары, обеспечивая сотрудничество человека и машины для выполнения повседневных задач, таких как уборка гостиной и приготовление рецептов на кухне.
Это открывает новые возможности для изучения взаимодействия человека и робота в разнообразных, реалистичных, визуальных и семантически насыщенных задачах.
Кроме того, Habitat 3.0 поддерживает гуманоидные аватары с реалистичным внешним видом, естественной походкой и движениями, которые могут имитировать реалистичные низкоуровневые и высокоуровневые взаимодействия.
Этот интерфейс поддерживает клавиатуры, мыши и VR-гарнитуры.
Сосуществование людей и роботов в смоделированных средах позволяет людям изучать стратегии роботизированного ИИ, выполнять повседневные задачи и впервые оценивать их в семейной среде, в присутствии гуманоидных аватаров.
Это, несомненно, имеет большое значение -
В имитационном эксперименте это можно сделать за несколько дней.
В симуляции вы можете изменить окружение за доли секунды и сразу же начать экспериментировать в новой среде.
Симуляторы позволяют исследователям тестировать методы в безопасной среде перед их развертыванием в физическом мире, что обеспечивает безопасность.
В физическом мире сбор данных может быть довольно дорогим и медленным.
Первая задача — «социальная уборка», которая включает в себя роботов и гуманоидных аватаров, работающих вместе для выполнения ряда задач, таких как уборка домов.
В этой задаче роботы и люди должны действовать сообща для достижения общей цели. Такое интеллектуальное поведение возникает после крупномасштабного симуляционного обучения.
Вторая задача — «социальная навигация», которая позволяет роботу находить и отслеживать человека, сохраняя при этом безопасную дистанцию.
Набор данных сцены для композитинга среды обитания
Наборы данных 3D-сцен необходимы для обучения роботов в смоделированной среде.
В настоящее время, несмотря на то, что существует множество наборов данных, поддерживающих масштабирование обучающих данных, мы не понимаем компромисса между размером набора данных и его подлинностью.
С этой целью Meta запустила новый синтетический 3D-набор данных сцен - HSSD-200.
Он состоит из 211 высококачественных 3D-сцен, представляющих реальную внутреннюю среду, в том числе 18 656 моделей объектов физического мира из 466 семантических категорий. Ближе к реальной физике, чем предыдущие наборы данных.
Кроме того, функция сжатия активов HSSD-200 обеспечивает высокопроизводительное моделирование с помощью искусственного интеллекта.
Среди них профессиональные 3D-художники создают отдельные объекты, в большинстве случаев сочетающиеся с реальной мебелью и техникой.
Более того, количество сценариев, необходимых для обучения агента на HSSD-200, на 2 порядка меньше -
По сравнению с агентами, обученными на 10 000 сценариях ProcTHOR, агенты, обученные на 122 сценариях HSSD-200, лучше обобщаются на сценарии физического мира HM3DSem.
ДомашнийРобот
Обычные, совместно используемые платформы являются важной частью достижений машинного обучения, но в робототехнике подобных платформ не хватает, потому что трудно воспроизвести и масштабировать аппаратные достижения.
В связи с этим Meta предлагает три цели для воспроизводимой исследовательской платформы робототехники:
- Вдохновляющая полярная звезда:
Платформа должна обеспечивать управляемые миссии «Полярная звезда», чтобы мотивировать исследователей и помогать им в их работе. Среди них также можно сравнить различные методы решения интересных реальных задач.
Например, «Манипуляция движением открытого слова (OVMM)» – подбирание предметов в любой незнакомой обстановке и размещение их в назначенном месте. Это требует очень сильного долгосрочного восприятия и понимания сцены и полезно для широкого круга задач.
Платформа должна предоставлять некоторый интерфейс абстракции, чтобы робота было проще использовать для различных задач, включая навигацию и манипуляции.
-Сообщество:
Платформа должна поощрять разработчиков к участию и пытаться создать сообщество вокруг кодовой базы.
Для продвижения исследований в этой области Meta запустила новую библиотеку HomeRobot, которая обеспечивает поддержку функций навигации и манипуляций Hello Robot Stretch.
В частности, HomeRobot состоит из двух компонентов:
Компоненты симуляции: использовать большой и разнообразный набор объектов в новых, высококачественных многокомнатных домашних условиях;
Компоненты физического мира: Предоставляет программные стеки для недорогих продуктов Hello Robot Stretch и Boston Dynamics для поощрения тиражирования экспериментов в физическом мире в лабораториях.
-Портативность:
Для каждой задачи существует единое пространство состояний и действий между настройками симуляции и мира физики, что обеспечивает простой способ управления роботом с использованием высокоуровневого пространства движения (например, предустановленной стратегии захвата) или низкоуровневого непрерывного управления суставом.
-Модульность:
Компонент восприятия и действия поддерживает высокоуровневые состояния (например, семантические карты, сегментированные облака точек) и высокоуровневые действия (например, переход к целевому местоположению, захват целевого объекта).
- Базовый агент:
Стратегии использования этих возможностей для обеспечения базовой функциональности OVMM, а также инструменты для создания более сложных агентов могут быть разработаны другими командами.
Среди них Meta использует обучение с подкреплением и эвристические (основанные на модели) базовые линии, чтобы показать, что навыки навигации и размещения могут быть перенесены из симуляции в физический мир. Результаты показывают, что базовый уровень может достигать 20% успеха в физическом мире.
Ресурсы: