27 октября Boston Dynamics, ведущий мировой разработчик робототехники, продемонстрировал на своем веб-сайте новое исследование, в котором была разработана говорящая роботизированная собака-поводырь, объединив ChatGPT, Spot и другие модели искусственного интеллекта.
Сообщается, что робот-собака может разговаривать с людьми в соответствии с текстовыми и голосовыми подсказками, а также предоставляет функцию визуального вопроса и ответа, которая может анализировать снимок, сделанный камерой, и автоматически генерировать описания изображений.
Boston Dynamics говорит, что модели с большим языком, такие как ChatGPT, продемонстрировали мощные возможности управления и вывода, которые вдохновили их на управление поведением и функциями принятия решений физических роботов. Например, ввод некоторых конкретных данных о достопримечательностях, изображений и т. д. позволяет роботу выполнять логические и организованные функции гида.
Кроме того, это также усиливает антропоморфные способности физических роботов, например, рассказывать вам холодные шутки и совершать смешные действия, которые делают вас счастливыми. Если вы используете традиционный метод волос, это будет очень сложная вещь.
Принципы технологии робота-собаки для гида
Boston Dynamics использует своего четвероногого робота собственной разработки Spot в качестве физического каркаса робота для реализации основных функций, таких как ходьба, мониторинг, навигация и сканирование.
Для того, чтобы робот-собака мог разговаривать и взаимодействовать с людьми, разработчики оснастили его динамиком Respeaker V2, кольцевым матричным микрофоном со светодиодами, который можно подключить к Spot EAP 2 через USB для передачи данных.
В качестве управляющего мозга робота-собаки использовался компьютер, который взаимодействовал с ним через Spot SDK. Для того, чтобы заставить робота-пса выполнять антропоморфные действия, такие как кивок и вытягивание шеи, используется острая рука Спота и камера-зажим.
Заставьте собаку-робота разговаривать с помощью ChatGPT
После того, как физическая аппаратная среда создана, для того, чтобы робот-собака имел функцию диалога, научно-исследовательский персонал использует GPT-3.5 и GPT-4 в сочетании с Spot SDK и выполняет простую тонкую настройку инструкций, так что робот-собака имеет функцию основного поводыря и диалога.
Далее, чтобы позволить Spot взаимодействовать с людьми и окружающей средой, интегрированы VQA и программное обеспечение для преобразования речи в текст. В то же время захватная камера робота и фронтальная нательная камера подаются в BLIP-2 и отображаются в визуальном режиме вопросов и ответов (например, «Что такого интересного в этой картинке?»). и другие простые вопросы) или режим подписи к изображению, чтобы запустить его.
Процесс запускается примерно раз в секунду, а результаты вводятся непосредственно в командную строку.
Для того, чтобы робот-собака мог реализовать функцию «слушания», разработчики вводят данные микрофона в речевую модель OpenAI Whisper в английский текст.
Для того, чтобы робот-собака мог вести разговор с человеком, ей необходимо преобразовывать человеческие голосовые команды в текст для подсказок ChatGPT, поэтому также необходим инструмент преобразования. Опробовав множество инструментов, разработчики решили использовать облачный сервис ElevenLabs.
Удивительные явления в экспериментах
В ходе многочисленных тестовых бесед разработчики обнаружили удивительное явление: робот-собака, похоже, обладает простой способностью к самостоятельному принятию решений.
Например, когда вы спрашиваете собаку-робота, кто такой Марк Райберт (исполнительный директор Boston Dynamics)? Он ответил: «Я не знаю, кто он, давайте пойдем в службу поддержки и спросим». "**
Оказавшись на стойке обслуживания, собака-робот продолжала спрашивать обслуживающий персонал, кто такой Марк Райберт?
Когда разработчики спрашивают: Кто твои родители? Собака-робот ходила по выставочным площадкам Spot V1 и Big Dog и считала этих роботов своими отцами. На самом деле, у них есть корреляция**.
Собака-робот также проявляет интересную сторону, и может активно расспрашивать прохожих, нет ли вокруг каких-либо загадочных существ.
В Boston Dynamics заявили, что продолжат оптимизировать функции продукта и в будущем. Комбинация ChatGPT и физических роботов открывает двери для физического приземления больших языковых моделей, которые могут широко использоваться в экскурсоводах, развлечениях, логистике, общении и других областях.
О компании Boston Dynamics
Boston Dynamics была основана в 1992 году, штаб-квартира находится в Бостоне, штат Массачусетс. То, что начиналось как филиал Массачусетского технологического института (MIT), переросло в самостоятельную компанию.
Boston Dynamics известна разработкой высокотехнологичных, гибких и практичных роботов, а ее продукция используется в промышленной, исследовательской и потребительской сферах, в основном репрезентативные роботы включают: BigDog, Atlas, Spot, Handle и т. Д.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Объединив ChatGPT с физическими роботами, Boston Dynamics разработала монстра!
Первоисточник: AIGC Open Community
27 октября Boston Dynamics, ведущий мировой разработчик робототехники, продемонстрировал на своем веб-сайте новое исследование, в котором была разработана говорящая роботизированная собака-поводырь, объединив ChatGPT, Spot и другие модели искусственного интеллекта.
Сообщается, что робот-собака может разговаривать с людьми в соответствии с текстовыми и голосовыми подсказками, а также предоставляет функцию визуального вопроса и ответа, которая может анализировать снимок, сделанный камерой, и автоматически генерировать описания изображений.
Boston Dynamics говорит, что модели с большим языком, такие как ChatGPT, продемонстрировали мощные возможности управления и вывода, которые вдохновили их на управление поведением и функциями принятия решений физических роботов. Например, ввод некоторых конкретных данных о достопримечательностях, изображений и т. д. позволяет роботу выполнять логические и организованные функции гида.
Кроме того, это также усиливает антропоморфные способности физических роботов, например, рассказывать вам холодные шутки и совершать смешные действия, которые делают вас счастливыми. Если вы используете традиционный метод волос, это будет очень сложная вещь.
Принципы технологии робота-собаки для гида
Boston Dynamics использует своего четвероногого робота собственной разработки Spot в качестве физического каркаса робота для реализации основных функций, таких как ходьба, мониторинг, навигация и сканирование.
В качестве управляющего мозга робота-собаки использовался компьютер, который взаимодействовал с ним через Spot SDK. Для того, чтобы заставить робота-пса выполнять антропоморфные действия, такие как кивок и вытягивание шеи, используется острая рука Спота и камера-зажим.
Заставьте собаку-робота разговаривать с помощью ChatGPT
После того, как физическая аппаратная среда создана, для того, чтобы робот-собака имел функцию диалога, научно-исследовательский персонал использует GPT-3.5 и GPT-4 в сочетании с Spot SDK и выполняет простую тонкую настройку инструкций, так что робот-собака имеет функцию основного поводыря и диалога.
Далее, чтобы позволить Spot взаимодействовать с людьми и окружающей средой, интегрированы VQA и программное обеспечение для преобразования речи в текст. В то же время захватная камера робота и фронтальная нательная камера подаются в BLIP-2 и отображаются в визуальном режиме вопросов и ответов (например, «Что такого интересного в этой картинке?»). и другие простые вопросы) или режим подписи к изображению, чтобы запустить его.
Процесс запускается примерно раз в секунду, а результаты вводятся непосредственно в командную строку.
Удивительные явления в экспериментах
В ходе многочисленных тестовых бесед разработчики обнаружили удивительное явление: робот-собака, похоже, обладает простой способностью к самостоятельному принятию решений.
Например, когда вы спрашиваете собаку-робота, кто такой Марк Райберт (исполнительный директор Boston Dynamics)? Он ответил: «Я не знаю, кто он, давайте пойдем в службу поддержки и спросим». "**
Оказавшись на стойке обслуживания, собака-робот продолжала спрашивать обслуживающий персонал, кто такой Марк Райберт?
Когда разработчики спрашивают: Кто твои родители? Собака-робот ходила по выставочным площадкам Spot V1 и Big Dog и считала этих роботов своими отцами. На самом деле, у них есть корреляция**.
Собака-робот также проявляет интересную сторону, и может активно расспрашивать прохожих, нет ли вокруг каких-либо загадочных существ.
В Boston Dynamics заявили, что продолжат оптимизировать функции продукта и в будущем. Комбинация ChatGPT и физических роботов открывает двери для физического приземления больших языковых моделей, которые могут широко использоваться в экскурсоводах, развлечениях, логистике, общении и других областях.
О компании Boston Dynamics
Boston Dynamics была основана в 1992 году, штаб-квартира находится в Бостоне, штат Массачусетс. То, что начиналось как филиал Массачусетского технологического института (MIT), переросло в самостоятельную компанию.
Boston Dynamics известна разработкой высокотехнологичных, гибких и практичных роботов, а ее продукция используется в промышленной, исследовательской и потребительской сферах, в основном репрезентативные роботы включают: BigDog, Atlas, Spot, Handle и т. Д.