Vào ngày 27 tháng 10, Boston Dynamics, nhà phát triển robot hàng đầu thế giới, đã giới thiệu một nghiên cứu mới trên trang web của mình đã phát triển một chú chó robot hướng dẫn biết nói bằng cách kết hợp ChatGPT, Spot và các mô hình AI khác.
Được biết, chó robot có thể nói chuyện với con người theo lời nhắc bằng văn bản và giọng nói, đồng thời cung cấp chức năng hỏi và trả lời trực quan, có thể phân tích hình ảnh được chụp bởi máy ảnh và tự động tạo mô tả hình ảnh.
Boston Dynamics cho biết các mô hình ngôn ngữ lớn như ChatGPT đã chứng minh khả năng điều khiển và đầu ra mạnh mẽ, điều này đã truyền cảm hứng cho họ kiểm soát hành vi và chức năng ra quyết định của robot vật lý. Ví dụ, nhập một số dữ liệu thu hút cụ thể, hình ảnh, v.v., cho phép robot cung cấp các chức năng hướng dẫn viên du lịch hợp lý và có tổ chức.
Ngoài ra, điều này cũng giúp tăng cường khả năng nhân hóa của robot vật lý, chẳng hạn như kể cho bạn một câu chuyện cười lạnh lùng và thực hiện một hành động hài hước khiến bạn hạnh phúc. Nếu bạn sử dụng phương pháp làm tóc truyền thống, nó sẽ là một điều rất khó khăn.
** Nguyên tắc của công nghệ chó robot cho hướng dẫn viên du lịch **
Boston Dynamics sử dụng robot bốn chân Spot tự phát triển của mình như một khung robot vật lý để thực hiện các chức năng cơ bản như đi bộ, giám sát, điều hướng và quét.
Để cho phép chú chó robot nói chuyện và tương tác với con người, các nhà phát triển đã trang bị cho nó loa Respeaker V2, micrô mảng vòng với đèn LED, có thể kết nối với EAP 2 của Spot qua USB để truyền dữ liệu.
1) Spot EAP 2) Loa 3) Loa Bluetooth 4) Cánh tay điểm và máy ảnh cố định
Một máy tính được sử dụng làm bộ não điều khiển của chú chó robot và tương tác với nó thông qua Spot SDK. Để làm cho chú chó robot có những hành động được nhân hóa, chẳng hạn như gật đầu và duỗi cổ, cánh tay điểm và camera kẹp của Spot được sử dụng.
** Bắt chó robot nói chuyện với ChatGPT **
Sau khi môi trường phần cứng vật lý được xây dựng, để làm cho chó robot có chức năng đối thoại, nhân viên R &; D sử dụng GPT-3.5 và GPT-4 kết hợp với SDK Spot và thực hiện tinh chỉnh hướng dẫn đơn giản, để chó robot có chức năng phán đoán và đối thoại hướng dẫn chính.
Tiếp theo, để cho phép Spot tương tác với con người và môi trường, VQA và phần mềm chuyển giọng nói thành văn bản được tích hợp. Đồng thời, camera kẹp của robot và camera cơ thể phía trước được đưa vào BLIP-2 và hiển thị ở chế độ hỏi đáp trực quan (ví dụ: "Có gì thú vị về bức ảnh này?"). và các câu hỏi đơn giản khác) hoặc chế độ chú thích hình ảnh để chạy nó.
Quá trình chạy khoảng một lần mỗi giây và kết quả được nhập trực tiếp vào lời nhắc.
Để cho phép chú chó robot nhận ra chức năng "nghe", các nhà phát triển đã nhập dữ liệu micrô vào mô hình giọng nói Whisper của OpenAI thành văn bản tiếng Anh.
Để chó robot có thể trò chuyện với con người, nó cần chuyển đổi lệnh thoại của con người thành văn bản để nhắc ChatGPT, vì vậy cũng cần một công cụ chuyển đổi. Sau khi thử nhiều công cụ khác nhau, các nhà phát triển đã quyết định sử dụng dịch vụ đám mây ElevenLabs.
**Hiện tượng đáng ngạc nhiên trong thí nghiệm **
Trong quá trình nhiều cuộc trò chuyện thử nghiệm, các nhà phát triển đã tìm thấy một hiện tượng đáng ngạc nhiên, chú chó robot dường như có khả năng tự quyết định đơn giản.
Ví dụ, khi bạn hỏi chú chó robot Marc Raibert (giám đốc điều hành của Boston Dynamics) là ai? Nó trả lời: "Tôi không biết anh ta là ai, chúng ta hãy đến bàn trợ giúp và hỏi." "**
Khi đến bàn dịch vụ, chú chó robot tiếp tục hỏi nhân viên phục vụ Marc Raibert là ai?
Khi các nhà phát triển hỏi: Cha mẹ của bạn là ai? Chú chó robot đi bộ đến khu vực trưng bày Spot V1 và Big Dog, và coi những robot này là cha đẻ của nó. Trên thực tế, chúng có mối tương quan **.
Chú chó robot cũng thể hiện một khía cạnh thú vị, và có thể chủ động hỏi người qua đường xem có bất kỳ sinh vật bí ẩn nào xung quanh không.
Boston Dynamics cho biết sẽ tiếp tục tối ưu hóa các chức năng của sản phẩm trong tương lai. Sự kết hợp giữa ChatGPT và robot vật lý mở ra cánh cửa cho việc hạ cánh vật lý của các mô hình ngôn ngữ lớn, có thể được sử dụng rộng rãi trong hướng dẫn viên du lịch, giải trí, hậu cần, đồng hành và các lĩnh vực khác.
Giới thiệu về Boston Dynamics
Boston Dynamics được thành lập vào năm 1992 và có trụ sở chính tại Boston, Massachusetts. Những gì bắt đầu như là một chi nhánh của Viện Công nghệ Massachusetts (MIT) đã phát triển thành một công ty độc lập.
Boston Dynamics được biết đến với việc phát triển các robot tiên tiến, linh hoạt và thiết thực, và các sản phẩm của nó được sử dụng trong các lĩnh vực công nghiệp, nghiên cứu và tiêu dùng, chủ yếu là robot đại diện bao gồm: BigDog, Atlas, Spot, Handle, v.v.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Kết hợp ChatGPT với robot vật lý, Boston Dynamics đã phát triển một con quái vật!
Nguồn gốc: Cộng đồng mở AIGC
Vào ngày 27 tháng 10, Boston Dynamics, nhà phát triển robot hàng đầu thế giới, đã giới thiệu một nghiên cứu mới trên trang web của mình đã phát triển một chú chó robot hướng dẫn biết nói bằng cách kết hợp ChatGPT, Spot và các mô hình AI khác.
Được biết, chó robot có thể nói chuyện với con người theo lời nhắc bằng văn bản và giọng nói, đồng thời cung cấp chức năng hỏi và trả lời trực quan, có thể phân tích hình ảnh được chụp bởi máy ảnh và tự động tạo mô tả hình ảnh.
Boston Dynamics cho biết các mô hình ngôn ngữ lớn như ChatGPT đã chứng minh khả năng điều khiển và đầu ra mạnh mẽ, điều này đã truyền cảm hứng cho họ kiểm soát hành vi và chức năng ra quyết định của robot vật lý. Ví dụ, nhập một số dữ liệu thu hút cụ thể, hình ảnh, v.v., cho phép robot cung cấp các chức năng hướng dẫn viên du lịch hợp lý và có tổ chức.
Ngoài ra, điều này cũng giúp tăng cường khả năng nhân hóa của robot vật lý, chẳng hạn như kể cho bạn một câu chuyện cười lạnh lùng và thực hiện một hành động hài hước khiến bạn hạnh phúc. Nếu bạn sử dụng phương pháp làm tóc truyền thống, nó sẽ là một điều rất khó khăn.
** Nguyên tắc của công nghệ chó robot cho hướng dẫn viên du lịch **
Boston Dynamics sử dụng robot bốn chân Spot tự phát triển của mình như một khung robot vật lý để thực hiện các chức năng cơ bản như đi bộ, giám sát, điều hướng và quét.
Một máy tính được sử dụng làm bộ não điều khiển của chú chó robot và tương tác với nó thông qua Spot SDK. Để làm cho chú chó robot có những hành động được nhân hóa, chẳng hạn như gật đầu và duỗi cổ, cánh tay điểm và camera kẹp của Spot được sử dụng.
** Bắt chó robot nói chuyện với ChatGPT **
Sau khi môi trường phần cứng vật lý được xây dựng, để làm cho chó robot có chức năng đối thoại, nhân viên R &; D sử dụng GPT-3.5 và GPT-4 kết hợp với SDK Spot và thực hiện tinh chỉnh hướng dẫn đơn giản, để chó robot có chức năng phán đoán và đối thoại hướng dẫn chính.
Tiếp theo, để cho phép Spot tương tác với con người và môi trường, VQA và phần mềm chuyển giọng nói thành văn bản được tích hợp. Đồng thời, camera kẹp của robot và camera cơ thể phía trước được đưa vào BLIP-2 và hiển thị ở chế độ hỏi đáp trực quan (ví dụ: "Có gì thú vị về bức ảnh này?"). và các câu hỏi đơn giản khác) hoặc chế độ chú thích hình ảnh để chạy nó.
Quá trình chạy khoảng một lần mỗi giây và kết quả được nhập trực tiếp vào lời nhắc.
**Hiện tượng đáng ngạc nhiên trong thí nghiệm **
Trong quá trình nhiều cuộc trò chuyện thử nghiệm, các nhà phát triển đã tìm thấy một hiện tượng đáng ngạc nhiên, chú chó robot dường như có khả năng tự quyết định đơn giản.
Ví dụ, khi bạn hỏi chú chó robot Marc Raibert (giám đốc điều hành của Boston Dynamics) là ai? Nó trả lời: "Tôi không biết anh ta là ai, chúng ta hãy đến bàn trợ giúp và hỏi." "**
Khi đến bàn dịch vụ, chú chó robot tiếp tục hỏi nhân viên phục vụ Marc Raibert là ai?
Khi các nhà phát triển hỏi: Cha mẹ của bạn là ai? Chú chó robot đi bộ đến khu vực trưng bày Spot V1 và Big Dog, và coi những robot này là cha đẻ của nó. Trên thực tế, chúng có mối tương quan **.
Chú chó robot cũng thể hiện một khía cạnh thú vị, và có thể chủ động hỏi người qua đường xem có bất kỳ sinh vật bí ẩn nào xung quanh không.
Boston Dynamics cho biết sẽ tiếp tục tối ưu hóa các chức năng của sản phẩm trong tương lai. Sự kết hợp giữa ChatGPT và robot vật lý mở ra cánh cửa cho việc hạ cánh vật lý của các mô hình ngôn ngữ lớn, có thể được sử dụng rộng rãi trong hướng dẫn viên du lịch, giải trí, hậu cần, đồng hành và các lĩnh vực khác.
Giới thiệu về Boston Dynamics
Boston Dynamics được thành lập vào năm 1992 và có trụ sở chính tại Boston, Massachusetts. Những gì bắt đầu như là một chi nhánh của Viện Công nghệ Massachusetts (MIT) đã phát triển thành một công ty độc lập.
Boston Dynamics được biết đến với việc phát triển các robot tiên tiến, linh hoạt và thiết thực, và các sản phẩm của nó được sử dụng trong các lĩnh vực công nghiệp, nghiên cứu và tiêu dùng, chủ yếu là robot đại diện bao gồm: BigDog, Atlas, Spot, Handle, v.v.