Pada 27 Oktober, Boston Dynamics, pengembang robotika top dunia, memamerkan sebuah studi baru di situs webnya yang mengembangkan anjing robot yang dipandu panduan berbicara dengan menggabungkan ChatGPT, Spot, dan model AI lainnya.
Dilaporkan bahwa anjing robot dapat berbicara dengan manusia sesuai dengan petunjuk teks dan suara, dan menyediakan fungsi tanya jawab visual, yang dapat menganalisis gambar yang diambil oleh kamera dan secara otomatis menghasilkan deskripsi gambar.
Boston Dynamics mengatakan model bahasa besar seperti ChatGPT telah menunjukkan kemampuan kontrol dan output yang kuat, yang telah mengilhami mereka untuk mengendalikan perilaku dan fungsi pengambilan keputusan robot fisik. Misalnya, memasukkan beberapa data atraksi tertentu, gambar, dll., Memungkinkan robot untuk menyediakan fungsi pemandu wisata yang logis dan terorganisir.
Selain itu, ini juga meningkatkan kemampuan antropomorfik robot fisik, seperti menceritakan lelucon dingin dan melakukan tindakan lucu yang membuat Anda bahagia. Jika Anda menggunakan metode rambut tradisional, itu akan menjadi hal yang sangat sulit.
Prinsip Teknologi Robot Anjing untuk Pemandu Wisata
Boston Dynamics menggunakan robot berkaki empat yang dikembangkan sendiri Spot sebagai kerangka robot fisik untuk mewujudkan fungsi dasar seperti berjalan, pemantauan, navigasi, dan pemindaian.
Untuk memungkinkan anjing robot berbicara dan berinteraksi dengan manusia, pengembang melengkapinya dengan speaker Respeaker V2, mikrofon ring array dengan LED, yang dapat dihubungkan ke EAP 2 Spot melalui USB untuk transmisi data.
1) EAP Spot 2) Pembicara 3) Speaker Bluetooth 4) Lengan titik dan kamera perlengkapan
Komputer digunakan sebagai otak kontrol anjing robot dan berinteraksi dengannya melalui Spot SDK. Untuk membuat anjing robot memiliki tindakan antropomorfik, seperti mengangguk dan meregangkan lehernya, lengan titik dan kamera penjepit Spot digunakan.
**Dapatkan anjing robot berbicara dengan ChatGPT **
Setelah lingkungan perangkat keras fisik dibangun, untuk membuat anjing robot memiliki fungsi dialog, personel R & D menggunakan GPT-3.5 dan GPT-4 yang dikombinasikan dengan SDK Spot, dan melakukan penyetelan instruksi sederhana, sehingga anjing robot memiliki fungsi penilaian dan dialog pemandu utama.
Selanjutnya, untuk memungkinkan Spot berinteraksi dengan manusia dan lingkungan, VQA dan perangkat lunak ucapan-ke-teks terintegrasi. Pada saat yang sama, kamera gripper robot dan kamera tubuh menghadap ke depan dimasukkan ke dalam BLIP-2 dan ditampilkan dalam mode tanya jawab visual (misalnya "Apa yang begitu menarik tentang gambar ini?"). dan pertanyaan sederhana lainnya) atau mode keterangan gambar untuk menjalankannya.
Proses berjalan kira-kira sekali per detik, dan hasilnya dimasukkan langsung ke prompt.
Untuk memungkinkan anjing robot menyadari fungsi "mendengarkan", pengembang memasukkan data mikrofon ke dalam model ucapan OpenAI Whisper ke dalam teks bahasa Inggris.
Agar anjing robot dapat melakukan percakapan dengan manusia, ia perlu mengubah perintah suara manusia menjadi teks untuk mendorong ChatGPT, sehingga alat konversi juga diperlukan. Setelah mencoba berbagai alat, para pengembang memutuskan untuk menggunakan layanan cloud ElevenLabs.
Fenomena mengejutkan dalam eksperimen
Dalam beberapa percakapan tes, para pengembang menemukan fenomena mengejutkan, anjing robot tampaknya memiliki kemampuan pengambilan keputusan diri yang sederhana.
Misalnya, ketika Anda bertanya kepada anjing robot siapa Marc Raibert (direktur eksekutif Boston Dynamics)? Ia menjawab: "Saya tidak tahu siapa dia, mari kita pergi ke meja bantuan dan bertanya." "**
Begitu sampai di meja layanan, robot anjing itu terus bertanya kepada staf layanan siapa Marc Raibert itu?
Ketika pengembang bertanya: Siapa orang tua Anda? Robot anjing berjalan ke area tampilan Spot V1 dan Big Dog, dan menganggap robot-robot ini sebagai ayahnya. Bahkan, mereka memiliki korelasi **.
Robot anjing juga menunjukkan sisi yang menarik, dan dapat secara aktif bertanya kepada orang yang lewat apakah ada makhluk misterius di sekitarnya.
Boston Dynamics mengatakan akan terus mengoptimalkan fungsi produk di masa depan. Kombinasi ChatGPT dan robot fisik membuka pintu bagi pendaratan fisik model bahasa besar, yang dapat digunakan secara luas dalam pemandu wisata, hiburan, logistik, persahabatan, dan bidang lainnya.
**Tentang Boston Dynamics **
Boston Dynamics didirikan pada tahun 1992 dan berkantor pusat di Boston, Massachusetts. Apa yang dimulai sebagai cabang dari Massachusetts Institute of Technology (MIT) tumbuh menjadi perusahaan independen.
Boston Dynamics dikenal karena mengembangkan robot yang sangat canggih, fleksibel dan praktis, dan produknya digunakan dalam bidang industri, penelitian dan konsumen, terutama robot representatif meliputi: BigDog, Atlas, Spot, Handle, dll.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Menggabungkan ChatGPT dengan robot fisik, Boston Dynamics telah mengembangkan monster!
Sumber asli: AIGC Open Community
Pada 27 Oktober, Boston Dynamics, pengembang robotika top dunia, memamerkan sebuah studi baru di situs webnya yang mengembangkan anjing robot yang dipandu panduan berbicara dengan menggabungkan ChatGPT, Spot, dan model AI lainnya.
Dilaporkan bahwa anjing robot dapat berbicara dengan manusia sesuai dengan petunjuk teks dan suara, dan menyediakan fungsi tanya jawab visual, yang dapat menganalisis gambar yang diambil oleh kamera dan secara otomatis menghasilkan deskripsi gambar.
Boston Dynamics mengatakan model bahasa besar seperti ChatGPT telah menunjukkan kemampuan kontrol dan output yang kuat, yang telah mengilhami mereka untuk mengendalikan perilaku dan fungsi pengambilan keputusan robot fisik. Misalnya, memasukkan beberapa data atraksi tertentu, gambar, dll., Memungkinkan robot untuk menyediakan fungsi pemandu wisata yang logis dan terorganisir.
Selain itu, ini juga meningkatkan kemampuan antropomorfik robot fisik, seperti menceritakan lelucon dingin dan melakukan tindakan lucu yang membuat Anda bahagia. Jika Anda menggunakan metode rambut tradisional, itu akan menjadi hal yang sangat sulit.
Prinsip Teknologi Robot Anjing untuk Pemandu Wisata
Boston Dynamics menggunakan robot berkaki empat yang dikembangkan sendiri Spot sebagai kerangka robot fisik untuk mewujudkan fungsi dasar seperti berjalan, pemantauan, navigasi, dan pemindaian.
Komputer digunakan sebagai otak kontrol anjing robot dan berinteraksi dengannya melalui Spot SDK. Untuk membuat anjing robot memiliki tindakan antropomorfik, seperti mengangguk dan meregangkan lehernya, lengan titik dan kamera penjepit Spot digunakan.
**Dapatkan anjing robot berbicara dengan ChatGPT **
Setelah lingkungan perangkat keras fisik dibangun, untuk membuat anjing robot memiliki fungsi dialog, personel R & D menggunakan GPT-3.5 dan GPT-4 yang dikombinasikan dengan SDK Spot, dan melakukan penyetelan instruksi sederhana, sehingga anjing robot memiliki fungsi penilaian dan dialog pemandu utama.
Selanjutnya, untuk memungkinkan Spot berinteraksi dengan manusia dan lingkungan, VQA dan perangkat lunak ucapan-ke-teks terintegrasi. Pada saat yang sama, kamera gripper robot dan kamera tubuh menghadap ke depan dimasukkan ke dalam BLIP-2 dan ditampilkan dalam mode tanya jawab visual (misalnya "Apa yang begitu menarik tentang gambar ini?"). dan pertanyaan sederhana lainnya) atau mode keterangan gambar untuk menjalankannya.
Proses berjalan kira-kira sekali per detik, dan hasilnya dimasukkan langsung ke prompt.
Fenomena mengejutkan dalam eksperimen
Dalam beberapa percakapan tes, para pengembang menemukan fenomena mengejutkan, anjing robot tampaknya memiliki kemampuan pengambilan keputusan diri yang sederhana.
Misalnya, ketika Anda bertanya kepada anjing robot siapa Marc Raibert (direktur eksekutif Boston Dynamics)? Ia menjawab: "Saya tidak tahu siapa dia, mari kita pergi ke meja bantuan dan bertanya." "**
Begitu sampai di meja layanan, robot anjing itu terus bertanya kepada staf layanan siapa Marc Raibert itu?
Ketika pengembang bertanya: Siapa orang tua Anda? Robot anjing berjalan ke area tampilan Spot V1 dan Big Dog, dan menganggap robot-robot ini sebagai ayahnya. Bahkan, mereka memiliki korelasi **.
Robot anjing juga menunjukkan sisi yang menarik, dan dapat secara aktif bertanya kepada orang yang lewat apakah ada makhluk misterius di sekitarnya.
Boston Dynamics mengatakan akan terus mengoptimalkan fungsi produk di masa depan. Kombinasi ChatGPT dan robot fisik membuka pintu bagi pendaratan fisik model bahasa besar, yang dapat digunakan secara luas dalam pemandu wisata, hiburan, logistik, persahabatan, dan bidang lainnya.
**Tentang Boston Dynamics **
Boston Dynamics didirikan pada tahun 1992 dan berkantor pusat di Boston, Massachusetts. Apa yang dimulai sebagai cabang dari Massachusetts Institute of Technology (MIT) tumbuh menjadi perusahaan independen.
Boston Dynamics dikenal karena mengembangkan robot yang sangat canggih, fleksibel dan praktis, dan produknya digunakan dalam bidang industri, penelitian dan konsumen, terutama robot representatif meliputi: BigDog, Atlas, Spot, Handle, dll.