Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
27 Ekim'de dünyanın en iyi robotik geliştiricisi Boston Dynamics, web sitesinde ChatGPT, Spot ve diğer yapay zeka modellerini birleştirerek konuşan rehber rehberli bir robot köpek geliştiren yeni bir çalışma gösterdi.
Robot köpeğin metin ve sesli uyarılara göre insanlarla konuşabildiği ve kamera tarafından çekilen resmi analiz edebilen ve otomatik olarak görüntü açıklamaları oluşturabilen görsel bir soru-cevap işlevi sağladığı bildiriliyor.
Boston Dynamics, ChatGPT gibi büyük dil modellerinin, fiziksel robotların davranışlarını ve karar verme işlevlerini kontrol etmeleri için onlara ilham veren güçlü kontrol ve çıktı yetenekleri gösterdiğini söylüyor. Örneğin, bazı özel cazibe verilerinin, resimlerin vb. girilmesi, robotun mantıklı ve düzenli tur rehberi işlevleri sağlamasına olanak tanır.
Ayrıca bu, size soğuk bir şaka yapmak ve sizi mutlu eden komik bir eylem yapmak gibi fiziksel robotların antropomorfik yeteneğini de geliştirir. Geleneksel saç yöntemini kullanırsanız, bu çok zor bir şey olacaktır.
Tur Rehberi için Robot Köpek Teknolojisinin İlkeleri
Boston Dynamics, yürüme, izleme, navigasyon ve tarama gibi temel işlevleri gerçekleştirmek için kendi geliştirdiği dört ayaklı robotu Spot'u fiziksel bir robot çerçevesi olarak kullanıyor.
Robot köpeğin insanlarla konuşmasına ve etkileşime girmesine izin vermek için geliştiriciler, onu bir Respeaker V2 hoparlör, veri iletimi için USB üzerinden Spot'un EAP 2'sine bağlanabilen LED'li bir halka dizisi mikrofonu ile donattılar.
1) Spot EAP 2) Hoparlör 3) Bluetooth hoparlör 4) Nokta kolu ve fikstür kamera
Robot köpeğin kontrol beyni olarak bir bilgisayar kullanıldı ve Spot SDK aracılığıyla onunla etkileşime girdi. Robot köpeğin başını sallamak ve boynunu uzatmak gibi antropomorfik hareketlere sahip olmasını sağlamak için Spot'un nokta kolu ve kelepçe kamerası kullanılır.
ChatGPT ile robot köpeği konuşturun
Fiziksel donanım ortamı oluşturulduktan sonra, robot köpeğin diyalog işlevine sahip olmasını sağlamak için, Ar-Ge personeli GPT-3.5 ve GPT-4'ü Spot SDK ile birlikte kullanır ve basit talimat ince ayarını gerçekleştirir, böylece robot köpek birincil rehber yargı ve diyalog işlevine sahiptir.
Ardından, Spot'un insanlarla ve çevreyle etkileşime girmesine izin vermek için MYK ve konuşmayı metne dönüştürme yazılımı entegre edilmiştir. Aynı zamanda, robotun kavrayıcı kamerası ve öne bakan gövde kamerası BLIP-2'ye beslenir ve görsel bir soru-cevap modunda görüntülenir (örneğin, "Bu resimde bu kadar ilginç olan ne?"). ve diğer basit sorular) veya çalıştırmak için resim yazısı modu.
İşlem yaklaşık olarak saniyede bir kez çalışır ve sonuçlar doğrudan komut istemine girilir.
Robot köpeğin "dinleme" işlevini gerçekleştirmesine izin vermek için geliştiriciler, mikrofon verilerini OpenAI'nin konuşma modeli Whisper'a İngilizce metne girerler.
Robot köpeğin bir insanla sohbet edebilmesi için, ChatGPT'yi istemek için insan sesli komutlarını metne dönüştürmesi gerekir, bu nedenle bir dönüştürme aracına da ihtiyaç vardır. Geliştiriciler, çeşitli araçları denedikten sonra bulut hizmeti ElevenLabs'ı kullanmaya karar verdiler.
Deneylerde şaşırtıcı fenomenler
Birden fazla test görüşmesi sırasında, geliştiriciler şaşırtıcı bir fenomen buldular, robot köpeğin basit bir kendi kendine karar verme yeteneği var gibi görünüyor.
Örneğin, robot köpeğe Marc Raibert'in (Boston Dynamics'in genel müdürü) kim olduğunu sorduğunuzda? Cevap verdi: "Kim olduğunu bilmiyorum, hadi yardım masasına gidip soralım." "**
Servis masasına vardığında, robot köpek servis personeline Marc Raibert'in kim olduğunu sormaya devam etti.
Geliştiriciler şunu sorduğunda: Ebeveynleriniz kim? Robot köpek, Spot V1 ve Big Dog sergi alanlarına yürüdü ve bu robotları babaları olarak gördü. Aslında, bir korelasyonları var**.
Robot köpek ayrıca ilginç bir taraf gösterir ve etrafta gizemli yaratıklar olup olmadığını aktif olarak yoldan geçenlere sorabilir.
Boston Dynamics, gelecekte ürünün işlevlerini optimize etmeye devam edeceğini söyledi. ChatGPT ve fiziksel robotların kombinasyonu, tur rehberleri, eğlence, lojistik, arkadaşlık ve diğer alanlarda yaygın olarak kullanılabilen büyük dil modellerinin fiziksel inişine kapı açar.
Boston Dynamics Hakkında
Boston Dynamics 1992 yılında kurulmuştur ve merkezi Boston, Massachusetts'tedir. Massachusetts Institute of Technology'nin (MIT) bir şubesi olarak başlayan şirket, bağımsız bir şirkete dönüştü.
Boston Dynamics, son derece gelişmiş, esnek ve pratik robotlar geliştirmesiyle tanınır ve ürünleri endüstriyel, araştırma ve tüketici alanlarında kullanılır, esas olarak temsili robotlar şunları içerir: BigDog, Atlas, Spot, Handle, vb.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
ChatGPT'yi fiziksel robotlarla birleştiren Boston Dynamics, bir canavar geliştirdi!
Orijinal kaynak: AIGC Açık Topluluğu
27 Ekim'de dünyanın en iyi robotik geliştiricisi Boston Dynamics, web sitesinde ChatGPT, Spot ve diğer yapay zeka modellerini birleştirerek konuşan rehber rehberli bir robot köpek geliştiren yeni bir çalışma gösterdi.
Robot köpeğin metin ve sesli uyarılara göre insanlarla konuşabildiği ve kamera tarafından çekilen resmi analiz edebilen ve otomatik olarak görüntü açıklamaları oluşturabilen görsel bir soru-cevap işlevi sağladığı bildiriliyor.
Boston Dynamics, ChatGPT gibi büyük dil modellerinin, fiziksel robotların davranışlarını ve karar verme işlevlerini kontrol etmeleri için onlara ilham veren güçlü kontrol ve çıktı yetenekleri gösterdiğini söylüyor. Örneğin, bazı özel cazibe verilerinin, resimlerin vb. girilmesi, robotun mantıklı ve düzenli tur rehberi işlevleri sağlamasına olanak tanır.
Ayrıca bu, size soğuk bir şaka yapmak ve sizi mutlu eden komik bir eylem yapmak gibi fiziksel robotların antropomorfik yeteneğini de geliştirir. Geleneksel saç yöntemini kullanırsanız, bu çok zor bir şey olacaktır.
Tur Rehberi için Robot Köpek Teknolojisinin İlkeleri
Boston Dynamics, yürüme, izleme, navigasyon ve tarama gibi temel işlevleri gerçekleştirmek için kendi geliştirdiği dört ayaklı robotu Spot'u fiziksel bir robot çerçevesi olarak kullanıyor.
Robot köpeğin kontrol beyni olarak bir bilgisayar kullanıldı ve Spot SDK aracılığıyla onunla etkileşime girdi. Robot köpeğin başını sallamak ve boynunu uzatmak gibi antropomorfik hareketlere sahip olmasını sağlamak için Spot'un nokta kolu ve kelepçe kamerası kullanılır.
ChatGPT ile robot köpeği konuşturun
Fiziksel donanım ortamı oluşturulduktan sonra, robot köpeğin diyalog işlevine sahip olmasını sağlamak için, Ar-Ge personeli GPT-3.5 ve GPT-4'ü Spot SDK ile birlikte kullanır ve basit talimat ince ayarını gerçekleştirir, böylece robot köpek birincil rehber yargı ve diyalog işlevine sahiptir.
Ardından, Spot'un insanlarla ve çevreyle etkileşime girmesine izin vermek için MYK ve konuşmayı metne dönüştürme yazılımı entegre edilmiştir. Aynı zamanda, robotun kavrayıcı kamerası ve öne bakan gövde kamerası BLIP-2'ye beslenir ve görsel bir soru-cevap modunda görüntülenir (örneğin, "Bu resimde bu kadar ilginç olan ne?"). ve diğer basit sorular) veya çalıştırmak için resim yazısı modu.
İşlem yaklaşık olarak saniyede bir kez çalışır ve sonuçlar doğrudan komut istemine girilir.
Deneylerde şaşırtıcı fenomenler
Birden fazla test görüşmesi sırasında, geliştiriciler şaşırtıcı bir fenomen buldular, robot köpeğin basit bir kendi kendine karar verme yeteneği var gibi görünüyor.
Örneğin, robot köpeğe Marc Raibert'in (Boston Dynamics'in genel müdürü) kim olduğunu sorduğunuzda? Cevap verdi: "Kim olduğunu bilmiyorum, hadi yardım masasına gidip soralım." "**
Servis masasına vardığında, robot köpek servis personeline Marc Raibert'in kim olduğunu sormaya devam etti.
Geliştiriciler şunu sorduğunda: Ebeveynleriniz kim? Robot köpek, Spot V1 ve Big Dog sergi alanlarına yürüdü ve bu robotları babaları olarak gördü. Aslında, bir korelasyonları var**.
Robot köpek ayrıca ilginç bir taraf gösterir ve etrafta gizemli yaratıklar olup olmadığını aktif olarak yoldan geçenlere sorabilir.
Boston Dynamics, gelecekte ürünün işlevlerini optimize etmeye devam edeceğini söyledi. ChatGPT ve fiziksel robotların kombinasyonu, tur rehberleri, eğlence, lojistik, arkadaşlık ve diğer alanlarda yaygın olarak kullanılabilen büyük dil modellerinin fiziksel inişine kapı açar.
Boston Dynamics Hakkında
Boston Dynamics 1992 yılında kurulmuştur ve merkezi Boston, Massachusetts'tedir. Massachusetts Institute of Technology'nin (MIT) bir şubesi olarak başlayan şirket, bağımsız bir şirkete dönüştü.
Boston Dynamics, son derece gelişmiş, esnek ve pratik robotlar geliştirmesiyle tanınır ve ürünleri endüstriyel, araştırma ve tüketici alanlarında kullanılır, esas olarak temsili robotlar şunları içerir: BigDog, Atlas, Spot, Handle, vb.