MOSS, yang dianggap sebagai "pemberontak" dalam "The Wandering Earth", adalah kehidupan digital yang dibuat khusus untuk Proyek Tinder. Ia sangat cerdas dan memiliki kemampuan untuk melampaui moralitas manusia, filsafat, sains, seni, dan pengetahuan lainnya. Ia dapat menemukan solusi optimal dan membuat keputusan yang "paling benar" dalam waktu singkat. Ia adalah kecerdasan yang sempurna.
Saat ini, model besar digunakan untuk perubahan teknologi, dan memberikan kemungkinan yang hampir mutlak untuk implementasi "industri" dan "lapangan" dalam jangkauan terbatas. Dalam narasi komersialisasi AI yang baru, orang-orang baik secara aktif maupun pasif bergabung dalam hiruk-pikuk pusat persaingan sumber daya.
Merupakan kemewahan untuk menjaga manusia tetap waras selamanya. Sama seperti peradaban manusia sebelum MOSS, yang mengalami sejarah kehancuran dan kelahiran kembali, kita juga sangat perlu kembali ke rasionalitas teknis dari karnaval pendaratan model skala besar.
Hua Xiansheng, CTO Terminus, yang berada dalam perlombaan senjata ini, juga memberikan pemikiran tenangnya sendiri tentang model besar dan jawaban untuk memecahkan situasi Berikut ini adalah transkrip percakapan antara Hua Xiansheng dan AI Technology Review, yaitu disarikan oleh AI Technology Review sebagai berikut:
1. Sudut pandang 1: Model besar bukanlah akhir dari kemunculan intelijen
Hanya satu tahun setelah "kemunculan cerdas" model besar, dunia fisik dan metode produksi informasi telah mengalami perubahan revolusioner, yang dipetakan ke ruang kota yang lebih luas dan pasti akan menghasilkan babak baru inovasi. Dalam hal ini, Hua Xiansheng berkata blak-blakan ketika berbicara tentang ulasan teknologi AI, "Meskipun model besar memang membuat kemajuan besar, jangan percaya takhayul tentang model besar, model ini memiliki keterbatasan."
Menurut ingatan Hua Xiansheng, setelah ChatGPT keluar tahun lalu, dia memperhatikannya dengan cermat dan mencobanya untuk pertama kali. Tidak dapat disangkal bahwa ini memang merupakan terobosan besar, di satu sisi saya kagum dengan peningkatan substansial dalam kemampuannya, tetapi terus terang, saya juga menemukan bahwa itu tidak sekuat yang kita bayangkan, tidak cukup baik.
"Ketika pembelajaran mendalam pertama kali lahir, semua orang mengira itu bisa menyelesaikan semua masalah. Itu bisa menggunakan model yang cukup kompleks dan data yang cukup untuk membangun model dari berbagai masalah di dunia nyata. Namun dalam pertempuran sebenarnya, itu sebenarnya perlu masuk jauh ke dalam industri untuk benar-benar menyelesaikannya. Masalah. Model besar saat ini tidak mengubah aturan ini, ** masih perlu masuk jauh ke lapangan untuk memahami proses, data, dll. yang sesuai, untuk menyelesaikan masalah industri.**" Hua Xiansheng menyebutkan.
Saat ini, di kampus super pintar Terminus, robot lunak telah menjadi seperti MOSS di era model berskala besar. Itu bersembunyi di layar besar taman dan tahu segalanya tentang taman. Anda dapat menanyakan arah, mendapatkan informasi yang Anda butuhkan, dan menggunakannya untuk melakukan operasi. Di balik koeksistensi manusia dan mesin adalah penyelarasan semantik model besar dan perangkat keras IoT untuk mencapai tingkat kecerdasan yang tinggi di antara manusia, perangkat IoT, dan kota.
Jadi, saat AIoT bertemu dengan model besar, percikan api seperti apa yang akan bertabrakan? Hua Xiansheng memberikan pemikirannya: AI adalah jiwa dari AIoT, dan IoT adalah persepsi dan kontrolnya, seperti "tangan dan kakinya", dan tentu saja itu juga mencakup dasar fisik untuk "tubuhnya", yaitu sumber daya komputasi .
Munculnya LLM (Large Language Model) telah mendorong kemampuan AI selangkah lebih dekat ke tujuan yang lebih umum: pertama, Large language model dapat langsung digunakan sebagai antarmuka interaktif sistem AIoT. Kedua, data AIoT pada dasarnya bersifat multimodal.Model besar multimodal diharapkan dapat menyelesaikan banyak masalah yang perlu diselesaikan melalui "Aturan AI +" di masa lalu.
Di mata Hua Xiansheng, jika berbicara tentang model besar AIoT, ada dua rute utama: yang pertama adalah meningkatkan apa yang telah dilakukan AI di masa lalu dengan model besar dan melakukannya lagi, yang dilakukan kebanyakan orang; Yang pertama adalah model AIoT skala besar dalam arti sebenarnya, di mana data heterogen multi-modal dalam AIoT benar-benar digunakan** dan dimasukkan ke dalam model besar. "Namun, model AIoT nyata semacam ini mungkin akan segera muncul di masa mendatang, atau mungkin butuh waktu lama," kata Hua Xiansheng.
Model besar yang digunakan dalam industri AIoT pada tahap ini masih dalam jalur teknis pertama menurutnya, yaitu model besar AIoT "semu" berdasarkan bahasa atau bahasa plus visi.
Sebelum munculnya model besar AIoT "semu", koneksi dan kolaborasi antara perangkat AIoT sepenuhnya didasarkan pada aturan yang telah ditentukan oleh pakar manusia. Aturan ini bersifat tetap, tidak lengkap, dan tidak berkembang sendiri, dan mungkin tidak dapat dipahami dan diikuti secara langsung oleh manusia.instruksi. Tetapi dengan model yang besar, kita dapat secara otomatis dan dinamis membangun aturan koneksi dan koordinasi antar objek sesuai dengan Konteks yang sangat beragam (setiap musim, waktu, karakter, instruksi, dll.), memberikan pengalaman adegan Cerdas yang adaptif, beragam, mendalam, terintegrasi dengan instruksi manusia.
Hua Xiansheng mengatakan dalam wawancara, "Tidak peduli rute mana, model AIoT global yang paling umum belum muncul.**"
2. Sudut pandang 2: Persepsi stereoskopis, kontrol presisi, melepaskan kekuatan prasejarah model besar AIoT
Kemampuan apa yang harus dimiliki oleh model AIoT asli? Hua Xiansheng percaya bahwa ada dua perbedaan utama antara AIoT dan industri lainnya. Pertama-tama, ada banyak data heterogen. Sejumlah besar sensor mengumpulkan berbagai data seperti cuaca, suhu, kelembaban, listrik, dan curah hujan, dan informasinya lebih kaya. Kedua, perangkat IoT bukan hanya perangkat penginderaan, tetapi juga membalikkan kontrol lingkungan. Dimensi persepsi yang lebih kaya dan kekuatan tindakan yang lebih kuat adalah yang seharusnya dimiliki oleh model AIoT.
Kembali ke scene untuk memberdayakan bidang AIoT, sulit untuk mencapainya hanya dengan mengandalkan model umum dengan banyak keterbatasan. Oleh karena itu, model besar AIoT harus memenuhi beberapa karakteristik:
Pertama, profesionalisme. Harus profesional dan mampu memecahkan masalah terkait yang lebih profesional di lapangan. Model besar saat ini terlihat kuat, tetapi mereka tidak memiliki keahlian domain yang cukup untuk digunakan di taman.
Kedua, keandalan. Model perlu memiliki pemahaman yang baik tentang adegan yang diperhatikannya. Di satu sisi, ia perlu cukup memahami dengan memperkenalkan pengetahuan baru; kedua, ia juga memerlukan beberapa metode pengekangan untuk membuat hasil keluaran sangat andal, tanpa "ilusi " dari "omong kosong serius".
Ketiga, keseimbangan antara performa dan biaya. Dari perspektif biaya pelatihan, model tujuan umum yang sangat besar tidak dapat diberikan oleh perusahaan pemula biasa; kedua, selama inferensi, jika jumlah pengguna atau kunjungan terlalu besar, layanan model besar juga akan gagal. Oleh karena itu, model yang disederhanakan adalah pilihan yang baik. Kami tidak membutuhkannya untuk mengetahui segalanya, selama itu memecahkan masalah saya dan memiliki akal sehat.
Keempat, ** sistem melewati **. Model besar ini tidak hanya memiliki pengetahuan, tetapi juga perlu digabungkan secara mendalam dengan sistem taman untuk mendapatkan informasi waktu nyata, dan dapat mengontrol balik taman secara waktu nyata di bawah premis otorisasi.
Ketika mengacu pada teknologi kecerdasan yang diwujudkan yang telah menarik banyak perhatian baru-baru ini, Hua Xiansheng menyebutkan dalam wawancara: Model besar AIoT yang kami usulkan adalah perwujudan dari teknologi model besar yang ada. Perangkat AIoT adalah mata dan telinga kita serta tangan dan kaki kita. Saat ini, kami lebih fokus pada interaksi dan keterkaitan adegan, dan nantinya kami akan mengganti persepsi dan kontrol dengan model besar. Secara khusus, perangkat dan robot super-IoT kami sendiri merupakan manifestasi dari kecerdasan yang diwujudkan, didukung oleh kemampuan sisi server yang disatukan secara mulus (IoT dan maket) dan kemampuan sisi robot (penginderaan, perencanaan, tindakan, dan interaksi), tetapi robot Terminus kecerdasan yang diwujudkan adalah kecerdasan yang diwujudkan dari "kolaborasi mesin-lingkungan", bukan hanya kemampuan langsung dari robot itu sendiri.
3. Sudut Pandang 3: Kesulitan mendarat, tantangan multi-modal model besar AIoT
Mengenai kesulitan dalam implementasi model besar AIoT, Hua Xiansheng percaya bahwa kesulitan tersebut terutama mencakup beberapa aspek, selain memenuhi profesionalisme yang disebutkan di atas, keandalan, keseimbangan antara kinerja dan biaya, dan integrasi sistem, implementasi juga membutuhkan nyata -kinerja waktu Ini akan jauh lebih tinggi, karena ini adalah sistem AIoT yang berfungsi nyata; selain itu, evolusi kemampuannya tidak hanya memperbarui model besar itu sendiri, tetapi juga melibatkan akumulasi data, iterasi memori, dll. Secara umum**, kesulitan terbesar dalam penerapan model besar AIoT terletak pada multimodal**.
Dalam jangka panjang, dimungkinkan untuk mengintegrasikan data IoT ke dalam model AIoT secara terpadu, mungkin berpusat pada teks/gambar dan menyelaraskan data IoT lainnya dengan pusat tersebut. Namun karena heterogenitas dan multimodalitas data AIoT, integrasi dan pemanfaatan efektif berbagai jenis data perlu mengatasi tantangan representasi dan penyelarasan data.
Pertama-tama, dalam hal representasi data, dalam bentuk apa berbagai data sensor harus dimodelkan, haruskah teks referensi digunakan sebagai input urutan, gambar referensi harus digunakan sebagai input matriks, atau bentuk pemodelan baru? Dalam hal ini, baik akademisi maupun industri masih belum meyakinkan.
Selain itu, dalam hal penyelarasan data, model bahasa belajar dari bahasa dan menghasilkan bahasa yang dapat dimengerti oleh manusia.Namun, di bidang AIoT, ada banyak data tanpa label dan anotasi informasi, dan sebagian besar konteksnya tidak tidak memiliki semantik eksplisit. , Tidak mungkin untuk mencocokkan semantik dengan data, yang membuat data dan informasi yang dihasilkannya tidak dapat dipahami. Perlu diproses ulang untuk membangun keselarasan semantik antara data AIoT dan bahasa alami untuk memberikan yang berarti untuk data ini.
4. Sudut Pandang 4: Model besar bukan satu-satunya cara untuk mencapai AGI, "model + sistem" adalah solusi yang tepat
Menghadapi kesulitan yang dihadapi AI di berbagai bidang seperti AIoT, bagaimana mewujudkan AGI dalam arti yang sebenarnya? Hua Xiansheng percaya bahwa saat ini ada tiga kemungkinan jalan:
Jalur pertama adalah evolusi berkelanjutan dan kemajuan model besar, terus meningkatkan ukuran model, meningkatkan jumlah data dan modalitas untuk menghasilkan model super besar untuk mencapai AGI.
Jalur kedua adalah menumbangkan koneksionisme saat ini, mempelajari kerangka kerja model baru untuk membuatnya lebih dekat dengan mode kerja otak atau hati manusia, dan memiliki kemampuan analisis, penalaran, penemuan, dan inovasi yang kuat di bawah premis daya rendah konsumsi .
Cara ketiga adalah metode "model + sistem" yang kami usulkan; berbeda dari cara pertama dengan sistem model besar sebagai intinya, sistem yang disebutkan di sini lebih luas, termasuk perpaduan besar dan kecil model dan Evolusi mencakup perpaduan model dan aturan, saling transformasi aturan dan model, dan sebagainya. Melalui metode fusi sistem dan model, kita akan membangun tubuh cerdas yang lebih kompleks yang dapat terus tumbuh dengan sendirinya.
Mengambil bidang AIoT sebagai contoh, Hua Xiansheng mengatakan bahwa model bahasa besar itu sendiri merupakan perpanjangan dari AIoT, dan ** menggunakan model bahasa besar sebagai "otak" dengan kemampuan pemahaman yang kuat, dan kemudian menghubungkan perangkat AIoT melalui sistem ke mencocokkannya dengan "mata", "hidung", "telinga", "tangan" dan "kaki", sehingga memiliki banyak persepsi, analisis, pengambilan keputusan dan kemampuan kontrol, sehingga mencapai kecerdasan yang lebih kuat **. Ketika "model + sistem" digunakan semakin banyak data terakumulasi, adalah mungkin untuk benar-benar mewujudkan model AIoT "penyatuan besar" dari data multi-modal dan heterogen.
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Wawancara丨 Jangan percaya model besar, inovasi pada tahap ini masih "interaktif"
**Sumber:**Ulasan Teknologi AI
Penulis: Huang Nan; Editor: Chen Caixian
MOSS, yang dianggap sebagai "pemberontak" dalam "The Wandering Earth", adalah kehidupan digital yang dibuat khusus untuk Proyek Tinder. Ia sangat cerdas dan memiliki kemampuan untuk melampaui moralitas manusia, filsafat, sains, seni, dan pengetahuan lainnya. Ia dapat menemukan solusi optimal dan membuat keputusan yang "paling benar" dalam waktu singkat. Ia adalah kecerdasan yang sempurna.
Saat ini, model besar digunakan untuk perubahan teknologi, dan memberikan kemungkinan yang hampir mutlak untuk implementasi "industri" dan "lapangan" dalam jangkauan terbatas. Dalam narasi komersialisasi AI yang baru, orang-orang baik secara aktif maupun pasif bergabung dalam hiruk-pikuk pusat persaingan sumber daya.
Merupakan kemewahan untuk menjaga manusia tetap waras selamanya. Sama seperti peradaban manusia sebelum MOSS, yang mengalami sejarah kehancuran dan kelahiran kembali, kita juga sangat perlu kembali ke rasionalitas teknis dari karnaval pendaratan model skala besar.
Hua Xiansheng, CTO Terminus, yang berada dalam perlombaan senjata ini, juga memberikan pemikiran tenangnya sendiri tentang model besar dan jawaban untuk memecahkan situasi Berikut ini adalah transkrip percakapan antara Hua Xiansheng dan AI Technology Review, yaitu disarikan oleh AI Technology Review sebagai berikut:
1. Sudut pandang 1: Model besar bukanlah akhir dari kemunculan intelijen
Hanya satu tahun setelah "kemunculan cerdas" model besar, dunia fisik dan metode produksi informasi telah mengalami perubahan revolusioner, yang dipetakan ke ruang kota yang lebih luas dan pasti akan menghasilkan babak baru inovasi. Dalam hal ini, Hua Xiansheng berkata blak-blakan ketika berbicara tentang ulasan teknologi AI, "Meskipun model besar memang membuat kemajuan besar, jangan percaya takhayul tentang model besar, model ini memiliki keterbatasan."
Menurut ingatan Hua Xiansheng, setelah ChatGPT keluar tahun lalu, dia memperhatikannya dengan cermat dan mencobanya untuk pertama kali. Tidak dapat disangkal bahwa ini memang merupakan terobosan besar, di satu sisi saya kagum dengan peningkatan substansial dalam kemampuannya, tetapi terus terang, saya juga menemukan bahwa itu tidak sekuat yang kita bayangkan, tidak cukup baik.
"Ketika pembelajaran mendalam pertama kali lahir, semua orang mengira itu bisa menyelesaikan semua masalah. Itu bisa menggunakan model yang cukup kompleks dan data yang cukup untuk membangun model dari berbagai masalah di dunia nyata. Namun dalam pertempuran sebenarnya, itu sebenarnya perlu masuk jauh ke dalam industri untuk benar-benar menyelesaikannya. Masalah. Model besar saat ini tidak mengubah aturan ini, ** masih perlu masuk jauh ke lapangan untuk memahami proses, data, dll. yang sesuai, untuk menyelesaikan masalah industri.**" Hua Xiansheng menyebutkan.
Saat ini, di kampus super pintar Terminus, robot lunak telah menjadi seperti MOSS di era model berskala besar. Itu bersembunyi di layar besar taman dan tahu segalanya tentang taman. Anda dapat menanyakan arah, mendapatkan informasi yang Anda butuhkan, dan menggunakannya untuk melakukan operasi. Di balik koeksistensi manusia dan mesin adalah penyelarasan semantik model besar dan perangkat keras IoT untuk mencapai tingkat kecerdasan yang tinggi di antara manusia, perangkat IoT, dan kota.
Jadi, saat AIoT bertemu dengan model besar, percikan api seperti apa yang akan bertabrakan? Hua Xiansheng memberikan pemikirannya: AI adalah jiwa dari AIoT, dan IoT adalah persepsi dan kontrolnya, seperti "tangan dan kakinya", dan tentu saja itu juga mencakup dasar fisik untuk "tubuhnya", yaitu sumber daya komputasi .
Munculnya LLM (Large Language Model) telah mendorong kemampuan AI selangkah lebih dekat ke tujuan yang lebih umum: pertama, Large language model dapat langsung digunakan sebagai antarmuka interaktif sistem AIoT. Kedua, data AIoT pada dasarnya bersifat multimodal.Model besar multimodal diharapkan dapat menyelesaikan banyak masalah yang perlu diselesaikan melalui "Aturan AI +" di masa lalu.
Di mata Hua Xiansheng, jika berbicara tentang model besar AIoT, ada dua rute utama: yang pertama adalah meningkatkan apa yang telah dilakukan AI di masa lalu dengan model besar dan melakukannya lagi, yang dilakukan kebanyakan orang; Yang pertama adalah model AIoT skala besar dalam arti sebenarnya, di mana data heterogen multi-modal dalam AIoT benar-benar digunakan** dan dimasukkan ke dalam model besar. "Namun, model AIoT nyata semacam ini mungkin akan segera muncul di masa mendatang, atau mungkin butuh waktu lama," kata Hua Xiansheng.
Model besar yang digunakan dalam industri AIoT pada tahap ini masih dalam jalur teknis pertama menurutnya, yaitu model besar AIoT "semu" berdasarkan bahasa atau bahasa plus visi.
Sebelum munculnya model besar AIoT "semu", koneksi dan kolaborasi antara perangkat AIoT sepenuhnya didasarkan pada aturan yang telah ditentukan oleh pakar manusia. Aturan ini bersifat tetap, tidak lengkap, dan tidak berkembang sendiri, dan mungkin tidak dapat dipahami dan diikuti secara langsung oleh manusia.instruksi. Tetapi dengan model yang besar, kita dapat secara otomatis dan dinamis membangun aturan koneksi dan koordinasi antar objek sesuai dengan Konteks yang sangat beragam (setiap musim, waktu, karakter, instruksi, dll.), memberikan pengalaman adegan Cerdas yang adaptif, beragam, mendalam, terintegrasi dengan instruksi manusia.
Hua Xiansheng mengatakan dalam wawancara, "Tidak peduli rute mana, model AIoT global yang paling umum belum muncul.**"
2. Sudut pandang 2: Persepsi stereoskopis, kontrol presisi, melepaskan kekuatan prasejarah model besar AIoT
Kemampuan apa yang harus dimiliki oleh model AIoT asli? Hua Xiansheng percaya bahwa ada dua perbedaan utama antara AIoT dan industri lainnya. Pertama-tama, ada banyak data heterogen. Sejumlah besar sensor mengumpulkan berbagai data seperti cuaca, suhu, kelembaban, listrik, dan curah hujan, dan informasinya lebih kaya. Kedua, perangkat IoT bukan hanya perangkat penginderaan, tetapi juga membalikkan kontrol lingkungan. Dimensi persepsi yang lebih kaya dan kekuatan tindakan yang lebih kuat adalah yang seharusnya dimiliki oleh model AIoT.
Kembali ke scene untuk memberdayakan bidang AIoT, sulit untuk mencapainya hanya dengan mengandalkan model umum dengan banyak keterbatasan. Oleh karena itu, model besar AIoT harus memenuhi beberapa karakteristik:
Pertama, profesionalisme. Harus profesional dan mampu memecahkan masalah terkait yang lebih profesional di lapangan. Model besar saat ini terlihat kuat, tetapi mereka tidak memiliki keahlian domain yang cukup untuk digunakan di taman.
Kedua, keandalan. Model perlu memiliki pemahaman yang baik tentang adegan yang diperhatikannya. Di satu sisi, ia perlu cukup memahami dengan memperkenalkan pengetahuan baru; kedua, ia juga memerlukan beberapa metode pengekangan untuk membuat hasil keluaran sangat andal, tanpa "ilusi " dari "omong kosong serius".
Ketiga, keseimbangan antara performa dan biaya. Dari perspektif biaya pelatihan, model tujuan umum yang sangat besar tidak dapat diberikan oleh perusahaan pemula biasa; kedua, selama inferensi, jika jumlah pengguna atau kunjungan terlalu besar, layanan model besar juga akan gagal. Oleh karena itu, model yang disederhanakan adalah pilihan yang baik. Kami tidak membutuhkannya untuk mengetahui segalanya, selama itu memecahkan masalah saya dan memiliki akal sehat.
Keempat, ** sistem melewati **. Model besar ini tidak hanya memiliki pengetahuan, tetapi juga perlu digabungkan secara mendalam dengan sistem taman untuk mendapatkan informasi waktu nyata, dan dapat mengontrol balik taman secara waktu nyata di bawah premis otorisasi.
Ketika mengacu pada teknologi kecerdasan yang diwujudkan yang telah menarik banyak perhatian baru-baru ini, Hua Xiansheng menyebutkan dalam wawancara: Model besar AIoT yang kami usulkan adalah perwujudan dari teknologi model besar yang ada. Perangkat AIoT adalah mata dan telinga kita serta tangan dan kaki kita. Saat ini, kami lebih fokus pada interaksi dan keterkaitan adegan, dan nantinya kami akan mengganti persepsi dan kontrol dengan model besar. Secara khusus, perangkat dan robot super-IoT kami sendiri merupakan manifestasi dari kecerdasan yang diwujudkan, didukung oleh kemampuan sisi server yang disatukan secara mulus (IoT dan maket) dan kemampuan sisi robot (penginderaan, perencanaan, tindakan, dan interaksi), tetapi robot Terminus kecerdasan yang diwujudkan adalah kecerdasan yang diwujudkan dari "kolaborasi mesin-lingkungan", bukan hanya kemampuan langsung dari robot itu sendiri.
3. Sudut Pandang 3: Kesulitan mendarat, tantangan multi-modal model besar AIoT
Mengenai kesulitan dalam implementasi model besar AIoT, Hua Xiansheng percaya bahwa kesulitan tersebut terutama mencakup beberapa aspek, selain memenuhi profesionalisme yang disebutkan di atas, keandalan, keseimbangan antara kinerja dan biaya, dan integrasi sistem, implementasi juga membutuhkan nyata -kinerja waktu Ini akan jauh lebih tinggi, karena ini adalah sistem AIoT yang berfungsi nyata; selain itu, evolusi kemampuannya tidak hanya memperbarui model besar itu sendiri, tetapi juga melibatkan akumulasi data, iterasi memori, dll. Secara umum**, kesulitan terbesar dalam penerapan model besar AIoT terletak pada multimodal**.
Dalam jangka panjang, dimungkinkan untuk mengintegrasikan data IoT ke dalam model AIoT secara terpadu, mungkin berpusat pada teks/gambar dan menyelaraskan data IoT lainnya dengan pusat tersebut. Namun karena heterogenitas dan multimodalitas data AIoT, integrasi dan pemanfaatan efektif berbagai jenis data perlu mengatasi tantangan representasi dan penyelarasan data.
Pertama-tama, dalam hal representasi data, dalam bentuk apa berbagai data sensor harus dimodelkan, haruskah teks referensi digunakan sebagai input urutan, gambar referensi harus digunakan sebagai input matriks, atau bentuk pemodelan baru? Dalam hal ini, baik akademisi maupun industri masih belum meyakinkan.
Selain itu, dalam hal penyelarasan data, model bahasa belajar dari bahasa dan menghasilkan bahasa yang dapat dimengerti oleh manusia.Namun, di bidang AIoT, ada banyak data tanpa label dan anotasi informasi, dan sebagian besar konteksnya tidak tidak memiliki semantik eksplisit. , Tidak mungkin untuk mencocokkan semantik dengan data, yang membuat data dan informasi yang dihasilkannya tidak dapat dipahami. Perlu diproses ulang untuk membangun keselarasan semantik antara data AIoT dan bahasa alami untuk memberikan yang berarti untuk data ini.
4. Sudut Pandang 4: Model besar bukan satu-satunya cara untuk mencapai AGI, "model + sistem" adalah solusi yang tepat
Menghadapi kesulitan yang dihadapi AI di berbagai bidang seperti AIoT, bagaimana mewujudkan AGI dalam arti yang sebenarnya? Hua Xiansheng percaya bahwa saat ini ada tiga kemungkinan jalan:
Mengambil bidang AIoT sebagai contoh, Hua Xiansheng mengatakan bahwa model bahasa besar itu sendiri merupakan perpanjangan dari AIoT, dan ** menggunakan model bahasa besar sebagai "otak" dengan kemampuan pemahaman yang kuat, dan kemudian menghubungkan perangkat AIoT melalui sistem ke mencocokkannya dengan "mata", "hidung", "telinga", "tangan" dan "kaki", sehingga memiliki banyak persepsi, analisis, pengambilan keputusan dan kemampuan kontrol, sehingga mencapai kecerdasan yang lebih kuat **. Ketika "model + sistem" digunakan semakin banyak data terakumulasi, adalah mungkin untuk benar-benar mewujudkan model AIoT "penyatuan besar" dari data multi-modal dan heterogen.