AIGC mengeluarkan "keajaiban fisik", penglihatan 3D menerobos "batas presisi"

Sumber Asli: Light Cone Intelligence

Pengarang: Yao Yue

Sumber gambar: Dihasilkan oleh AI‌ Tak Terbatas

"Tidak ada seni, semua fisika! Fisika membuatmu bahagia, bukan?"

Baru-baru ini, di konferensi grafik komputer dunia SIGGRAPH 2023, pendiri dan CEO Nvidia Huang Renxun mengumumkan bahwa ketika dia menggabungkan AI generatif dengan platform simulasi Omniverse, dia sangat bersemangat saat mengumumkan bahwa "AIGC adalah momen iPhone".

**Berbeda dengan model bahasa besar yang hanya dapat diterapkan pada grafik dan teks, dengan platform simulasi berdasarkan hukum fisik, AI generatif dapat langsung digunakan di dunia nyata. **

Selain Huang Renxun, tim Li Feifei di Universitas Stanford di Amerika Serikat juga baru-baru ini mengintegrasikan model besar ke dalam robot, yang tidak hanya memungkinkan robot berinteraksi secara efektif dengan lingkungan, tetapi juga menyelesaikan berbagai tugas tanpa data dan pelatihan tambahan.

** "AI generatif berdasarkan simulasi dunia fisik adalah AI generatif 2.0", Jia Kui, pendiri Kecerdasan Kuawei dan seorang profesor di Universitas Teknologi China Selatan, mengatakan kepada Light Cone Intelligence bahwa kombinasi AI generatif dan kecerdasan yang diwujudkan akan memainkan peran penting efek yang lebih deterministik. **

Dengan peningkatan kemampuan secara umum, AI juga diharapkan dapat mematahkan “kutukan” komersialisasi.

Saat AI generatif mempelajari fisika

Menggabungkan AI generatif dengan dunia fisik tidaklah mudah, dan rantai teknis yang terlibat sangat panjang.

**Pertama-tama, perlu menguasai hukum dasar dunia fisik untuk memodelkan dunia nyata ke platform simulasi. **

Platform simulasi tidak hanya dapat mensimulasikan pemandangan fisik, tetapi juga mensimulasikan interaksi, pergerakan, dan deformasi objek di dunia nyata.

Penambahan AI generatif akan memungkinkan platform simulasi memiliki kemampuan untuk "melakukan pratinjau".

“Manusia telah mengetahui pengetahuan fisik sejak masa kanak-kanak, tetapi AI tidak mengetahuinya.” Huang Renxun berkata, “Kombinasi AI generatif dan platform simulasi adalah untuk membuat masa depan AI mengakar dalam fisika.”

Lebih lanjut Huang Renxun menjelaskan bahwa biarkan AI belajar bagaimana memahami lingkungan di dunia virtual, dan memahami dampak dan konsekuensi dari perilaku fisik melalui pembelajaran penguatan, sehingga AI dapat mencapai tujuan tertentu.

**Ini membutuhkan penggunaan AI generatif untuk memprediksi puluhan juta atau bahkan ratusan juta kemungkinan di dunia fisik untuk membentuk data sintetik yang berharga. **

Misalnya, lengan robot perlu menggunakan "mata" penglihatan 3D untuk menangkap secara akurat, tetapi bagaimana cara menghilangkan gangguan perubahan lingkungan dan mengenali objek yang akan digenggam (seperti bagian di pabrik)?

Melalui platform simulasi, kami telah menguasai hukum fisika seperti "pemantulan dan pembiasan cahaya pada objek pemandangan", dan AI generatif dapat memprediksi dan mensimulasikan botol dengan derajat pantulan berbeda di bawah pencahayaan pemandangan yang berbeda; di bawah pencahayaan yang sama , logam, Keadaan permukaan benda yang terbuat dari berbagai bahan seperti plastik dan produk kayu; tumpukan paku, semua kemungkinan keadaan tersebar...

** Sekali lagi, semua data perlu dijalankan di platform simulasi dengan AI. **

Langkah ini untuk melatih model besar visual 3D. Berbeda dari model bahasa besar, model besar visual 3D sangat penting untuk pemahaman dan penalaran tentang karakteristik komposisi pemandangan visual, dan perlu berurusan dengan hubungan kompleks antara objek, posisi, dan perubahan di lingkungan nyata.

**Akhirnya, perlu dihubungkan dengan perangkat keras cerdas seperti lengan robot, agar dapat mempelajari operasi cerdas. **

Dapat dilihat bahwa seluruh rantai teknis dari kombinasi AI generatif dan dunia fisik tidak hanya melibatkan fisika, grafik, visi komputer, dan robotika multidisiplin, tetapi juga kembar digital, pembelajaran mendalam geometris, perhitungan kinematika, kecerdasan hibrid, dan kecerdasan. Perangkat keras dan teknologi mutakhir multidimensi lainnya.

Sejalan dengan itu, rantai seluruh industri juga relatif kompleks, dari data hingga model, dan kemudian dari model hingga penyebaran.

Di tautan ini, ada simpul yang sangat berbeda dari jalur AI sebelumnya, yaitu "pembuatan data sintetik".

Menggunakan data yang disintesis oleh AI generatif berdasarkan hukum fisik untuk melatih model besar akan membawa revolusi lompatan ke industri fisik.

Tanpa gambar asli

Pelatihan model besar visual 3D

Mengapa tidak melatih model besar secara langsung pada data nyata?

Saat ini, sebagian besar lengan robot berbasis visi 3D di industri menggunakan data nyata untuk pelatihan algoritme sistem kontrolnya. Karena masalah seperti privasi komersial, data nyata ini sulit diperoleh dalam data umum, dan pada dasarnya dikumpulkan oleh perusahaan itu sendiri.

**Namun, data nyata yang dikumpulkan sendiri, pertama-tama, kinerja biaya sangat rendah dalam hal "efisiensi dan biaya", dua indikator utama operasi. **

Ini karena skenario aplikasi terminal terfragmentasi, dan datanya tidak dapat digunakan secara universal sama sekali. Untuk mengumpulkan data nyata, perusahaan memerlukan kumpulan "karpet" dari setiap industri, setiap pabrik, dan setiap adegan. Selain itu, data yang dikumpulkan tidak dapat digunakan secara langsung, dan diperlukan serangkaian pemrosesan.

Dalam proses ini, bahkan ada "paradoks kecerdasan buatan".

"Mengumpulkan data nyata, lebih dari separuh biaya teknologi AI adalah biaya data, dan pemrosesan pengumpulan, pembersihan, pelabelan, dan peningkatan data seringkali merupakan hasil dari akumulasi tenaga kerja dalam jumlah besar." Beberapa analis telah menunjukkan, Inti dari kecerdasan buatan adalah untuk menggantikan kecerdasan buatan. "Ironisnya, AI semacam itu memiliki karakteristik industri padat karya yang jelas."

Bagaimana dengan data sintetis?

** "Dengan menggunakan data nyata yang terakumulasi dalam lima atau enam tahun dan ribuan kasus, dapat diselesaikan dalam beberapa hari dan beberapa minggu melalui data sintetik." Jia Kui mengatakan kepada Light Cone Intelligence bahwa dibandingkan dengan pengumpulan dan pelabelan data secara manual , biaya data sintetik Pengurangan beberapa urutan besarnya dapat dicapai. **

**Yang paling penting adalah dalam hal efek pelatihan, data sintetis bisa lebih baik daripada data nyata. **

Karena disintesis berdasarkan hukum fisika, data sintetik lahir dengan anotasi yang benar-benar akurat, yang berarti pembelajaran AI sangat efisien.

Selain itu, "kelengkapan" data sintetik tidak tertandingi oleh data nyata. “Generative AI 2.0 dapat menciptakan dunia yang tak terhitung jumlahnya, dan dapat membuat dunia ini berkembang pesat,” kata Jia Kui.

**Dalam hal industri penglihatan 3D, lengan robot seperti "tangan Tuhan", yang dapat mengendalikan segalanya di masa lalu dan masa depan. **

“Tentu saja, ini tidak boleh berada di luar hukum dunia fisik,” Jia Kui menekankan.

"Saat ini, kami dapat menyelesaikan pelatihan model visual 3D dari lengan robot untuk operasi adegan kompleks tanpa menggunakan gambaran nyata." Jia Kui mengatakan kepada Lightcone Intelligence bahwa operasi fleksibel lengan robot dapat dipandu oleh model yang dilatih sepenuhnya dengan bahan sintetis. data, yang dapat mewujudkan cengkeraman stabil lebih dari 99,9% di tempat.

Justru karena inilah ** data sintetis disebut "mesin gerak abadi data" dari model besar. **

Saat ini, selain bidang penglihatan 3D, banyak bidang juga mencoba menggunakan data sintetik karena masalah seperti kurangnya data umum dan kebisingan yang tinggi. Namun, ada juga keraguan kuat tentang data sintetik, mengatakan bahwa jika tidak di-debug dengan hati-hati dan digunakan secara ekstensif selama pelatihan, ini akan menyebabkan model mogok dan menyebabkan cacat yang tidak dapat diubah.

Dari perspektif evolusi teknologi, data sintetik tidak akan menjadi satu-satunya solusi untuk model besar.

Namun, Jia Kui menunjukkan, "Sebelum menemukan cara yang lebih baik, data sintetik adalah cara terbaik untuk memecahkan masalah praktis saat ini. Jika data nyata yang ditumpuk oleh manusia masih digunakan, di banyak bidang termasuk penglihatan 3D, AGI (Kecerdasan Buatan Umum) ) kecerdasan) tidak akan pernah mungkin.”

Mendobrak "kutukan" komersialisasi AI

Di bidang visi mesin, permintaan akan data sintetik lebih kuat, dan nilai yang dapat dibuka oleh AI 2.0 generatif akan semakin besar.

Sebagai metode persepsi visi mesin yang sangat penting, visi 3D memiliki kebutuhan mendesak akan data sintetik.

"Temukan perbedaannya" di antara banyak bagian yang serupa, dan ubah bahan dan warna objek, dan Anda perlu menyesuaikan parameternya." Seorang praktisi penglihatan 3D mengatakan bahwa kebutuhan yang berbeda dari bidang yang berbeda membuat adegan pendaratan terlalu terfragmentasi. Selesaikan satu proyek lalu sesuaikan ulang proyek lainnya.

Ini berarti sulit bagi perusahaan untuk membentuk produk standar dengan berfokus pada penyelesaian satu atau beberapa persyaratan proyek. Juga tidak mungkin untuk masuk dan memperluas pasar dan mengejar skala keuntungan melalui replikasi yang cepat.

**Biaya marjinal sulit dikurangi, yang akan mengubah perusahaan teknologi menjadi perusahaan proyek dan akhirnya menyeretnya ke bawah. **

"Iblis" ada dalam detailnya.

Seberapa rapuh persepsi visual 3D tradisional? Jia Kui menjelaskan kepada Light Cone Intelligence, "Selama proses menggenggam lengan robotik, jika seseorang lewat dan mengganti cahayanya, tugas itu mungkin gagal."

Hal ini disebabkan oleh prinsip pencitraan perangkat keras kamera 3D. Pencitraan kamera 3D mudah dipengaruhi oleh lingkungan, bentuk objek, bahan, warna, media hamburan, dll., dan masalah ini sulit dipecahkan dalam waktu singkat.

"Mungkin diperlukan seratus langkah untuk memecahkan masalah, tetapi upaya pada langkah terakhir mungkin sama dengan jumlah dari 99 langkah sebelumnya." Yang Fan, salah satu pendiri SenseTime, pernah berkata bahwa sebagian besar energi dari perusahaan perlu digunakan untuk menangani bagian-bagian kecil Masalah ekor panjang.

Tapi sekarang, **"Generative AI 2.0 dengan keserbagunaan yang kuat dapat memecahkan masalah jangka panjang, yang sangat penting untuk standardisasi produk." Kata Jia Kui. **

Dibandingkan dengan model pengembangan khusus industri tradisional, berdasarkan AI 2.0 generatif, perusahaan dapat menggunakan model skala besar umum untuk mewujudkan pengembangan modular produk, mencapai penyebaran out-of-the-box, dan kemudian mewujudkan ekspansi langsung di industri yang sama , dan industri yang berbeda juga dapat menggunakan kembali secara efektif. Masalah komersialisasi industri visi 3D akan mudah dipecahkan.

Pada saat yang sama, biaya data, pengembangan, penerapan, perangkat keras, dan perluasan industri juga turun tajam di setiap tautan.

Di bawah katalisis generatif AI 2.0, begitu penglihatan 3D meledak, itu berarti pemandangan vertikal yang sangat bergantung pada teknologi penglihatan 3D seperti lengan robotik, robot, kendaraan tak berawak, dan metaverse akan berakselerasi untuk memakan dividen AI.

Banyak data telah mengonfirmasi hal ini. Di bidang-bidang seperti pelabelan data, data sintetik, robot industri, dan visi mesin, ukuran pasar global tumbuh dengan kecepatan tinggi, terutama tingkat pertumbuhan gabungan tahunan dari data sintetik bahkan melebihi 30% .

Di balik ini sebenarnya adalah nilai strategis AI 2.0 generatif, yang telah dihargai tinggi oleh teknologi dan banyak raksasa manufaktur.

Dari perusahaan manufaktur mapan seperti Siemens dan Ford, hingga raksasa teknologi seperti Nvidia, Tesla, Google, dan start-up bintang seperti Waabi, mereka semua mulai bekerja di berbagai bidang seperti industri, robotika, mengemudi tanpa awak, perawatan medis. , dan ritel. Jelajahi kemungkinan yang lebih besar dari AI 2.0 generatif.

Pada saat yang sama, antusiasme kapital juga dimobilisasi secara besar-besaran. Menurut statistik yang tidak lengkap, dalam beberapa tahun terakhir, pembiayaan terkait data sintetis asing telah mengakumulasi hampir 800 juta dolar AS.

Di China, perusahaan yang terkait dengan data sintetis juga menarik perhatian kapital. Pada Juni 2022, Kuowei Smart mengumumkan penyelesaian putaran pembiayaan Pra-A, dengan jumlah pembiayaan puluhan juta yuan, dan pembiayaan kumulatif hampir 100 juta yuan dalam waktu kurang dari setahun sejak didirikan; pada Juli ini tahun, Guanglun Smart juga mengumumkan penyelesaian putaran pembiayaan malaikat + Jumlah kumulatif pembiayaan adalah puluhan juta yuan.

**Dapat dikatakan bahwa dari kemampuan menulis puisi hingga belajar fisika, AI 2.0 generatif membuka masa depan digitalisasi industri yang besar. **