Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas
Dalam beberapa tahun terakhir, bidang visi komputer 3D telah dibanjiri dengan teknologi NeRF. Terobosan di bidang ini, NeRF mampu merekonstruksi dan mensintesis pandangan baru dari sebuah adegan. Itu dapat menangkap dan memodelkan informasi geometris dan penampilan yang mendasari dari koleksi gambar multi-tampilan.
Melalui jaringan saraf, NeRF menyediakan cara di luar pendekatan berbasis data tradisional. Jaringan saraf di NeRF belajar untuk merepresentasikan hubungan kompleks antara geometri pemandangan, pencahayaan, dan penampilan yang bergantung pada pandangan, memungkinkan rekonstruksi pemandangan yang sangat detail dan realistis. Kekuatan utama NeRF adalah kemampuannya untuk menghasilkan gambar realistis dari sudut pandang mana pun yang diinginkan dalam suatu pemandangan, bahkan wilayah yang tidak ditangkap oleh set gambar asli.
Keberhasilan NeRF telah membuka kemungkinan baru dalam grafik komputer, realitas virtual, dan realitas tertambah, memungkinkan orang untuk menciptakan lingkungan virtual yang imersif dan interaktif yang sangat mirip dengan skenario dunia nyata. Oleh karena itu, ada minat yang besar untuk lebih memajukan bidang NeRF.
Tetapi beberapa kelemahan NeRF juga membatasi penerapannya dalam skenario dunia nyata. Misalnya, mengedit bidang saraf merupakan tantangan yang signifikan karena pengkodean implisit informasi bentuk dan tekstur dalam fitur jaringan saraf dimensi tinggi. Meskipun beberapa metode mencoba untuk mengatasi masalah ini dengan teknik penyuntingan eksplorasi, metode tersebut seringkali membutuhkan banyak masukan dari pengguna dan sulit untuk mencapai hasil yang tepat dan berkualitas tinggi.
Kemampuan untuk mengedit NeRF dapat membuka kemungkinan untuk aplikasi dunia nyata. Namun, semua upaya sejauh ini tidak cukup untuk mengatasi masalah ini. Tapi sekarang, ada pemain baru di dalam game -- DreamEditor.
DreamEditor memungkinkan pengeditan 3D NeRF. sumber:
DreamEditor adalah kerangka kerja yang ramah pengguna yang memungkinkan modifikasi bidang saraf yang intuitif dan mudah menggunakan isyarat teks. Dengan menggunakan bidang saraf berbasis grid untuk merepresentasikan adegan, dan mengadopsi kerangka pengeditan langkah demi langkah, DreamEditor dapat mencapai berbagai efek pengeditan, termasuk pemetaan ulang, penggantian objek, dan penyisipan objek.
Representasi mesh memfasilitasi pengeditan lokal yang tepat dengan mengubah topeng pengeditan 2D menjadi wilayah pengeditan 3D, sekaligus memisahkan geometri dan tekstur untuk mencegah deformasi yang berlebihan. Kerangka langkah-demi-langkah menggabungkan model difusi pra-pelatihan dengan SDS (pengambilan sampel distilasi skor), memungkinkan pengeditan yang efisien dan akurat berdasarkan petunjuk teks sederhana.
DreamEditor mengikuti tiga tahap utama untuk memfasilitasi pengeditan adegan 3D yang dipandu teks secara intuitif dan tepat. Pada tahap awal, medan radiasi saraf asli ditransformasikan menjadi medan saraf berbasis grid. Representasi grid ini memungkinkan pengeditan selektif spasial. Setelah konversi, ini menggunakan model teks-ke-gambar (T2I) khusus yang dilatih pada adegan tertentu untuk menangkap hubungan semantik antara kata kunci dalam isyarat teks dan konten visual dari adegan tersebut. Terakhir, modifikasi yang telah diedit diterapkan pada objek target dalam medan saraf menggunakan mode difusi T2I.
DreamEditor memungkinkan pengeditan adegan 3D yang akurat dan selangkah demi selangkah sambil mempertahankan tingkat ketelitian dan realisme yang tinggi. Pendekatan langkah demi langkah ini, dari representasi berbasis grid hingga pemosisian yang tepat dan pengeditan terkontrol melalui pola yang menyebar, memungkinkan DreamEditor mencapai hasil pengeditan yang sangat realistis sambil meminimalkan modifikasi yang tidak perlu di area yang tidak relevan.
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Pelajari tentang model AI DreamEditor yang dapat mengedit adegan 3D melalui perintah teks
撰文：Ekrem Chetinkaya
Sumber: MarkTechpost
Dalam beberapa tahun terakhir, bidang visi komputer 3D telah dibanjiri dengan teknologi NeRF. Terobosan di bidang ini, NeRF mampu merekonstruksi dan mensintesis pandangan baru dari sebuah adegan. Itu dapat menangkap dan memodelkan informasi geometris dan penampilan yang mendasari dari koleksi gambar multi-tampilan.
Melalui jaringan saraf, NeRF menyediakan cara di luar pendekatan berbasis data tradisional. Jaringan saraf di NeRF belajar untuk merepresentasikan hubungan kompleks antara geometri pemandangan, pencahayaan, dan penampilan yang bergantung pada pandangan, memungkinkan rekonstruksi pemandangan yang sangat detail dan realistis. Kekuatan utama NeRF adalah kemampuannya untuk menghasilkan gambar realistis dari sudut pandang mana pun yang diinginkan dalam suatu pemandangan, bahkan wilayah yang tidak ditangkap oleh set gambar asli.
Keberhasilan NeRF telah membuka kemungkinan baru dalam grafik komputer, realitas virtual, dan realitas tertambah, memungkinkan orang untuk menciptakan lingkungan virtual yang imersif dan interaktif yang sangat mirip dengan skenario dunia nyata. Oleh karena itu, ada minat yang besar untuk lebih memajukan bidang NeRF.
Tetapi beberapa kelemahan NeRF juga membatasi penerapannya dalam skenario dunia nyata. Misalnya, mengedit bidang saraf merupakan tantangan yang signifikan karena pengkodean implisit informasi bentuk dan tekstur dalam fitur jaringan saraf dimensi tinggi. Meskipun beberapa metode mencoba untuk mengatasi masalah ini dengan teknik penyuntingan eksplorasi, metode tersebut seringkali membutuhkan banyak masukan dari pengguna dan sulit untuk mencapai hasil yang tepat dan berkualitas tinggi.
Kemampuan untuk mengedit NeRF dapat membuka kemungkinan untuk aplikasi dunia nyata. Namun, semua upaya sejauh ini tidak cukup untuk mengatasi masalah ini. Tapi sekarang, ada pemain baru di dalam game -- DreamEditor.
DreamEditor adalah kerangka kerja yang ramah pengguna yang memungkinkan modifikasi bidang saraf yang intuitif dan mudah menggunakan isyarat teks. Dengan menggunakan bidang saraf berbasis grid untuk merepresentasikan adegan, dan mengadopsi kerangka pengeditan langkah demi langkah, DreamEditor dapat mencapai berbagai efek pengeditan, termasuk pemetaan ulang, penggantian objek, dan penyisipan objek.
Representasi mesh memfasilitasi pengeditan lokal yang tepat dengan mengubah topeng pengeditan 2D menjadi wilayah pengeditan 3D, sekaligus memisahkan geometri dan tekstur untuk mencegah deformasi yang berlebihan. Kerangka langkah-demi-langkah menggabungkan model difusi pra-pelatihan dengan SDS (pengambilan sampel distilasi skor), memungkinkan pengeditan yang efisien dan akurat berdasarkan petunjuk teks sederhana.
DreamEditor memungkinkan pengeditan adegan 3D yang akurat dan selangkah demi selangkah sambil mempertahankan tingkat ketelitian dan realisme yang tinggi. Pendekatan langkah demi langkah ini, dari representasi berbasis grid hingga pemosisian yang tepat dan pengeditan terkontrol melalui pola yang menyebar, memungkinkan DreamEditor mencapai hasil pengeditan yang sangat realistis sambil meminimalkan modifikasi yang tidak perlu di area yang tidak relevan.