Resim kaynağı: Unbounded AI aracı tarafından oluşturulmuştur
Son yıllarda, 3D bilgisayar görüşü alanı NeRF teknolojisi ile dolup taştı. Bu alanda çığır açan NeRF, bir sahnenin yeni görünümlerini yeniden yapılandırabilir ve sentezleyebilir. Çoklu görüntü koleksiyonlarından temel geometrik ve görünüm bilgilerini yakalayabilir ve modelleyebilir.
Sinir ağları aracılığıyla NeRF, geleneksel veri odaklı yaklaşımların ötesinde bir yol sunar. NeRF'deki sinir ağı, sahne geometrisi, ışıklandırma ve bakışa bağlı görünüm arasındaki karmaşık ilişkileri temsil etmeyi öğrenerek oldukça ayrıntılı ve gerçekçi sahne rekonstrüksiyonlarına olanak tanır. NeRF'lerin önemli bir gücü, orijinal görüntü seti tarafından yakalanmayan bölgeler dahil olmak üzere bir sahnede istenen herhangi bir bakış açısından gerçekçi görüntüler oluşturma yetenekleridir.
NeRF'nin başarısı, bilgisayar grafikleri, sanal gerçeklik ve artırılmış gerçeklikte yeni olasılıklar yaratarak, insanların gerçek dünya senaryolarına çok benzeyen, sürükleyici ve etkileşimli sanal ortamlar yaratmasını sağladı. Bu nedenle, NeRF alanını daha da geliştirmeye büyük ilgi var.
Ancak NeRF'nin bazı dezavantajları, gerçek dünya senaryolarındaki uygulamalarını da sınırlandırıyor. Örneğin, nöral alanların düzenlenmesi, yüksek boyutlu nöral ağ özelliklerinde şekil ve doku bilgilerinin örtülü olarak kodlanması nedeniyle önemli bir zorluktur. Bazı yöntemler keşif düzenleme teknikleriyle bu sorunu çözmeye çalışsa da, genellikle çok fazla kullanıcı girişi gerektirir ve kesin ve yüksek kaliteli sonuçlar elde etmek zordur.
NeRF'yi düzenleme yeteneği, gerçek dünya uygulamaları için olanaklar açabilir. Ancak, bugüne kadar yapılan tüm girişimler bu sorunları çözmek için yetersiz kalmıştır. Ama şimdi oyunda yeni bir oyuncu var -- DreamEditor.
DreamEditor, 3D NeRF düzenlemeye izin verir. kaynak:
DreamEditor, metin ipuçlarını kullanarak nöral alanların sezgisel ve kolay bir şekilde değiştirilmesine izin veren kullanıcı dostu bir çerçevedir. DreamEditor, sahneyi temsil etmek için ızgara tabanlı bir nöral alan kullanarak ve adım adım düzenleme çerçevesini benimseyerek, yeniden eşleme, nesne değiştirme ve nesne ekleme dahil olmak üzere çeşitli düzenleme efektleri elde edebilir.
Kafes gösterimi, 2B düzenleme maskelerini 3B düzenleme bölgelerine dönüştürerek ve aynı zamanda aşırı deformasyonu önlemek için geometri ve dokuları ayırarak hassas yerel düzenlemeyi kolaylaştırır. Adım adım çerçeve, önceden eğitilmiş bir yayılma modelini SDS (puan ayrıştırma örneklemesi) ile birleştirerek basit metin istemlerine dayalı verimli ve doğru düzenlemeye olanak tanır.
DreamEditor, sezgisel ve hassas metin kılavuzlu 3B sahne düzenlemeyi kolaylaştırmak için üç temel aşamayı takip eder. İlk aşamada, orijinal nöral radyasyon alanı, ızgara tabanlı bir nöral alana dönüştürülür. Bu ızgara gösterimi, uzamsal olarak seçici düzenlemeye olanak tanır. Dönüştürmeden sonra, metin ipuçlarındaki anahtar sözcükler ile sahnenin görsel içeriği arasındaki anlamsal ilişkiyi yakalamak için belirli bir sahnede eğitilmiş özel bir metinden görüntüye (T2I) modeli kullanır. Son olarak, düzenlenen değişiklik, T2I difüzyon modu kullanılarak nöral alan içindeki hedef nesneye uygulanır.
DreamEditor, yüksek düzeyde aslına uygunluk ve gerçekçiliği korurken 3B sahnelerin doğru, adım adım düzenlenmesini sağlar. Izgara tabanlı temsilden hassas konumlandırmaya ve dağınık modeller aracılığıyla kontrollü düzenlemeye kadar bu adım adım yaklaşım, DreamEditor'ın ilgisiz alanlarda gereksiz değişiklikleri en aza indirirken son derece gerçekçi düzenleme sonuçları elde etmesini sağlar.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
3B sahneleri metin komutlarıyla düzenleyebilen AI modeli DreamEditor hakkında bilgi edinin
kaydeden Ekrem Çetinkaya
Kaynak: MarkTechpost
Son yıllarda, 3D bilgisayar görüşü alanı NeRF teknolojisi ile dolup taştı. Bu alanda çığır açan NeRF, bir sahnenin yeni görünümlerini yeniden yapılandırabilir ve sentezleyebilir. Çoklu görüntü koleksiyonlarından temel geometrik ve görünüm bilgilerini yakalayabilir ve modelleyebilir.
Sinir ağları aracılığıyla NeRF, geleneksel veri odaklı yaklaşımların ötesinde bir yol sunar. NeRF'deki sinir ağı, sahne geometrisi, ışıklandırma ve bakışa bağlı görünüm arasındaki karmaşık ilişkileri temsil etmeyi öğrenerek oldukça ayrıntılı ve gerçekçi sahne rekonstrüksiyonlarına olanak tanır. NeRF'lerin önemli bir gücü, orijinal görüntü seti tarafından yakalanmayan bölgeler dahil olmak üzere bir sahnede istenen herhangi bir bakış açısından gerçekçi görüntüler oluşturma yetenekleridir.
NeRF'nin başarısı, bilgisayar grafikleri, sanal gerçeklik ve artırılmış gerçeklikte yeni olasılıklar yaratarak, insanların gerçek dünya senaryolarına çok benzeyen, sürükleyici ve etkileşimli sanal ortamlar yaratmasını sağladı. Bu nedenle, NeRF alanını daha da geliştirmeye büyük ilgi var.
Ancak NeRF'nin bazı dezavantajları, gerçek dünya senaryolarındaki uygulamalarını da sınırlandırıyor. Örneğin, nöral alanların düzenlenmesi, yüksek boyutlu nöral ağ özelliklerinde şekil ve doku bilgilerinin örtülü olarak kodlanması nedeniyle önemli bir zorluktur. Bazı yöntemler keşif düzenleme teknikleriyle bu sorunu çözmeye çalışsa da, genellikle çok fazla kullanıcı girişi gerektirir ve kesin ve yüksek kaliteli sonuçlar elde etmek zordur.
NeRF'yi düzenleme yeteneği, gerçek dünya uygulamaları için olanaklar açabilir. Ancak, bugüne kadar yapılan tüm girişimler bu sorunları çözmek için yetersiz kalmıştır. Ama şimdi oyunda yeni bir oyuncu var -- DreamEditor.
DreamEditor, metin ipuçlarını kullanarak nöral alanların sezgisel ve kolay bir şekilde değiştirilmesine izin veren kullanıcı dostu bir çerçevedir. DreamEditor, sahneyi temsil etmek için ızgara tabanlı bir nöral alan kullanarak ve adım adım düzenleme çerçevesini benimseyerek, yeniden eşleme, nesne değiştirme ve nesne ekleme dahil olmak üzere çeşitli düzenleme efektleri elde edebilir.
Kafes gösterimi, 2B düzenleme maskelerini 3B düzenleme bölgelerine dönüştürerek ve aynı zamanda aşırı deformasyonu önlemek için geometri ve dokuları ayırarak hassas yerel düzenlemeyi kolaylaştırır. Adım adım çerçeve, önceden eğitilmiş bir yayılma modelini SDS (puan ayrıştırma örneklemesi) ile birleştirerek basit metin istemlerine dayalı verimli ve doğru düzenlemeye olanak tanır.
DreamEditor, yüksek düzeyde aslına uygunluk ve gerçekçiliği korurken 3B sahnelerin doğru, adım adım düzenlenmesini sağlar. Izgara tabanlı temsilden hassas konumlandırmaya ve dağınık modeller aracılığıyla kontrollü düzenlemeye kadar bu adım adım yaklaşım, DreamEditor'ın ilgisiz alanlarda gereksiz değişiklikleri en aza indirirken son derece gerçekçi düzenleme sonuçları elde etmesini sağlar.