This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
テキストプロンプトを通じて3Dシーンを編集できるAIモデルDreamEditorについて学びます
抜粋文：エクレム・チェティンカヤ
出典: MarkTechpost
近年、3D コンピュータ ビジョンの分野には NeRF テクノロジが溢れています。この分野における画期的な NeRF は、シーンの新しいビューを再構築して合成することができます。マルチビュー画像コレクションから基礎となる幾何学的情報と外観情報をキャプチャしてモデル化できます。
NeRF は、ニューラル ネットワークを通じて、従来のデータ駆動型アプローチを超える方法を提供します。 NeRF のニューラル ネットワークは、シーンのジオメトリ、照明、視線依存の外観の間の複雑な関係を表現することを学習し、非常に詳細でリアルなシーンの再構築を可能にします。 NeRF の主な強みは、元の画像セットでキャプチャされていない領域であっても、シーン内の任意の視点からリアルな画像を生成できることです。
NeRF の成功により、コンピューター グラフィックス、仮想現実、拡張現実の新たな可能性が開かれ、現実世界のシナリオによく似た没入型でインタラクティブな仮想環境を作成できるようになりました。したがって、NeRF の分野をさらに発展させることに大きな関心が寄せられています。
ただし、NeRF にはいくつかの欠点があり、現実世界のシナリオでの応用が制限されます。たとえば、高次元ニューラル ネットワーク フィーチャでは形状およびテクスチャ情報が暗黙的にエンコードされているため、ニューラル フィールドの編集は大きな課題です。探索的な編集技術を使用してこの問題に対処しようとする方法もありますが、多くの場合、多くのユーザー入力が必要であり、正確で高品質の結果を達成するのは困難です。
NeRF を編集できるため、現実世界のアプリケーションの可能性が広がります。しかし、これまでのあらゆる試みはこれらの問題に対処するには不十分でした。しかし今、ゲームに新しいプレーヤー、DreamEditor が加わりました。
DreamEditor は、テキスト キューを使用してニューラル フィールドを直感的かつ簡単に変更できるユーザーフレンドリーなフレームワークです。 DreamEditor は、グリッドベースのニューラル フィールドを使用してシーンを表現し、ステップバイステップの編集フレームワークを採用することで、再マッピング、オブジェクトの置換、オブジェクトの挿入などのさまざまな編集効果を実現できます。
メッシュ表現は、2D 編集マスクを 3D 編集領域に変換することで正確なローカル編集を容易にすると同時に、ジオメトリとテクスチャを分離して過度の変形を防ぎます。ステップバイステップのフレームワークは、事前トレーニングされた拡散モデルと SDS (スコア蒸留サンプリング) を組み合わせ、単純なテキスト プロンプトに基づいて効率的かつ正確な編集を可能にします。
DreamEditor を使用すると、高レベルの忠実性とリアリズムを維持しながら、3D シーンを正確に段階的に編集できます。グリッドベースの表現から正確な位置決め、拡散パターンによる制御された編集まで、この段階的なアプローチにより、DreamEditor は無関係な領域での不必要な変更を最小限に抑えながら、非常に現実的な編集結果を実現できます。