Источник изображения: сгенерировано инструментом Unbounded AI
В последние годы область трехмерного компьютерного зрения была наводнена технологией NeRF. Прорыв в этой области, NeRF способен реконструировать и синтезировать новые виды сцены. Он может захватывать и моделировать базовую геометрическую информацию и информацию о внешнем виде из коллекций изображений с несколькими представлениями.
Благодаря нейронным сетям NeRF обеспечивает выход за рамки традиционных подходов, основанных на данных. Нейронная сеть в NeRF учится представлять сложные взаимосвязи между геометрией сцены, освещением и внешним видом, зависящим от взгляда, что позволяет создавать высокодетализированные и реалистичные реконструкции сцен. Ключевой силой NeRF является их способность генерировать реалистичные изображения с любой желаемой точки зрения в сцене, даже из областей, не захваченных исходным набором изображений.
Успех NeRF открыл новые возможности в компьютерной графике, виртуальной реальности и дополненной реальности, позволяя людям создавать захватывающие и интерактивные виртуальные среды, очень похожие на сценарии реального мира. Поэтому существует большой интерес к дальнейшему развитию NeRF.
Но некоторые недостатки NeRF также ограничивают их применение в реальных сценариях. Например, редактирование нейронных полей является серьезной проблемой из-за неявного кодирования информации о форме и текстуре в многомерных функциях нейронной сети. Хотя некоторые методы пытаются решить эту проблему с помощью методов исследовательского редактирования, они часто требуют большого количества действий пользователя, и трудно получить точные и высококачественные результаты.
Возможность редактировать NeRF может открыть возможности для реальных приложений. Однако до сих пор все попытки решить эти проблемы оказались недостаточными. Но теперь в игре появился новый игрок — DreamEditor.
DreamEditor позволяет редактировать 3D NeRF. источник:
DreamEditor — это удобный фреймворк, позволяющий интуитивно и легко модифицировать нейронные поля с помощью текстовых подсказок. Используя нейронное поле на основе сетки для представления сцены и применяя структуру пошагового редактирования, DreamEditor может достигать различных эффектов редактирования, включая переназначение, замену объектов и вставку объектов.
Представление сетки облегчает точное локальное редактирование за счет преобразования масок 2D-редактирования в области 3D-редактирования, а также разделения геометрии и текстур для предотвращения чрезмерной деформации. Пошаговая структура сочетает в себе предварительно обученную диффузионную модель с SDS (выборка дистилляции оценок), что позволяет эффективно и точно редактировать на основе простых текстовых подсказок.
DreamEditor следует трем ключевым этапам, чтобы упростить интуитивно понятное и точное редактирование 3D-сцен с текстовым сопровождением. На начальном этапе исходное поле нейронного излучения преобразуется в нейронное поле на основе сетки. Это представление сетки позволяет осуществлять пространственно-избирательное редактирование. После преобразования он использует пользовательскую модель преобразования текста в изображение (T2I), обученную на конкретной сцене, чтобы зафиксировать семантическую связь между ключевыми словами в текстовых подсказках и визуальным содержанием сцены. Наконец, отредактированная модификация применяется к целевому объекту в пределах нейронного поля с использованием режима диффузии T2I.
DreamEditor обеспечивает точное пошаговое редактирование 3D-сцен, сохраняя при этом высокий уровень точности и реализма. Этот пошаговый подход, от представления на основе сетки до точного позиционирования и контролируемого редактирования с помощью размытых шаблонов, позволяет DreamEditor достигать очень реалистичных результатов редактирования, сводя к минимуму ненужные изменения в ненужных областях.
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Узнайте о модели искусственного интеллекта DreamEditor, которая может редактировать 3D-сцены с помощью текстовых подсказок.
Исполнитель: Экрем Четинкая
Источник: МаркТехпост
В последние годы область трехмерного компьютерного зрения была наводнена технологией NeRF. Прорыв в этой области, NeRF способен реконструировать и синтезировать новые виды сцены. Он может захватывать и моделировать базовую геометрическую информацию и информацию о внешнем виде из коллекций изображений с несколькими представлениями.
Благодаря нейронным сетям NeRF обеспечивает выход за рамки традиционных подходов, основанных на данных. Нейронная сеть в NeRF учится представлять сложные взаимосвязи между геометрией сцены, освещением и внешним видом, зависящим от взгляда, что позволяет создавать высокодетализированные и реалистичные реконструкции сцен. Ключевой силой NeRF является их способность генерировать реалистичные изображения с любой желаемой точки зрения в сцене, даже из областей, не захваченных исходным набором изображений.
Успех NeRF открыл новые возможности в компьютерной графике, виртуальной реальности и дополненной реальности, позволяя людям создавать захватывающие и интерактивные виртуальные среды, очень похожие на сценарии реального мира. Поэтому существует большой интерес к дальнейшему развитию NeRF.
Но некоторые недостатки NeRF также ограничивают их применение в реальных сценариях. Например, редактирование нейронных полей является серьезной проблемой из-за неявного кодирования информации о форме и текстуре в многомерных функциях нейронной сети. Хотя некоторые методы пытаются решить эту проблему с помощью методов исследовательского редактирования, они часто требуют большого количества действий пользователя, и трудно получить точные и высококачественные результаты.
Возможность редактировать NeRF может открыть возможности для реальных приложений. Однако до сих пор все попытки решить эти проблемы оказались недостаточными. Но теперь в игре появился новый игрок — DreamEditor.
DreamEditor — это удобный фреймворк, позволяющий интуитивно и легко модифицировать нейронные поля с помощью текстовых подсказок. Используя нейронное поле на основе сетки для представления сцены и применяя структуру пошагового редактирования, DreamEditor может достигать различных эффектов редактирования, включая переназначение, замену объектов и вставку объектов.
Представление сетки облегчает точное локальное редактирование за счет преобразования масок 2D-редактирования в области 3D-редактирования, а также разделения геометрии и текстур для предотвращения чрезмерной деформации. Пошаговая структура сочетает в себе предварительно обученную диффузионную модель с SDS (выборка дистилляции оценок), что позволяет эффективно и точно редактировать на основе простых текстовых подсказок.
DreamEditor обеспечивает точное пошаговое редактирование 3D-сцен, сохраняя при этом высокий уровень точности и реализма. Этот пошаговый подход, от представления на основе сетки до точного позиционирования и контролируемого редактирования с помощью размытых шаблонов, позволяет DreamEditor достигать очень реалистичных результатов редактирования, сводя к минимуму ненужные изменения в ненужных областях.