Fuente de la imagen: Generada por la herramienta de IA Unbounded
En los últimos años, el campo de la visión por computadora en 3D se ha inundado con la tecnología NeRF. Un gran avance en este campo, NeRF es capaz de reconstruir y sintetizar nuevas vistas de una escena. Puede capturar y modelar información geométrica y de apariencia subyacente de colecciones de imágenes de vista múltiple.
A través de las redes neuronales, NeRF ofrece un camino más allá de los enfoques tradicionales basados en datos. La red neuronal en NeRF aprende a representar relaciones complejas entre la geometría de la escena, la iluminación y la apariencia dependiente de la mirada, lo que permite reconstrucciones de escenas muy detalladas y realistas. Una fortaleza clave de los NeRF es su capacidad para generar imágenes realistas desde cualquier punto de vista deseado en una escena, incluso regiones no capturadas por el conjunto de imágenes original.
El éxito de NeRF ha abierto nuevas posibilidades en gráficos por computadora, realidad virtual y realidad aumentada, lo que permite a las personas crear entornos virtuales inmersivos e interactivos que se parecen mucho a los escenarios del mundo real. Por lo tanto, existe un gran interés en seguir avanzando en el campo de NeRF.
Pero algunas desventajas de NeRF también limitan su aplicación en escenarios del mundo real. Por ejemplo, editar campos neuronales es un desafío importante debido a la codificación implícita de la información de forma y textura en las funciones de redes neuronales de alta dimensión. Aunque algunos métodos tratan de abordar este problema con técnicas de edición exploratoria, a menudo requieren mucha participación del usuario y es difícil lograr resultados precisos y de alta calidad.
La capacidad de editar NeRF puede abrir posibilidades para aplicaciones del mundo real. Sin embargo, todos los intentos hasta ahora han sido insuficientes para abordar estos problemas. Pero ahora, hay un nuevo jugador en el juego: DreamEditor.
DreamEditor permite editar NeRF 3D. fuente:
DreamEditor es un marco fácil de usar que permite la modificación intuitiva y fácil de los campos neuronales utilizando señales de texto. Mediante el uso de un campo neuronal basado en cuadrículas para representar la escena y la adopción de un marco de edición paso a paso, DreamEditor puede lograr una variedad de efectos de edición, que incluyen la reasignación, el reemplazo de objetos y la inserción de objetos.
La representación de malla facilita la edición local precisa al convertir máscaras de edición 2D en regiones de edición 3D, al mismo tiempo que separa la geometría y las texturas para evitar una deformación excesiva. El marco paso a paso combina un modelo de difusión previamente entrenado con SDS (muestreo de destilación de puntaje), lo que permite una edición eficiente y precisa basada en indicaciones de texto simples.
DreamEditor sigue tres etapas clave para facilitar la edición de escenas 3D intuitiva y precisa guiada por texto. En la etapa inicial, el campo de radiación neural original se transforma en un campo neural basado en una cuadrícula. Esta representación de cuadrícula permite la edición espacialmente selectiva. Después de la conversión, emplea un modelo personalizado de texto a imagen (T2I) entrenado en una escena específica para capturar la relación semántica entre las palabras clave en las señales de texto y el contenido visual de la escena. Finalmente, la modificación editada se aplica al objeto de destino dentro del campo neural utilizando el modo de difusión T2I.
DreamEditor permite la edición precisa paso a paso de escenas 3D manteniendo un alto nivel de fidelidad y realismo. Este enfoque paso a paso, desde la representación basada en cuadrículas hasta el posicionamiento preciso y la edición controlada a través de patrones difusos, permite que DreamEditor logre resultados de edición muy realistas y minimice las modificaciones innecesarias en áreas irrelevantes.
Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Obtenga información sobre el modelo de IA DreamEditor que puede editar escenas 3D a través de indicaciones de texto
Nombre: Ekrem Chetinkaya
Fuente: MarkTechpost
En los últimos años, el campo de la visión por computadora en 3D se ha inundado con la tecnología NeRF. Un gran avance en este campo, NeRF es capaz de reconstruir y sintetizar nuevas vistas de una escena. Puede capturar y modelar información geométrica y de apariencia subyacente de colecciones de imágenes de vista múltiple.
A través de las redes neuronales, NeRF ofrece un camino más allá de los enfoques tradicionales basados en datos. La red neuronal en NeRF aprende a representar relaciones complejas entre la geometría de la escena, la iluminación y la apariencia dependiente de la mirada, lo que permite reconstrucciones de escenas muy detalladas y realistas. Una fortaleza clave de los NeRF es su capacidad para generar imágenes realistas desde cualquier punto de vista deseado en una escena, incluso regiones no capturadas por el conjunto de imágenes original.
El éxito de NeRF ha abierto nuevas posibilidades en gráficos por computadora, realidad virtual y realidad aumentada, lo que permite a las personas crear entornos virtuales inmersivos e interactivos que se parecen mucho a los escenarios del mundo real. Por lo tanto, existe un gran interés en seguir avanzando en el campo de NeRF.
Pero algunas desventajas de NeRF también limitan su aplicación en escenarios del mundo real. Por ejemplo, editar campos neuronales es un desafío importante debido a la codificación implícita de la información de forma y textura en las funciones de redes neuronales de alta dimensión. Aunque algunos métodos tratan de abordar este problema con técnicas de edición exploratoria, a menudo requieren mucha participación del usuario y es difícil lograr resultados precisos y de alta calidad.
La capacidad de editar NeRF puede abrir posibilidades para aplicaciones del mundo real. Sin embargo, todos los intentos hasta ahora han sido insuficientes para abordar estos problemas. Pero ahora, hay un nuevo jugador en el juego: DreamEditor.
DreamEditor es un marco fácil de usar que permite la modificación intuitiva y fácil de los campos neuronales utilizando señales de texto. Mediante el uso de un campo neuronal basado en cuadrículas para representar la escena y la adopción de un marco de edición paso a paso, DreamEditor puede lograr una variedad de efectos de edición, que incluyen la reasignación, el reemplazo de objetos y la inserción de objetos.
La representación de malla facilita la edición local precisa al convertir máscaras de edición 2D en regiones de edición 3D, al mismo tiempo que separa la geometría y las texturas para evitar una deformación excesiva. El marco paso a paso combina un modelo de difusión previamente entrenado con SDS (muestreo de destilación de puntaje), lo que permite una edición eficiente y precisa basada en indicaciones de texto simples.
DreamEditor permite la edición precisa paso a paso de escenas 3D manteniendo un alto nivel de fidelidad y realismo. Este enfoque paso a paso, desde la representación basada en cuadrículas hasta el posicionamiento preciso y la edición controlada a través de patrones difusos, permite que DreamEditor logre resultados de edición muy realistas y minimice las modificaciones innecesarias en áreas irrelevantes.