Fonte da imagem: Gerada pela ferramenta Unbounded AI
Nos últimos anos, o campo da visão computacional 3D foi inundado com a tecnologia NeRF. Um avanço neste campo, o NeRF é capaz de reconstruir e sintetizar novas visões de uma cena. Ele pode capturar e modelar informações geométricas e de aparência subjacentes de coleções de imagens com múltiplas visualizações.
Por meio de redes neurais, o NeRF oferece um caminho além das abordagens tradicionais baseadas em dados. A rede neural no NeRF aprende a representar relacionamentos complexos entre a geometria da cena, a iluminação e a aparência dependente do olhar, permitindo reconstruções de cena altamente detalhadas e realistas. Um ponto forte dos NeRFs é sua capacidade de gerar imagens realistas de qualquer ponto de vista desejado em uma cena, mesmo regiões não capturadas pelo conjunto de imagens original.
O sucesso do NeRF abriu novas possibilidades em computação gráfica, realidade virtual e realidade aumentada, permitindo que as pessoas criem ambientes virtuais imersivos e interativos que se assemelham a cenários do mundo real. Portanto, há grande interesse em avançar ainda mais no campo da NeRF.
Mas algumas desvantagens do NeRF também limitam sua aplicação em cenários do mundo real. Por exemplo, editar campos neurais é um desafio significativo devido à codificação implícita de informações de forma e textura em recursos de rede neural de alta dimensão. Embora alguns métodos tentem resolver esse problema com técnicas de edição exploratória, eles geralmente exigem muita entrada do usuário e é difícil obter resultados precisos e de alta qualidade.
A capacidade de editar NeRF pode abrir possibilidades para aplicações do mundo real. No entanto, todas as tentativas até agora têm sido insuficientes para resolver essas questões. Mas agora há um novo jogador no jogo - DreamEditor.
DreamEditor permite editar 3D NeRF. fonte:
DreamEditor é uma estrutura amigável que permite modificação intuitiva e fácil de campos neurais usando dicas de texto. Usando um campo neural baseado em grade para representar a cena e adotando uma estrutura de edição passo a passo, o DreamEditor pode obter uma variedade de efeitos de edição, incluindo remapeamento, substituição de objeto e inserção de objeto.
A representação de malha facilita a edição local precisa, convertendo máscaras de edição 2D em regiões de edição 3D, ao mesmo tempo em que separa a geometria e as texturas para evitar deformação excessiva. A estrutura passo a passo combina um modelo de difusão pré-treinado com SDS (amostragem de destilação de pontuação), permitindo edição eficiente e precisa com base em prompts de texto simples.
O DreamEditor segue três etapas principais para facilitar a edição intuitiva e precisa de cenas 3D guiadas por texto. No estágio inicial, o campo de radiação neural original é transformado em um campo neural baseado em grade. Essa representação em grade permite a edição espacialmente seletiva. Após a conversão, ele emprega um modelo customizado de conversão de texto em imagem (T2I) treinado em uma cena específica para capturar a relação semântica entre palavras-chave em dicas de texto e o conteúdo visual da cena. Finalmente, a modificação editada é aplicada ao objeto alvo dentro do campo neural usando o modo de difusão T2I.
O DreamEditor permite a edição passo a passo precisa de cenas 3D, mantendo um alto nível de fidelidade e realismo. Essa abordagem passo a passo, desde a representação baseada em grade até o posicionamento preciso e a edição controlada por meio de padrões difusos, permite que o DreamEditor obtenha resultados de edição altamente realistas, minimizando modificações desnecessárias em áreas irrelevantes.
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Conheça o modelo AI DreamEditor que pode editar cenas 3D por meio de prompts de texto
Nome: Ekrem Chetinkaya
Fonte: MarkTechpost
Nos últimos anos, o campo da visão computacional 3D foi inundado com a tecnologia NeRF. Um avanço neste campo, o NeRF é capaz de reconstruir e sintetizar novas visões de uma cena. Ele pode capturar e modelar informações geométricas e de aparência subjacentes de coleções de imagens com múltiplas visualizações.
Por meio de redes neurais, o NeRF oferece um caminho além das abordagens tradicionais baseadas em dados. A rede neural no NeRF aprende a representar relacionamentos complexos entre a geometria da cena, a iluminação e a aparência dependente do olhar, permitindo reconstruções de cena altamente detalhadas e realistas. Um ponto forte dos NeRFs é sua capacidade de gerar imagens realistas de qualquer ponto de vista desejado em uma cena, mesmo regiões não capturadas pelo conjunto de imagens original.
O sucesso do NeRF abriu novas possibilidades em computação gráfica, realidade virtual e realidade aumentada, permitindo que as pessoas criem ambientes virtuais imersivos e interativos que se assemelham a cenários do mundo real. Portanto, há grande interesse em avançar ainda mais no campo da NeRF.
Mas algumas desvantagens do NeRF também limitam sua aplicação em cenários do mundo real. Por exemplo, editar campos neurais é um desafio significativo devido à codificação implícita de informações de forma e textura em recursos de rede neural de alta dimensão. Embora alguns métodos tentem resolver esse problema com técnicas de edição exploratória, eles geralmente exigem muita entrada do usuário e é difícil obter resultados precisos e de alta qualidade.
A capacidade de editar NeRF pode abrir possibilidades para aplicações do mundo real. No entanto, todas as tentativas até agora têm sido insuficientes para resolver essas questões. Mas agora há um novo jogador no jogo - DreamEditor.
DreamEditor é uma estrutura amigável que permite modificação intuitiva e fácil de campos neurais usando dicas de texto. Usando um campo neural baseado em grade para representar a cena e adotando uma estrutura de edição passo a passo, o DreamEditor pode obter uma variedade de efeitos de edição, incluindo remapeamento, substituição de objeto e inserção de objeto.
A representação de malha facilita a edição local precisa, convertendo máscaras de edição 2D em regiões de edição 3D, ao mesmo tempo em que separa a geometria e as texturas para evitar deformação excessiva. A estrutura passo a passo combina um modelo de difusão pré-treinado com SDS (amostragem de destilação de pontuação), permitindo edição eficiente e precisa com base em prompts de texto simples.
O DreamEditor permite a edição passo a passo precisa de cenas 3D, mantendo um alto nível de fidelidade e realismo. Essa abordagem passo a passo, desde a representação baseada em grade até o posicionamento preciso e a edição controlada por meio de padrões difusos, permite que o DreamEditor obtenha resultados de edição altamente realistas, minimizando modificações desnecessárias em áreas irrelevantes.