Source de l'image : générée par l'outil d'IA illimitée
Ces dernières années, le domaine de la vision par ordinateur 3D a été inondé de technologie NeRF. Une percée dans ce domaine, NeRF est capable de reconstruire et de synthétiser de nouvelles vues d'une scène. Il peut capturer et modéliser les informations géométriques et d'apparence sous-jacentes à partir de collections d'images à vues multiples.
Grâce aux réseaux de neurones, NeRF offre un moyen au-delà des approches traditionnelles axées sur les données. Le réseau de neurones de NeRF apprend à représenter les relations complexes entre la géométrie de la scène, l'éclairage et l'apparence dépendant du regard, permettant des reconstructions de scène très détaillées et réalistes. L'une des principales forces des NeRF est leur capacité à générer des images réalistes à partir de n'importe quel point de vue souhaité dans une scène, même des régions non capturées par l'ensemble d'images d'origine.
Le succès de NeRF a ouvert de nouvelles possibilités dans l'infographie, la réalité virtuelle et la réalité augmentée, permettant aux gens de créer des environnements virtuels immersifs et interactifs qui ressemblent étroitement à des scénarios du monde réel. Par conséquent, il y a un grand intérêt à faire progresser le domaine du NeRF.
Mais certains inconvénients de NeRF limitent également leur application dans des scénarios réels. Par exemple, l'édition des champs neuronaux est un défi important en raison du codage implicite des informations de forme et de texture dans les caractéristiques du réseau neuronal de grande dimension. Bien que certaines méthodes tentent de résoudre ce problème avec des techniques d'édition exploratoires, elles nécessitent souvent beaucoup d'interventions de la part de l'utilisateur et il est difficile d'obtenir des résultats précis et de haute qualité.
La possibilité d'éditer NeRF peut ouvrir des possibilités d'applications dans le monde réel. Cependant, toutes les tentatives jusqu'à présent ont été insuffisantes pour résoudre ces problèmes. Mais maintenant, il y a un nouveau joueur dans le jeu : DreamEditor.
DreamEditor permet d'éditer NeRF 3D. source:
DreamEditor est un cadre convivial qui permet une modification intuitive et facile des champs neuronaux à l'aide d'indices de texte. En utilisant un champ neuronal basé sur une grille pour représenter la scène et en adoptant un cadre d'édition étape par étape, DreamEditor peut obtenir une variété d'effets d'édition, y compris le remappage, le remplacement d'objet et l'insertion d'objet.
La représentation maillée facilite l'édition locale précise en convertissant les masques d'édition 2D en régions d'édition 3D, tout en séparant également la géométrie et les textures pour éviter une déformation excessive. Le cadre étape par étape combine un modèle de diffusion pré-formé avec SDS (échantillonnage par distillation de score), permettant une édition efficace et précise basée sur de simples invites de texte.
DreamEditor suit trois étapes clés pour faciliter l'édition intuitive et précise de scènes 3D guidées par du texte. Au stade initial, le champ de rayonnement neuronal d'origine est transformé en un champ neuronal basé sur une grille. Cette représentation en grille permet une édition spatialement sélective. Après la conversion, il utilise un modèle texte-image (T2I) personnalisé formé sur une scène spécifique pour capturer la relation sémantique entre les mots-clés dans les signaux textuels et le contenu visuel de la scène. Enfin, la modification éditée est appliquée à l'objet cible dans le champ neuronal en utilisant le mode de diffusion T2I.
DreamEditor permet une édition précise et pas à pas des scènes 3D tout en maintenant un haut niveau de fidélité et de réalisme. Cette approche étape par étape, de la représentation basée sur une grille au positionnement précis et à l'édition contrôlée via des motifs diffus, permet à DreamEditor d'obtenir des résultats d'édition très réalistes tout en minimisant les modifications inutiles dans les zones non pertinentes.
Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
En savoir plus sur le modèle AI DreamEditor qui peut éditer des scènes 3D via des invites de texte
撰文：Ekrem Chetinkaya
Source : MarkTechpost
Ces dernières années, le domaine de la vision par ordinateur 3D a été inondé de technologie NeRF. Une percée dans ce domaine, NeRF est capable de reconstruire et de synthétiser de nouvelles vues d'une scène. Il peut capturer et modéliser les informations géométriques et d'apparence sous-jacentes à partir de collections d'images à vues multiples.
Grâce aux réseaux de neurones, NeRF offre un moyen au-delà des approches traditionnelles axées sur les données. Le réseau de neurones de NeRF apprend à représenter les relations complexes entre la géométrie de la scène, l'éclairage et l'apparence dépendant du regard, permettant des reconstructions de scène très détaillées et réalistes. L'une des principales forces des NeRF est leur capacité à générer des images réalistes à partir de n'importe quel point de vue souhaité dans une scène, même des régions non capturées par l'ensemble d'images d'origine.
Le succès de NeRF a ouvert de nouvelles possibilités dans l'infographie, la réalité virtuelle et la réalité augmentée, permettant aux gens de créer des environnements virtuels immersifs et interactifs qui ressemblent étroitement à des scénarios du monde réel. Par conséquent, il y a un grand intérêt à faire progresser le domaine du NeRF.
Mais certains inconvénients de NeRF limitent également leur application dans des scénarios réels. Par exemple, l'édition des champs neuronaux est un défi important en raison du codage implicite des informations de forme et de texture dans les caractéristiques du réseau neuronal de grande dimension. Bien que certaines méthodes tentent de résoudre ce problème avec des techniques d'édition exploratoires, elles nécessitent souvent beaucoup d'interventions de la part de l'utilisateur et il est difficile d'obtenir des résultats précis et de haute qualité.
La possibilité d'éditer NeRF peut ouvrir des possibilités d'applications dans le monde réel. Cependant, toutes les tentatives jusqu'à présent ont été insuffisantes pour résoudre ces problèmes. Mais maintenant, il y a un nouveau joueur dans le jeu : DreamEditor.
DreamEditor est un cadre convivial qui permet une modification intuitive et facile des champs neuronaux à l'aide d'indices de texte. En utilisant un champ neuronal basé sur une grille pour représenter la scène et en adoptant un cadre d'édition étape par étape, DreamEditor peut obtenir une variété d'effets d'édition, y compris le remappage, le remplacement d'objet et l'insertion d'objet.
La représentation maillée facilite l'édition locale précise en convertissant les masques d'édition 2D en régions d'édition 3D, tout en séparant également la géométrie et les textures pour éviter une déformation excessive. Le cadre étape par étape combine un modèle de diffusion pré-formé avec SDS (échantillonnage par distillation de score), permettant une édition efficace et précise basée sur de simples invites de texte.
DreamEditor permet une édition précise et pas à pas des scènes 3D tout en maintenant un haut niveau de fidélité et de réalisme. Cette approche étape par étape, de la représentation basée sur une grille au positionnement précis et à l'édition contrôlée via des motifs diffus, permet à DreamEditor d'obtenir des résultats d'édition très réalistes tout en minimisant les modifications inutiles dans les zones non pertinentes.