Джерело зображення: створено інструментом Unbounded AI
В останні роки сфера 3D-комп’ютерного зору була заполонена технологією NeRF. Прорив у цій галузі, NeRF здатний реконструювати та синтезувати нові види сцени. Він може отримувати та моделювати базову геометричну інформацію та інформацію про зовнішній вигляд із колекцій зображень із кількома видами.
Завдяки нейронним мережам NeRF забезпечує вихід за рамки традиційних підходів, керованих даними. Нейронна мережа в NeRF вчиться представляти складні взаємозв’язки між геометрією сцени, освітленням і зовнішнім виглядом, що залежить від погляду, забезпечуючи дуже детальну та реалістичну реконструкцію сцени. Ключовою сильною стороною NeRF є їхня здатність генерувати реалістичні зображення з будь-якої бажаної точки огляду в сцені, навіть з регіонів, які не були зафіксовані вихідним набором зображень.
Успіх NeRF відкрив нові можливості в комп’ютерній графіці, віртуальній і доповненій реальності, дозволяючи людям створювати захоплюючі та інтерактивні віртуальні середовища, які дуже нагадують сценарії реального світу. Тому існує великий інтерес до подальшого розвитку сфери NeRF.
Але деякі недоліки NeRF також обмежують їх застосування в реальних сценаріях. Наприклад, редагування нейронних полів є серйозною проблемою через неявне кодування інформації про форму та текстуру у високовимірних функціях нейронної мережі. Хоча деякі методи намагаються вирішити цю проблему за допомогою дослідницьких методів редагування, вони часто вимагають значного введення користувача, і важко досягти точних і високоякісних результатів.
Можливість редагувати NeRF може відкрити можливості для реальних програм. Проте всі спроби поки що були недостатніми для вирішення цих проблем. Але тепер у грі з’явився новий гравець – DreamEditor.
DreamEditor дозволяє редагувати 3D NeRF. джерело:
DreamEditor — це зручна структура, яка дозволяє інтуїтивно зрозумілу та просту зміну нейронних полів за допомогою текстових підказок. Використовуючи нейронне поле на основі сітки для представлення сцени та застосовуючи структуру покрокового редагування, DreamEditor може досягти різноманітних ефектів редагування, включаючи перевідображення, заміну об’єктів і вставку об’єктів.
Представлення сітки полегшує точне локальне редагування, перетворюючи маски редагування 2D на області редагування 3D, а також розділяючи геометрію та текстури, щоб запобігти надмірній деформації. Покрокова структура поєднує в собі попередньо навчену модель дифузії з SDS (оцінка дистиляційного відбору проб), що дозволяє ефективно й точно редагувати на основі простих текстових підказок.
DreamEditor виконує три ключові етапи, щоб полегшити інтуїтивно зрозуміле та точне редагування 3D-сцени за допомогою тексту. На початковій стадії вихідне поле нейронного випромінювання перетворюється на нейронне поле на основі сітки. Це представлення сітки дозволяє просторово вибіркове редагування. Після перетворення він використовує спеціальну модель перетворення тексту в зображення (T2I), навчену на певній сцені, щоб зафіксувати семантичний зв’язок між ключовими словами в текстових підказках і візуальним вмістом сцени. Нарешті, відредагована модифікація застосовується до цільового об’єкта в нейронному полі за допомогою режиму дифузії T2I.
DreamEditor забезпечує точне, покрокове редагування 3D-сцен, зберігаючи високий рівень точності та реалістичності. Цей покроковий підхід, від представлення на основі сітки до точного позиціонування та контрольованого редагування за допомогою розсіяних шаблонів, дозволяє DreamEditor досягати дуже реалістичних результатів редагування, мінімізуючи непотрібні зміни в нерелевантних областях.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Дізнайтеся про модель AI DreamEditor, яка може редагувати 3D-сцени за допомогою текстових підказок
撰文: Екрем Четінкая
Джерело: MarkTechpost
В останні роки сфера 3D-комп’ютерного зору була заполонена технологією NeRF. Прорив у цій галузі, NeRF здатний реконструювати та синтезувати нові види сцени. Він може отримувати та моделювати базову геометричну інформацію та інформацію про зовнішній вигляд із колекцій зображень із кількома видами.
Завдяки нейронним мережам NeRF забезпечує вихід за рамки традиційних підходів, керованих даними. Нейронна мережа в NeRF вчиться представляти складні взаємозв’язки між геометрією сцени, освітленням і зовнішнім виглядом, що залежить від погляду, забезпечуючи дуже детальну та реалістичну реконструкцію сцени. Ключовою сильною стороною NeRF є їхня здатність генерувати реалістичні зображення з будь-якої бажаної точки огляду в сцені, навіть з регіонів, які не були зафіксовані вихідним набором зображень.
Успіх NeRF відкрив нові можливості в комп’ютерній графіці, віртуальній і доповненій реальності, дозволяючи людям створювати захоплюючі та інтерактивні віртуальні середовища, які дуже нагадують сценарії реального світу. Тому існує великий інтерес до подальшого розвитку сфери NeRF.
Але деякі недоліки NeRF також обмежують їх застосування в реальних сценаріях. Наприклад, редагування нейронних полів є серйозною проблемою через неявне кодування інформації про форму та текстуру у високовимірних функціях нейронної мережі. Хоча деякі методи намагаються вирішити цю проблему за допомогою дослідницьких методів редагування, вони часто вимагають значного введення користувача, і важко досягти точних і високоякісних результатів.
Можливість редагувати NeRF може відкрити можливості для реальних програм. Проте всі спроби поки що були недостатніми для вирішення цих проблем. Але тепер у грі з’явився новий гравець – DreamEditor.
DreamEditor — це зручна структура, яка дозволяє інтуїтивно зрозумілу та просту зміну нейронних полів за допомогою текстових підказок. Використовуючи нейронне поле на основі сітки для представлення сцени та застосовуючи структуру покрокового редагування, DreamEditor може досягти різноманітних ефектів редагування, включаючи перевідображення, заміну об’єктів і вставку об’єктів.
Представлення сітки полегшує точне локальне редагування, перетворюючи маски редагування 2D на області редагування 3D, а також розділяючи геометрію та текстури, щоб запобігти надмірній деформації. Покрокова структура поєднує в собі попередньо навчену модель дифузії з SDS (оцінка дистиляційного відбору проб), що дозволяє ефективно й точно редагувати на основі простих текстових підказок.
DreamEditor забезпечує точне, покрокове редагування 3D-сцен, зберігаючи високий рівень точності та реалістичності. Цей покроковий підхід, від представлення на основі сітки до точного позиціонування та контрольованого редагування за допомогою розсіяних шаблонів, дозволяє DreamEditor досягати дуже реалістичних результатів редагування, мінімізуючи непотрібні зміни в нерелевантних областях.