2D в 3D новый прорыв! Углубленный анализ технологии AIGC, статья для понимания истории и текущей ситуации с генерацией 3D-данных.

Автор: Chengxi Редактор: Manman Zhou

Источник: Силиконовая кроличья гонка.

За последние 18 месяцев ИИ-генерация контента (AIGC), несомненно, стала самой горячей и самой горячей темой в кругу венчурного капитала Кремниевой долины.

DALL-E (ожидается в январе 2021 г.)

Промежуточное путешествие (ожидается в июле 2022 г.)

Стабильная диффузия (ожидается в августе 2022 г.)

Этот тип генеративного 2D-инструмента может преобразовывать текстовые подсказки ( ) в художественные изображения всего за несколько секунд. По мере развития и совершенствования таких 2D-инструментов AIGC творческие рабочие процессы художников, дизайнеров и игровых студий быстро меняются.

Где следующий прорыв AIGC? Многие инвесторы и ветераны отрасли дали прогнозы — генерация 3D-данных.

Мы заметили, что 3D AIGC проходит стадию разработки 2D AIGC. В этой статье мы более подробно обсудим новые достижения AIGC в области 3D-данных и с нетерпением ждем, как генеративные инструменты искусственного интеллекта могут повысить эффективность и инновации при создании 3D-данных.

01 Обзор быстрой разработки 2D AIGC

Развитие 2D AIGC можно кратко охарактеризовать следующими тремя этапами:

Этап 1: Интеллектуальное редактирование изображений

Уже в 2014 году, с введением генеративной конфронтационной сети (GAN, типичное продолжение StyleGAN) и вариационного автоэнкодера (VAE, типичное продолжение работы VQVAE, alignDRAW), модели ИИ стали широко использоваться в интеллектуальной генерации 2D изображения и редактирование. Ранние модели ИИ в основном использовались для изучения некоторых относительно простых распределений изображений или выполнения некоторого редактирования изображений.Обычные приложения включают: генерацию лиц, передачу стиля изображения, сверхвысокое разрешение изображения, завершение изображения и управляемое редактирование изображения.

Но ранние сети генерации/редактирования изображений имели очень ограниченное мультимодальное взаимодействие с текстом. Кроме того, сети GAN обычно трудно обучать, и они часто сталкиваются с такими проблемами, как коллапс режима и нестабильность.Сгенерированные данные обычно бедны разнообразием, а емкость модели также определяет верхний предел доступной шкалы данных.VAE часто сталкивается с сгенерированное изображение размыто и другие проблемы.

Второй этап: скачок графовой модели Винсента

С прорывом в технологии диффузионной генерации (диффузии), появлением и развитием крупномасштабных мультимодальных наборов данных (таких как набор данных LAION) и мультимодальных моделей представления (таких как модель CLIP, выпущенная OpenAI), область генерации 2D-изображений придется на 2021 год. Достигнут значительный прогресс. Модель генерации изображений начала глубоко взаимодействовать с текстом, а крупномасштабная графовая модель Винсента блестяще дебютировала.

Когда OpenAI выпустит DALL-E в начале 2021 года, технология AIGC действительно начнет демонстрировать большой коммерческий потенциал. DALL-E может генерировать реалистичные и сложные изображения из произвольных текстовых сигналов со значительно более высоким уровнем успеха. В течение года быстро последовало большое количество графических моделей Vincent, в том числе DALL-E 2 (обновлено в апреле 2022 г.) и Imagen (выпущено Google в мае 2022 г.). Хотя эти технологии еще не были эффективными, помогая создателям произведений искусства создавать контент, который можно было бы напрямую запустить в производство, они привлекли внимание общественности и стимулировали творческий и производственный потенциал художников, дизайнеров и игровых студий.

Этап третий: от потрясающего к продуктивному

С улучшением технических деталей и итерацией инженерной оптимизации 2D AIGC быстро развивалась. Ко второй половине 2022 года такие модели, как Midjourney и Stable Diffusion, стали популярными инструментами AIGC. Благодаря крупномасштабным обучающим наборам данных эффективность методов AIGC в реальных приложениях принесла пользу первым пользователям в медиа, рекламе и игровой индустрии. Кроме того, появление и развитие технологий точной настройки больших моделей (таких как ControlNet и LoRA) также позволяет людям «настраивать» и расширять большие модели ИИ в соответствии со своими реальными потребностями и небольшим объемом обучающих данных, чтобы лучше адаптироваться к различным конкретным приложениям (таким как двумерная стилизация, генерация логотипа, генерация QR-кода и т. д.).

Создание идей и прототипов с помощью инструментов AIGC теперь во многих случаях занимает часы или даже меньше, а не дни или недели, как раньше. В то время как большинство профессиональных графических дизайнеров по-прежнему модифицируют или воссоздают эскизы, созданные ИИ, в личных блогах или рекламных объявлениях все чаще используются изображения, созданные ИИ.

Различные эффекты преобразования текста в изображение в alignDRAW, DALL-E 2 и Midjourney.

В дополнение к преобразованию текста в изображение, 2D AIGC продолжает получать более свежие разработки. Например, Midjourney и другие стартапы, такие как Runway и Phenaki, разрабатывают возможности преобразования текста в видео. Кроме того, Zero-1-to-3 предложил метод создания соответствующих изображений под разными углами обзора из одного 2D-изображения объекта.

В связи с растущим спросом на 3D-данные в индустрии игр и робототехники текущие передовые исследования AIGC постепенно смещаются в сторону создания 3D-данных. Мы ожидаем аналогичную схему разработки для 3D AIGC.

3D-момент AIGC "DALL-E"

Недавние технологические прорывы в области 3D говорят нам о том, что момент «DALL-E» 3D AIGC приближается!

От DreamFields в конце 2021 года до DreamFusion и Magic3D во второй половине 2022 года, а затем до ProlificDreamer в мае этого года, благодаря разработке мультимодальных доменов и моделей графа Винсента, в академической 3D-модели было сделано много прорывов. Вэньшэн. Несколько методов позволяют создавать высококачественные 3D-модели из входного текста.

Однако в большинстве этих ранних исследований необходимо оптимизировать 3D-представление с нуля при создании каждой 3D-модели, чтобы 2D-перспективы, соответствующие 3D-представлению, соответствовали ожиданиям входных и предыдущих моделей. Поскольку такие оптимизации обычно требуют десятков тысяч итераций, они часто отнимают много времени. Например, создание одной 3D-модели сетки может занять до 40 минут в Magic3D и часов в ProlificDreamer. Кроме того, одна из больших проблем 3D-генерации заключается в том, что 3D-модель должна иметь постоянство формы объекта под разными углами. Существующие методы 3D AIGC часто сталкиваются с проблемой Януса, то есть 3D-объекты, созданные ИИ, имеют несколько голов или несколько лиц.

Проблема Януса из-за отсутствия согласованности 3D-формы в ProlificDreamer. Слева вид спереди, казалось бы, обычной синей птицы. Справа сбивающее с толку изображение, изображающее птицу с двумя лицами.

Но, с другой стороны, некоторые команды пытаются прорваться через существующую парадигму генерации на основе оптимизации и генерировать 3D-модели с помощью единого технического маршрута прямого прогнозирования, что значительно повышает скорость и точность генерации 3D. Эти методы включают Point-E и Shap-E (выпущенные OpenAI в 2022 и 2023 годах соответственно) и One-2–3–45 (выпущенные Калифорнийским университетом в Сан-Диего в 2023 году). Особо следует отметить One-2–3–45, выпущенный в прошлом месяце, способный генерировать высококачественную и последовательную 3D-сетку из 2D-изображения всего за 45 секунд!

Сравнительный анализ методов одиночного изображения и трехмерной сетки. Слева направо мы можем наблюдать, что время обработки резко сократилось с более чем часа до менее чем минуты. Point-E, Shap-E и One-2–3–45 отличаются высокой скоростью и точностью.

Эти последние технологические достижения в области 3D AIGC не только значительно повышают скорость и качество генерации, но и делают пользовательский ввод более гибким. Пользователи могут либо вводить данные с помощью текстовых подсказок, либо создавать желаемую 3D-модель с помощью одного 2D-изображения с дополнительной информацией. Это значительно расширяет возможности 3D AIGC с точки зрения коммерческого применения.

Искусственный интеллект революционизирует процесс производства 3D

Во-первых, давайте разберемся с рабочим процессом, который должны пройти традиционные 3D-дизайнеры для создания 3D-моделей:

1. Концептуальные наброски. Дизайнеры концепт-арта проводят мозговой штурм и придумывают необходимые макеты на основе входных данных клиента и визуальных ссылок.

2. 3D-прототипирование: дизайнеры моделей используют профессиональное программное обеспечение для создания базовой формы модели и итерации на основе отзывов клиентов.

3. Уточнение модели: добавьте детали, цвет, текстуру и свойства анимации (такие как оснастка, освещение и т. д.) в черновую 3D-модель.

4. Завершение модели. Дизайнеры используют программное обеспечение для редактирования изображений, чтобы улучшить окончательный рендеринг, настроить цвета, добавить эффекты или выполнить синтез элементов.

Этот процесс обычно занимает несколько недель, возможно, даже больше, если задействована анимация. Однако потенциально каждый из этих шагов можно было бы ускорить с помощью ИИ.

1. Мощный генератор многоракурсных изображений (например, Zero-1–to-3 на основе Stable Diffusion и Midjourney) облегчает творческий мозговой штурм и создает эскизы многоракурсных изображений.

2. Технологии преобразования текста в 3D или изображения в 3D (например, One-2–3–45 или Shap-E) позволяют создавать несколько 3D-прототипов за считанные минуты, предоставляя дизайнерам широкий спектр возможностей.

3. Используя оптимизацию 3D-моделей (например, Magic 3D или ProlificDreamer), выбранные прототипы могут быть автоматически уточнены в течение нескольких часов.

4. После того, как уточненная модель будет готова, 3D-дизайнер может продолжить проектирование и завершить высокоточную модель.

Сравнение традиционных и управляемых искусственным интеллектом рабочих процессов 3D-производства

**Заменит ли 3D AIGC человека? **

Наш вывод: пока нет. Люди по-прежнему являются незаменимым звеном в 3D-связи AIGC.

Хотя упомянутая выше технология создания 3D-моделей может иметь множество применений в робототехнике, автономном вождении и 3D-играх, текущий производственный процесс по-прежнему не может удовлетворить широкий спектр приложений.

С этой целью Silicon Rabbit Jun взял интервью у профессора Су Хао из Калифорнийского университета в Сан-Диего, ведущего эксперта в области трехмерного глубокого обучения и встроенного ИИ, одного из авторов -3–45. модель. Профессор Су Хао считает, что основным узким местом модели текущего поколения 3D является отсутствие большого количества высококачественных наборов 3D-данных. Широко используемые в настоящее время наборы 3D-данных, такие как ShapeNet (около 52 тыс. 3D-сеток) или Objaverse (около 800 тыс. 3D-моделей), содержат модели, которые необходимо улучшить с точки зрения количества и качества детализации. Особенно по сравнению с большими наборами данных в области 2D (например, LAION-5B), их объем данных все еще далек от достаточного для обучения больших 3D-моделей.

Профессор Су Хао когда-то учился у профессора Леонидаса Гуйбаса, пионера геометрических вычислений и члена Американской академии наук, и участвовал в проекте ImageNet под руководством профессора Фейфей Ли в качестве одного из первых участников. Вдохновленный ими, профессор Су Хао подчеркнул ключевую роль обширных наборов 3D-данных в развитии технологий и заложил основу для появления и процветания области глубокого 3D-обучения.

Кроме того, 3D-модели намного сложнее, чем 2D-изображения, например:

1. Структура частей: для игр или приложений цифровых двойников требуются структурированные части 3D-объектов (например, PartNet), а не единая 3D-сетка;

2. Соединения и привязки: ключевые свойства для взаимодействия с 3D-объектами;

3. Текстура и материал: такие как коэффициент отражения, коэффициент поверхностного трения, распределение плотности, модуль Юнга и другие ключевые свойства, поддерживающие взаимодействие;

4. Эксплуатация и манипулирование. Позвольте разработчикам более эффективно взаимодействовать с 3D-моделями и манипулировать ими.

И вышеперечисленные моменты — это то, где человеческий опыт может продолжать играть важную роль.

Профессор Су Хао считает, что в будущем генерация 3D-данных с помощью ИИ должна иметь следующие характеристики:

1. Поддерживать создание 3D-моделей, поддерживающих интерактивные приложения.Это взаимодействие включает как физическое взаимодействие между объектами (например, столкновения), так и взаимодействие между людьми и объектами (методы физического и нефизического взаимодействия), что делает 3D-данные в игре , метавселенная, физическое моделирование и другие сценарии могут быть широко использованы;

2. Поддержка создания 3D-контента с помощью ИИ, что делает моделирование более эффективным;

3. Поддерживать процесс создания человека в цикле и использовать человеческий художественный талант для улучшения качества генерируемых данных, тем самым повышая производительность моделирования и формируя эффект маховика данных с обратной связью.

Подобно удивительному развитию таких технологий, как DALL-E и ChatGPT за последние 18 месяцев, мы твердо верим, что в области 3D AIGC его инновации и применение, скорее всего, превзойдут наши ожидания, и Silicon Rabbit продолжит углублять исследования. и вывод.