AIGC применяет «физическую магию», 3D-зрение преодолевает «предел точности»

Первоисточник: Light Cone Intelligence

Автор: Яо Юэ

Источник изображения: сгенерировано Unbounded AI‌

"Никакого искусства, только физика! Физика делает вас счастливым, не так ли?"

Недавно на всемирной конференции по компьютерной графике SIGGRAPH 2023 основатель и генеральный директор Nvidia Хуан Ренсюнь объявил, что, когда он объединил генеративный ИИ с платформой моделирования Omniverse, он был так же взволнован, как и заявил, что «AIGC — это момент iPhone».

** В отличие от больших языковых моделей, которые можно применять только к графике и тексту, с платформой моделирования, основанной на физических законах, генеративный ИИ можно напрямую использовать в реальном мире. **

Помимо Хуан Ренсюня, команда Ли Фейфэя из Стэнфордского университета в США также недавно интегрировала большие модели в роботов, которые не только позволяют роботам эффективно взаимодействовать с окружающей средой, но и выполнять различные задачи без дополнительных данных и обучения.

** «Генеративный ИИ, основанный на моделировании физического мира, — это генеративный ИИ 2.0», — сказал Цзя Куи, основатель Kuawei Intelligence и профессор Южно-Китайского технологического университета, Light Cone Intelligence, что сочетание генеративного ИИ и воплощенный интеллект будет играть важную роль более детерминированный эффект. **

Ожидается, что с расширением общих возможностей ИИ снимет «проклятие» коммерциализации.

Когда генеративный ИИ изучает физику

Объединить генеративный ИИ с физическим миром непросто, и связанная с этим техническая цепочка очень длинная.

**Прежде всего необходимо освоить основные законы физического мира, чтобы смоделировать реальный мир на симуляционной платформе. **

Платформа моделирования может не только имитировать физические сцены, но и моделировать взаимодействие, движение и деформацию объектов в реальном мире.

Добавление генеративного ИИ позволит платформе моделирования иметь возможность «предварительного просмотра».

«Людям известны физические знания с детства, но ИИ этого не знает», — сказал Хуан Ренсюнь, — «Сочетание генеративного ИИ и платформы моделирования позволит будущему ИИ укорениться в физике».

Хуан Ренсюнь также объяснил, что пусть ИИ научится воспринимать окружающую среду в виртуальном мире и понимать влияние и последствия физического поведения посредством обучения с подкреплением, чтобы ИИ мог достигать конкретных целей.

** Это требует использования генеративного ИИ для прогнозирования десятков миллионов или даже сотен миллионов возможностей в физическом мире для формирования ценных синтетических данных. **

Например, робот-манипулятор должен использовать «глаза» трехмерного зрения для точного захвата, но как устранить влияние изменений окружающей среды и распознать объекты, которые нужно захватывать (например, детали на заводе)?

С помощью платформы моделирования мы освоили физические законы, такие как «отражение и преломление света на объекте сцены», а генеративный ИИ может прогнозировать и моделировать бутылку с разной степенью отражения при разном освещении сцены; при одном и том же освещении , металл, Состояние поверхности предметов из различных материалов, таких как пластмасса и изделия из дерева; куча гвоздей, всевозможные разбросанные состояния...

** Опять же, все данные должны быть запущены на платформе моделирования с искусственным интеллектом. **

Этот шаг предназначен для обучения трехмерной визуальной большой модели. В отличие от больших языковых моделей, трехмерные визуальные большие модели имеют решающее значение для понимания и рассуждений о композиционных характеристиках визуальных сцен и должны иметь дело со сложными отношениями между объектами, положениями и изменениями в реальной среде.

** Наконец, он должен быть подключен к интеллектуальному оборудованию, такому как роботизированная рука, чтобы он мог научиться интеллектуальному управлению. **

Видно, что вся техническая цепочка соединения генеративного ИИ и физического мира включает в себя не только физику, графику, компьютерное зрение и междисциплинарную робототехнику, но и цифровых двойников, геометрическое глубокое обучение, кинематические расчеты, гибридный интеллект и интеллектуальные Оборудование и другие многомерные передовые технологии.

Соответственно, цепочка всей отрасли также относительно сложна, от данных к моделям, а затем от моделей к развертыванию.

В этих ссылках есть узел, который сильно отличается от предыдущего пути ИИ, и это «генерация синтетических данных».

Использование данных, синтезированных с помощью генеративного ИИ на основе физических законов, для обучения больших моделей совершит революционную чехарду в физической отрасли.

Без реального изображения,

Обучение 3D визуальной большой модели

Почему бы не обучать большие модели непосредственно на реальных данных?

В настоящее время большинство роботов-манипуляторов, использующих трехмерное зрение, используют реальные данные для обучения алгоритмов своих систем управления. Из-за таких проблем, как коммерческая конфиденциальность, эти реальные данные трудно получить в общих данных, и в основном они собираются самими предприятиями.

** Тем не менее, собранные самостоятельно реальные данные, в первую очередь, показывают, что эффективность затрат очень низка с точки зрения «эффективности и стоимости», двух ключевых показателей работы. **

Это связано с тем, что сценарии терминальных приложений фрагментированы, и данные вообще нельзя использовать повсеместно. Для сбора реальных данных предприятиям необходима «ковровая» коллекция по каждой отрасли, каждой фабрике и каждой сцене. Более того, собранные данные нельзя использовать напрямую, и требуется серия их обработки.

В этом процессе есть даже «парадокс искусственного интеллекта».

«При сборе реальных данных более половины стоимости технологии искусственного интеллекта составляет стоимость данных, а обработка сбора данных, очистка, маркировка и улучшение часто являются результатом накопления большого количества рабочей силы». Суть искусственного интеллекта в том, чтобы заменить искусственный интеллект. «Ирония в том, что такой ИИ имеет очевидные трудоемкие промышленные характеристики».

А синтетические данные?

** «Используя реальные данные, накопленные за пять или шесть лет и тысячи случаев, это можно завершить за несколько дней и несколько недель с помощью синтетических данных», — сказал Цзя Куи в интервью Light Cone Intelligence, по сравнению с ручным сбором и маркировкой данных. , стоимость синтетических данных Можно добиться снижения на несколько порядков. **

**Самое главное, что с точки зрения обучающего эффекта синтетические данные могут быть лучше, чем реальные данные. **

Поскольку он синтезируется на основе физических законов, синтетические данные рождаются с абсолютно точными аннотациями, а это значит, что обучение ИИ очень эффективно.

Кроме того, «полнота» синтетических данных не имеет себе равных по сравнению с реальными данными. «Генеративный ИИ 2.0 может создать бесчисленное количество миров и заставить этот мир быстро развиваться», — сказал Цзя Куи.

** Когда дело доходит до индустрии 3D-видения, роботизированная рука подобна «руке Бога», которая может контролировать все в прошлом и будущем. **

«Конечно, это не может быть вне законов физического мира», — подчеркнул Цзя Куй.

«В настоящее время мы можем завершить обучение трехмерной визуальной модели робота-манипулятора для сложных операций сцены без использования реального изображения», — Цзя Куи сказал Lightcone Intelligence, что гибкая работа робота-манипулятора может управляться моделью, полностью обученной с помощью синтетических материалов. данные, которые можно реализовать на месте Более 99,9% стабильное сцепление.

Именно поэтому **синтетические данные называют «вечным двигателем данных» больших моделей. **

В настоящее время, в дополнение к области 3D-видения, многие области также пытаются использовать синтетические данные из-за таких проблем, как отсутствие общих данных и высокий уровень шума. Однако есть и большие сомнения относительно синтетических данных, говорящих о том, что если они не будут тщательно отлажены и широко не будут использоваться во время обучения, это приведет к сбою модели и вызовет необратимые дефекты.

С точки зрения технологического развития синтетические данные не будут единственным решением для больших моделей.

Однако Цзя Куи отметил: «Прежде чем найти лучший способ, синтетические данные являются лучшим способом решения практических проблем в настоящее время. Если реальные данные, собранные людьми, все еще используются во многих областях, включая трехмерное зрение, ОИИ (Общий ) интеллект) никогда не будет возможным».

Разрушение «проклятия» коммерциализации ИИ

В области машинного зрения спрос на синтетические данные выше, и ценность, которую может раскрыть генеративный ИИ 2.0, будет еще выше.

Как очень важный метод восприятия машинного зрения, трехмерное зрение остро нуждается в синтетических данных.

«Найди отличие» среди множества похожих деталей, измени материал и цвет объекта, а также отрегулируй параметры». Завершите один проект, а затем повторно настройте другой проект.

Это означает, что предприятиям сложно формировать стандартизированные продукты, сосредоточившись на решении одного или нескольких проектных требований. Также невозможно выйти на рынок, расширить его и получить прибыль за счет быстрого тиражирования.

** Предельные издержки трудно уменьшить, что превратит технологическую компанию в проектную и, в конечном итоге, потянет ее вниз. **

Дьявол кроется в деталях.

Насколько хрупко традиционное трехмерное визуальное восприятие? Цзя Куи описал Light Cone Intelligence: «Во время захвата роботизированной руки, если кто-то пройдет мимо и изменит свет, задача может не выполниться».

Это вызвано принципом формирования изображения аппаратной 3D-камеры.На изображение 3D-камеры легко влияет окружающая среда, форма объекта, материал, цвет, рассеивающая среда и т. д., и эту проблему трудно решить за короткое время.

«Для решения проблемы может потребоваться сто шагов, но усилия на последнем шаге могут быть такими же, как сумма предыдущих 99 шагов.» Ян Фан, соучредитель SenseTime, однажды сказал, что большая часть энергии предприятие должно быть использовано для решения проблемы длинного хвоста мелких деталей.

Но теперь ** «Генеративный ИИ 2.0 с высокой универсальностью может решить проблему длинного хвоста, что очень важно для стандартизации продукта», — сказал Цзя Куи. **

По сравнению с традиционной отраслевой моделью индивидуальной разработки, основанной на генеративном ИИ 2.0, предприятия могут использовать общую крупномасштабную модель для реализации модульной разработки продукта, развертывания готового продукта, а затем прямого расширения в той же отрасли. , и различные отрасли также могут эффективно использовать повторно. Проблема коммерциализации индустрии 3D-зрения будет легко решена.

В то же время стоимость данных, разработки, развертывания, аппаратного обеспечения и расширения отрасли также резко снизилась по всем направлениям.

Под влиянием генеративного ИИ 2.0, когда 3D-видение взорвется, это означает, что вертикальные сцены, которые в значительной степени зависят от технологии 3D-видения, такие как роботы-манипуляторы, роботы, беспилотные транспортные средства и метавселенные, будут ускоряться, чтобы съесть дивиденды ИИ.

Это подтверждается множеством данных.В таких областях, как маркировка данных, синтетические данные, промышленные роботы и машинное зрение, размер мирового рынка растет с высокой скоростью, особенно совокупный годовой темп роста синтетических данных даже превышает 30%. .

На самом деле за этим стоит стратегическая ценность генеративного ИИ 2.0, который высоко ценится технологическими и многими производственными гигантами.

От признанных производственных компаний, таких как Siemens и Ford, до технологических гигантов, таких как Nvidia, Tesla, Google, и звездных стартапов, таких как Waabi, все они начали работать во многих областях, таких как промышленность, робототехника, беспилотное вождение, медицинское обслуживание. и розничная торговля. Узнайте больше о возможностях генеративного искусственного интеллекта 2.0.

В то же время был сильно мобилизован энтузиазм капитала. Согласно неполным статистическим данным, за последние годы иностранное финансирование, связанное с синтетическими данными, накопило около 800 миллионов долларов США.

В Китае компании, связанные с синтетическими данными, также привлекли внимание капитала. В июне 2022 года Kuowei Smart объявила о завершении раунда финансирования Pre-A с объемом финансирования в десятки миллионов юаней и совокупным финансированием в размере почти 100 миллионов юаней менее чем за год с момента его создания; в июле это год, Guanglun Smart также объявила о завершении раунда финансирования ангел +, Совокупная сумма финансирования составляет десятки миллионов юаней.

**Можно сказать, что от сочинения стихов до изучения физики генеративный ИИ 2.0 открывает великое будущее промышленной оцифровки. **