Линь Цзюньчао: взгляд на инвестиционные возможности ИИ с точки зрения первичного рынка

Источник: Исследовательский институт Titanium Capital.

После того, как ChatGPT захлестнул мир, искусственный интеллект получил новый выход, как подрывной интеллектуальный инструмент повышения производительности, он уже стал горячей темой. В настоящее время развитые страны и регионы по всему миру подняли развитие индустрии искусственного интеллекта до национальной стратегии, и соответствующие новые технологии и приложения постоянно внедряются. С углубленным развитием новой волны искусственного интеллекта вот-вот должна произойти промышленная революция во главе с технологиями цифрового интеллекта, которая также открыла прелюдию к «эре больших моделей» во всех сферах жизни.

Почему большие языковые модели могут возглавить тенденцию ИИ? Каковы инвестиционные возможности отечественного ИИ? Недавно Titanium Capital пригласил Лин Цзюньчао, инвестиционного директора Rongyi Capital, поделиться темой: «Рассмотрение инвестиционных возможностей ИИ с точки зрения первичного рынка». Г-н Линь имеет степень бакалавра в области электротехники и электронной инженерии, а также степень магистра с отличием первого класса Университетского колледжа Лондона (UCL), а также трехлетний опыт предпринимательской деятельности и шестилетний опыт инвестирования в акционерный капитал. Его инвестиционные направления включают базовые инструменты разработки программного обеспечения, Metaverse и AIGC, включая Jingye Intelligence, Smart Open Source China и другие проекты. Хозяином этого обмена является Ву Кай, управляющий директор Titanium Capital, Ниже приводится запись обмена:

Почему модель большого языка может возглавить тенденцию ИИ‍‍‍

Краткая история развития ИИ

С тех пор как Шеннон предложил компьютерные игры в 1950 году, ИИ развивался более 70 лет. Мы можем условно разделить его на четыре этапа: раннее просвещение + эпоха экспертных систем (50–70-е годы), машинное обучение + эпоха компьютерного зрения (80–90-е годы), эпоха глубокого обучения (2006–2017 годы), мультимодальная эпоха + эпоха больших языковых моделей (2018–настоящее время).

Знаковое событие на этапе раннего просвещения произошло на летнем симпозиуме Дартмутского колледжа в 1956 г. На встрече, официально положившей начало прелюдии к искусственному интеллекту, впервые была предложена концепция искусственного интеллекта: первый чат-робот ELIZA, разработанный Массачусетским технологическим институтом в 1966 г., первая экспертная система DENDRAL, а Дэвид Марр предложил концепции компьютерного зрения и вычислительной неврологии в 1976 г.

В эпоху машинного обучения есть знаковая фигура, то есть крестный отец ИИ, покинувший некоторое время назад Google, — Джеффри Хинтон. В 1986 году он предложил алгоритм обратного распространения, который сделал возможным крупномасштабное обучение нейронных сетей и проложил путь для более поздних нейронных сетей и глубокого обучения. В то же время на этом этапе также появилось много знаковых событий и фигур, таких как игра в нарды в 1979 году и победа Deep Blue над чемпионом мира по шахматам Кастровым в 1997 году. В 2006 году Джеффри Хинтон и другие официально предложили концепцию глубокого обучения, тем самым переведя ИИ на третий этап — эру глубокого обучения.

В эпоху глубокого обучения Джеффри Хинтон предложил сверточную нейронную сеть AlexNet в 2012 году и выиграл конкурс классификации изображений ImageNet.Общая частота ошибок была на 10,8% ниже, чем второе место, официально открыв первый год глубокого обучения в области компьютерного зрения. В марте 2013 года Google приобрела стартап Джеффри Хинтона DNNResearch за $44 млн. С тех пор Google стала лидировать в разработке глобального ИИ, в 2015 году была открыта самая влиятельная в мире среда глубокого обучения TensorFlow, в 2016 году AlphaGo победила девятиданного мастера го Ли Седоля со счетом 4:1, в 2017 году была запущена модель Transformer, которая с тех пор открыла эру Текущая большая языковая модель. В то же время, наряду с волной ИИ во главе с Google, в 2016 году также были созданы ИИ-единороги, такие как Scale AI, HuggingFace и OpenAI. Интернет-гигант Meta также открыл исходный код более полезной среды глубокого обучения Pytorch в 2017 году.

OpenAI, лидер эпохи больших языковых моделей, впервые появился в начале апреля 2019 года. Разработанная им OpenAI Five победила чемпионов мира по Dota2 OG с абсолютным преимуществом 2:0, а затем выпустила GPT-3 со 175 миллиардами параметров в мае 2020 года, ChatGPT (GPT-3.5) в ноябре 2022 года и GPT-4 в марте 2023 года. мир Разработка модели. Гиганты Интернета и программного обеспечения, такие как Google, Meta и Microsoft, также скорректировали свои стратегии и активно участвовали в крупномасштабном конкурсе моделей. Начиная с ChatGPT в конце 2022 года, мы видели, что крупные производители по всему миру перешли на крупномасштабную модель, а отечественные университеты, технологические гиганты, стартапы и т. д. также постоянно запускали различные продукты и приложения для крупномасштабных моделей.

Историю развития искусственного интеллекта в Китае можно проследить до создания азиатского исследовательского института Microsoft в 1998 году. Сегодня основатели и основные группы таких известных отечественных компаний, как Innovation Works, Baidu, Kingsoft, Alibaba, SenseTime и Questyle, все из Microsoft Asia Research Institute. Первая партия отечественных ИИ-компаний iFlytek, Dahua и Hikvision была зарегистрирована на рынке А-акций примерно в 2008–2010 годах. С 2011 по 2015 год в Китае появилось много стартапов в области компьютерного зрения, таких как Megvii (основан в 2011 году), YITU (основан в 2012 году), SenseTime (основан в 2014 году) и Yuncong (основан в 2015 году). В 2018 году была создана национальная команда - Пекинский научно-исследовательский институт искусственного интеллекта Чжиюань. Развитие больших моделей на этот раз также выиграло от этой волны. С 2002 года связанные с искусственным интеллектом компании, такие как Cambrian, SenseTime, Haitian Ruisheng и Yuncong, котируются на Совете по инновациям в области науки и технологий и на Гонконгской фондовой бирже.

Очарование ChatGPT и GPT-4

Почему ChatGPT и GPT-4 позволяют нам интуитивно почувствовать отличие и мощь этой волны ИИ из прошлого? В основном его можно рассматривать со следующих аспектов:

**Во-первых, с точки зрения пользователя, на этот раз это очень человеческий метод взаимодействия. **При разговоре с ChatGPT контент генерируется слово за словом, а ответ генерируется во время размышлений. В то же время, он также имеет возможность нескольких раундов диалога. Кроме того, он также может выполнять некоторые роли, например, переводчика, психолога-консультанта и т. д.

** Во-вторых, способность к обобщению, в основном выражающаяся в способности быстро понимать требования и давать относительно точные ответы вне контекста. ** Это зависит от поддержки массивного предтренировочного корпуса и разработки подсказок.

** В-третьих, цепочка мышления. ** Способность понимать контекст и контекст, даже длинные тексты. Например, недавно выпущенный Claude2 имеет возможность обработки контекста в 100 000 токенов, что фактически может передать ему для обработки целую книгу. В то же время, есть также сильная способность к логическому мышлению, которая может постепенно разобрать и вывести проблему в соответствии с образом человеческого мышления.

На самом деле эти возможности появляются с увеличением параметров модели и увеличением времени обучения. Кроме того, мы видим, что GPT-4 имеет отличные результаты в различных человеческих экзаменах, в основном достигая уровня абитуриентов.

Состав большой языковой модели

Возвращаясь к самой большой языковой модели, я рекомендую всем посмотреть программную речь State of GPT, с которой выступил соучредитель OpenAI Андрей Карпати на конференции разработчиков Microsoft. Он разобрал процесс обучения большой модели на четыре этапа:

**На этапе предварительного обучения для обучения базовой модели требуется большое количество обучающих данных относительно низкого качества (включая книги, сканирование Интернета, документы и т. д.) и 99% вычислительной мощности и времени всего процесса обучения большой модели. **Например, для обучения базовой модели LLaMA с 650 миллиардами параметров требуется 2048 графических процессоров Nvidia A100, что занимает 21 день, а общая стоимость обучения составляет около 5 миллионов долларов США. Поэтому обучение базовой модели не выгодно стартапам, а такие ресурсы и затраты, как правило, доступны только крупным производителям.

Второй этап контролируется и настраивается на базовой модели, чтобы обучать модели SFT, такие как Vicuna-13B и другие распространенные модели с открытым исходным кодом, контролируются и настраиваются модели. На этом этапе необходимо предоставить лишь небольшое количество высококачественных данных, а спрос на вычислительную мощность относительно невелик.

**Третий и четвертый этапы — это этапы моделирования вознаграждения и обучения с подкреплением, то есть обучение человека с обратной связью с подкреплением RLHF. ** Благодаря этим двум этапам выход модели будет намного лучше, чем модель контролируемой тонкой настройки и базовая модель, но энтропия базовой модели будет принесена в жертву.

С точки зрения отрасли первичного рынка, чтобы увидеть возможности ИИ

Рассматривая возможности инвестиций в ИИ систематически с точки зрения инвестиций на первичном рынке, их можно разделить на базовый уровень, уровень развертывания и уровень приложений.Сообщество моделей ИИ проходит через эти три уровня.

** Базовый уровень можно разделить на уровень инфраструктуры, уровень данных и уровень алгоритмов. **

Нижний уровень инфраструктурного уровня — это вычислительная мощность, и это также место, которое в настоящее время сталкивается с самым узким местом.Сейчас в Китае наложены эмбарго на графические процессоры Nvidia и AMD. Huawei Kunpeng, лидер в области отечественных вычислительных мощностей, также сталкивается с проблемой нехватки магнитных лент.В будущем Китай может столкнуться с растущим давлением с точки зрения высокопроизводительных вычислительных мощностей. В то же время все еще существует проблема использования графического процессора.Даже для OpenAI большое количество инженеров Nvidia находится на месте для ручной настройки, но его использование графического процессора составляет всего 50%-60%. В дополнение к вычислительной мощности находится базовый программный уровень вокруг большой модели, такой как собственное хранилище данных AI, передача данных, безопасность данных и другие инструменты, а также платформы разработки и обслуживания данных, включая векторные базы данных, LLMOps, MLOps и т. д.

В слое данных может быть больше возможностей, потому что базовая модель может быть разработана ведущими компаниями в будущем, и будет большое количество базовых моделей с открытым исходным кодом, поэтому нет необходимости тратить много денег на разработку собственной базовой модели. Мы должны сосредоточиться на накоплении данных вертикальных отраслей и самих предприятий, а также на том, как формировать масштабные приложения, за которые клиенты готовы платить. В настоящее время самая большая проблема больших моделей заключается в том, как получить высококачественные наборы данных и вертикальные отраслевые наборы данных.Все видели потенциал больших моделей в областях промышленности, науки, медицины, права, финансов и образования. Будущие возможности могут заключаться в том, как эффективно получать высококачественные данные, как обрабатывать мультимодальные данные, как идентифицировать, как капитализировать данные, как подтверждать права, как торговать, как защищать безопасность и т. д.

Ядро уровня алгоритма лежит в структуре глубокого обучения и базовой модели.

Фреймворк глубокого обучения можно описать как операционную систему ИИ.Он координирует развертывание вычислительных ресурсов вниз, берет на себя возможность создавать модели алгоритмов ИИ вверх и предоставляет большое количество библиотек операторов, библиотек моделей и учебных пособий.Это также экология по своей природе и снижает порог разработки. В настоящее время основными мировыми платформами глубокого обучения являются в основном TensorFlow от Google и Pytorch от Meta, а в Китае — Baidu Fei Paddle, Huawei Shengsi и Oneflow, которые ранее были приобретены Light Years Beyond.

Сама базовая модель также имеет разнообразие, например, с точки зрения технических путей, есть CNN, RNN, GAN, Transformer и т. д. Модель Transformer можно разделить на модель автокодирования, авторегрессионную модель, модель кодера-декодера и т. д., а по форме можно разделить на модель с закрытым исходным кодом и с открытым исходным кодом. В этом направлении чаще всего рождаются компании с рыночной стоимостью в сотни миллиардов и даже триллионы, но это также и основное поле битвы с самой острой конкуренцией.

В эпоху войны 100 моделей оценка моделей стала основным инструментом для измерения возможностей различных моделей. В настоящее время на рынке появились различные инструменты оценки для традиционных малых моделей (GLUE, SuperGLUE и др.), больших языковых моделей (HELM, BIG-Bench и др.) и китайских больших языковых моделей (SuperCLUE, C- и др.). Как и SuperCLUE и C-, в их оценочные наборы было добавлено большое количество вопросов с китайской спецификой (идея Мао Цзэдуна, основные принципы мускусизма и т. д.) и китайской спецификой (идиомы, стихи, классический китайский и т. д.) и другими аспектами. Судя по результатам оценки, за исключением GPT-4, GPT-3.5 и Claude, отечественные крупномасштабные модели лучше, чем другие зарубежные модели по общей оценке, поэтому потребность в обучении китайских крупномасштабных моделей очень высока.

Прикладной уровень можно разделить на общие крупные модели и крупные вертикальные отраслевые модели.Мы в основном сосредоточены на новом поколении инструментов повышения производительности с поддержкой ИИ в области общих крупных моделей и возможностях применения больших моделей в различных вертикальных отраслевых областях.

to C — инструмент повышения производительности с поддержкой ИИ

В эпоху эпидемии инструменты для совместной работы, такие как Notion, Figma и Canva, претерпели изменения. Точно так же на этой волне ИИ инструменты повышения производительности также откроют новую революцию.

Сейчас мы видим, что большие модели в разной степени проникли в текст, код, изображения, музыку, видео, 3D и т. д. Один за другим появляются различные новинки и новые приложения, такие как чат-боты в текстовом поле и copilot офисного продукта, copilot GitHub в поле кода, Midjourney и Stable Diffusion в поле изображения, AI Stefanie Sun, которая раньше была популярна в музыкальной сфере, и runway в сфере видео и т. д. Отечественные компании, такие как Baidu, Kingsoft Office, Evernote , Zhipu Huazhang и др. также запустили аналогичные продукты ИИ, в разной степени меняют форму традиционных инструментов повышения производительности, но в настоящее время они ограничены инструментами повышения эффективности в процессе промышленного производства в различных областях и не могут реализовать ОИИ в истинном смысле этого слова.

В то же время видно, что такие производители, как Microsoft Office, Adobe Photoshop, Unity и Notion, также активно осваивают эту волну искусственного интеллекта, внедряя возможности AGI в свои собственные продукты и наборы инструментов. Первоначально предполагалось, что появление Midjourney и Stable Diffusion полностью заменит Photoshop, но позже было обнаружено, что AGI из-за проблем с управляемостью и другими аспектами сделал Photoshop в сочетании с возможностями генерации AI более мощным и простым в использовании.

3D-сфера в настоящее время является одной из самых сложных областей для внедрения ИИ, основной фактор заключается в том, что качественных 3D-данных слишком мало. В настоящее время AGI для 3D-контента в основном изучается и возглавляется NVIDIA, Unity, Stability.ai и научно-исследовательскими институтами, но на данном этапе это все еще в основном демонстрационные и разбросанные инструменты, и еще предстоит пройти долгий путь, прежде чем его можно будет применять в промышленных областях, таких как спецэффекты для кино и телевидения, игры и метавселенная.

к B — вертикальная отраслевая модель

В настоящее время большинство крупномасштабных модельных продуктов, выпускаемых крупными производителями, представляют собой крупномасштабные модели общего назначения.Однако, сталкиваясь с вертикальными отраслями, B-конечные клиенты нуждаются в высокоточных, высокосогласованных и простых в развертывании больших моделях, которые могут эффективно решать конкретные проблемы сценариев с меньшим объемом данных и меньшей вычислительной мощностью. Последняя большая модель Pangu 3.0, выпущенная Huawei, основана на базовой большой модели, в которую добавлены отраслевые большие модели N L1 и возможности модели сцены X L2.

Основными ключевыми моментами вертикальных отраслевых крупных моделей являются высококачественные наборы отраслевых данных и инженерные возможности для настройки, сжатия и развертывания моделей. Это также точка инвестиционных возможностей, как и возможности контейнеров в эпоху облачных технологий, большое количество малых и средних предприятий категории B в традиционных отраслях должны полагаться на специализированных производителей контейнеров, чтобы помочь им вступить на путь облачных технологий.

В настоящее время за рубежом было проведено много исследований и практик в области крупных вертикальных отраслевых моделей, таких как BloombergGPT в области FinGPT. Bloomberg преобразовал финансовые данные, накопленные за последние 40 лет, в набор финансовых данных из 365 миллиардов токенов и объединил их с общими наборами данных для обучения собственных 50 миллиардов параметров.

Наконец, давайте поговорим о фокусе капитала зарубежного трека AGI: **С точки зрения суммы инвестиций, в первую пятерку входят маркетинговые текстовые приложения, аудио, роботы поддержки/обслуживания клиентов, изображения и платформы MLOps; с точки зрения объема финансирования больше средств поступает на платформы MLOps, основная ценность которых заключается в снижении порога для разработки больших моделей, за которыми следуют роботы обслуживания клиентов, аудио, цифровые люди, дубляж и изображения. **

Вопросы и ответы

**Q1: Аутсорсинговые компании, занимающиеся аннотированием данных и помогающие в разработке искусственного интеллекта, в последнее время чувствуют себя очень хорошо. Каковы ваши инвестиционные тенденции? **

О: В настоящее время мы уделяем внимание этим двум направлениям. Область маркировки данных в основном сосредоточена на том, как эти компании используют возможности больших моделей для повышения эффективности маркировки, например, используя GPT-4 для маркировки текста и SAM для маркировки изображений. Поскольку в настоящее время основным конкурентом в области маркировки данных является эффективность и валовая прибыль, кто может добиться более эффективной маркировки с помощью возможностей больших моделей. С точки зрения услуг крупномасштабных моделей это будет похоже на возможности контейнеров в эпоху облачных вычислений.Профессиональные поставщики необходимы, чтобы снизить порог для обучения, разработки и развертывания крупномасштабных моделей и помочь каждому предприятию реализовать свободу крупномасштабных моделей.

**Q2: ИИ теперь имеет две категории: TO C и TO B. Как вы думаете, у TO C или B больше возможностей? **

A: Мы уделяем больше внимания TO B. Поскольку в области TOC слишком много интернет-гигантов, особенно в местах с такой сильной экологией внутренних приложений для приложений, крупным производителям легче встраивать возможности ИИ в свои собственные приложения. Поэтому мы уделяем больше внимания их возможностям интеграции данных, коммерческому пониманию и инженерным возможностям.

**Q3: Даже для больших моделей с более чем одним миллиардом параметров в Китае было зарегистрировано более 80. Как насчет инвестиционной тенденции в большой модели? Как выбрать между открытым исходным кодом и закрытым исходным кодом? **

A: Что касается открытого исходного кода и закрытого исходного кода, необходимо подумать о том, как эффективно использовать открытый исходный код и как использовать модель открытого исходного кода для коммерциализации.Например, LLaMA имеет коммерческие ограничения в рамках соглашения об открытом исходном коде. Закрытый исходный код требует собственной экологии и поддержки, которую могут поддерживать только крупные производители, обладающие возможностями и финансовыми ресурсами.

**Q4: С точки зрения ИИ-предпринимателей их можно разделить на три категории. Одна категория состоит из крупных фабрик и уже известных основателей. Другая категория - академики, академики и эксперты из Университета Цинхуа или других областей. Есть также категория предпринимателей, которые стремятся быть низовыми. Какую из этих трех категорий вы предпочитаете? **

A: Многие из волны больших моделей в Китае появились после того, как Open AI выпустила большие модели, такие как ChatGPT, LLaMA и Bloom, в качестве открытых источников.В настоящее время мы занимаем выжидательную позицию. Конечно, в Китае также есть много дальновидных крупных производителей и академических стартапов, которые занимались исследованиями до этой волны бума крупномасштабных моделей.

Для академических команд наиболее сложной задачей является достижение коммерциализации. Поэтому я не думаю, что в будущем нужно делать это самостоятельно.Например, сотрудничество между OpenAI и Microsoft может дать возможности крупномасштабного моделирования крупным производителям. Сейчас мы ищем цели вокруг Китая с открытым исходным кодом, потому что у него есть линейка продуктов IDE и нужен copilot, поэтому мы ищем возможность сотрудничества с академическими командами.Я думаю, что этот подход более осуществим.

**Q5: Какие вертикальные отрасли на стороне B, скорее всего, добьются коммерческого прорыва? **

A: Из-за обобщения и многомодальности возможностей большой модели правовое поле является очень распространенным сценарием, а спрос на текстовый контент очень велик. Более крупные модели имеют именно эту возможность, хотя есть еще некоторые проблемы, которые необходимо решить с точки зрения точности. Кроме того, продукты для персональных помощников также представляют собой сценарий, который можно представить, хотя цикл разработки может быть более длительным.