なぜ大規模な言語モデルが AI のトレンドをリードできるのでしょうか?国内AIへの投資機会は何でしょうか？最近、Titanium Capital は、Rongyi Capital の投資ディレクターである Lin Junchao 氏を招待し、「プライマリー市場の観点から AI の投資機会を考察する」というテーマを共有しました。リン氏は、ユニバーシティ カレッジ ロンドン (UCL) で電気電子工学の学士号と第一級優等修士号を取得しており、3 年間の起業家経験と 6 年間の株式投資の経験があります。その投資対象には、基本的なソフトウェア開発ツール、Metaverse、AIGC (Jingye Intelligence、Smart Open Source China、その他のプロジェクトを含む) が含まれます。この共有のホストは、Titanium Capital のマネージング ディレクターである Wu Kai 氏であり、共有記録は次のとおりです。
**Q2: AI には現在、TO C と TO B の 2 つのカテゴリがあります。TO C と TO B のどちらの方がチャンスが大きいと思いますか? **
A: TO B にもっと注目します。 TOC 分野にはインターネット大手が多すぎるため、特に国内の APP アプリケーションエコロジーが強力な地域では、大手メーカーが自社の APP に AI 機能を組み込むことが容易になります。したがって、私たちは彼らのデータ統合能力、商業的理解、エンジニアリング能力にさらに注目しています。
A: 中国における大型モデルの波の多くは、Open AI が ChatGPT、LLaMA、Bloom などの大型モデルをオープンソースとしてリリースした後に現れましたが、現在は様子見の姿勢をとっています。もちろん、中国には大型模型ブームの波が来る前から模索してきた先進的な大手メーカーや学術系スタートアップ企業も数多く存在する。
学術チームにとって、どのようにして商業化を達成するかが最も難しい課題です。ですから、将来的には自分でやる必要はないと思います、例えば、OpenAI と Microsoft が協力することで、大規模なモデルの機能を大手メーカーに与えることができます。現在、Open Source China を中心にターゲットを探していますが、中国には IDE 製品ラインがあり、コードのコパイロットが必要なため、学術チームとの協力の可能性を模索しています。
**Q5: B サイドの垂直産業のうち、商業的なブレークスルーを達成する可能性が最も高いのはどれですか? **
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
リン・ジュンチャオ: プライマリーマーケットの観点からAIの投資機会を考察
出典：チタンキャピタル研究所
なぜ大規模な言語モデルが AI のトレンドをリードできるのでしょうか?国内AIへの投資機会は何でしょうか？最近、Titanium Capital は、Rongyi Capital の投資ディレクターである Lin Junchao 氏を招待し、「プライマリー市場の観点から AI の投資機会を考察する」というテーマを共有しました。リン氏は、ユニバーシティ カレッジ ロンドン (UCL) で電気電子工学の学士号と第一級優等修士号を取得しており、3 年間の起業家経験と 6 年間の株式投資の経験があります。その投資対象には、基本的なソフトウェア開発ツール、Metaverse、AIGC (Jingye Intelligence、Smart Open Source China、その他のプロジェクトを含む) が含まれます。この共有のホストは、Titanium Capital のマネージング ディレクターである Wu Kai 氏であり、共有記録は次のとおりです。
大きな言語モデルが AI のトレンドをリードできる理由
AI 開発の簡単な歴史
1950 年にシャノンがコンピューター ゲームを提案して以来、AI は 70 年以上の発展を経験してきました。大きく分けて、初期啓蒙＋エキスパートシステム時代（50年代～70年代）、機械学習＋コンピュータビジョン時代（80年代～90年代）、ディープラーニング時代（2006年～2017年）、マルチモーダル＋大規模言語モデル時代（2018年～現在）の4段階に分けられます。
初期の啓蒙段階における画期的な出来事は 1956 年のダートマス大学夏季シンポジウムで起こりました。この会議で初めて人工知能の概念が提案され、正式に人工知能への序章が始まりました。この期間中、1966 年に MIT によって開発された最初のチャット ロボット ELIZA、最初のエキスパート システム DENDRAL、そして 1976 年にデイビッド マーがコンピュータ ビジョンと計算神経学の概念を提案しました。
機械学習の時代には、マイルストーンとなる人物がいます。それは、少し前に Google を辞めた AI のゴッドファーザー、ジェフリー・ヒントンです。 1986 年に、彼はバックプロパゲーション アルゴリズムを提案しました。これにより、大規模なニューラル ネットワークのトレーニングが可能になり、後のニューラル ネットワークとディープ ラーニングへの道が開かれました。同時に、1979 年のバックギャモン ゲームや、1997 年のチェスの世界チャンピオン カストロフに対するディープ ブルーの勝利など、多くの画期的な出来事や人物もこのステージに登場しました。 2006 年に、ジェフリー ヒントンらがディープ ラーニングの概念を正式に提案し、AI を第 3 段階、つまりディープ ラーニングの時代に導入しました。
ディープ ラーニングの時代では、ジェフリー ヒントンが 2012 年に畳み込みニューラル ネットワーク AlexNet を提案し、ImageNet の画像分類コンテストで優勝し、全体のエラー率が 2 位よりも 10.8% 低く、コンピューター ビジョンにおけるディープ ラーニングの初年度が正式に幕を開けました。 2013 年 3 月、Google はジェフリー ヒントンの新興企業 DNNResearch を 4,400 万ドルで買収しました。それ以来、Google は世界的な AI の開発を主導し始めました。2015 年には、世界で最も影響力のある深層学習フレームワークである TensorFlow がオープンソース化されました。2016 年には、AlphaGo が囲碁名人李世ドル九段を 4 対 1 で破りました。2017 年には、Transformer モデルを発表し、それ以来、現在の大きな言語モデルの時代を切り開きました。同時に、Google主導のAIの波に伴い、2016年にはScale AI、HuggingFace、OpenAIといったAIユニコーンも誕生した。インターネット大手の Meta も 2017 年に、より有用な深層学習フレームワーク Pytorch をオープンソース化しました。
大規模言語モデル時代のリーダーである OpenAI は、2019 年 4 月初旬に初めて登場しました。同社が開発した OpenAI Five は、Dota2 世界チャンピオンの OG チームを 2 対 0 の絶対的なアドバンテージで破り、2020 年 5 月に 1,750 億パラメータの GPT-3、2022 年 11 月に ChatGPT (GPT-3.5)、2023 年 3 月に GPT-4 をリリースしました。それ以来、Google から正式に引き継ぎ、世界をリードし始めています。 . モデル開発。 Google、Meta、Microsoftなどのインターネット/ソフトウェア大手も戦略を調整し、大規模モデル競争に積極的に参加している。 2022年末のChatGPT以来、世界中の大手メーカーが大規模モデルに参入し、国内の大学、テクノロジー大手、スタートアップ企業などもさまざまな大規模モデルの製品やアプリケーションを継続的に投入しています。
中国における AI 開発の歴史は、1998 年のマイクロソフト アジア研究所の設立にまで遡ります。現在、イノベーション ワークス、バイドゥ、キングソフト、アリババ、センスタイム、クエストスタイルなどの有名な国内企業の創設者やコア チームはすべてマイクロソフト アジア研究所の出身です。国内 AI 企業の最初のグループである iFlytek、Dahua、Hikvision は、2008 年から 2010 年頃に A 株市場に上場されました。 2011 年から 2015 年にかけて、中国では、Megvii (2011 年設立)、YITU (2012 年設立)、SenseTime (2014 年設立)、Yuncong (2015 年設立) など、多くのコンピューター ビジョンのスタートアップが誕生しました。 2018年に国家チーム、北京志源人工知能研究所が設立された。今回の大型モデルの開発もその波の恩恵を受けています。 2002 年以降、Cambrian、SenseTime、Haitian Ruisheng、Yuncong などの AI 関連企業が科学技術イノベーション委員会や香港証券取引所に上場しています。
ChatGPTとGPT-4の魅力
ChatGPT と GPT-4 によって、この AI の波の過去との違いや威力を直感的に感じることができるのはなぜでしょうか?主に次のような観点から見ることができます。
**まず、ユーザーの観点から見ると、今回は非常に人間らしいインタラクション方法です。 **ChatGPTで会話すると、単語ごとに内容が生成され、考えながら答えが生成されます。同時に、複数回の対話の機能も備えています。さらに、翻訳者、心理カウンセラーなどの役割を果たすこともできます。
**2 番目は一般化能力で、主に要件を迅速に理解し、文脈なしに比較的正確な答えを与える能力に反映されます。 **これは、大規模な事前トレーニング コーパスとヒント エンジニアリングのサポートに依存しています。
** 第三に、思考の連鎖です。 ** たとえ長い文章であっても、文脈や背景を理解する能力。たとえば、新しくリリースされた Claude2 には 100,000 トークンのコンテキスト処理能力があり、基本的に書籍全体を処理のためにフィードできます。同時に、論理的思考力も強く、人間の考え方に従って問題を少しずつ分解して導き出すことができます。
実際、これらの機能は、モデル パラメーターの増加とトレーニング時間の延長によって現れます。さらに、GPT-4 はさまざまな人間の試験でも優れた結果を示しており、基本的には大学生のレベルに達していることがわかります。
大規模な言語モデルの構成
大きな言語モデル自体の話に戻りますが、Microsoft Developers Conference で OpenAI の共同創設者である Andrej Karpathy 氏が共有した State of GPT の基調講演を視聴することをお勧めします。彼は、大規模モデルのトレーニング プロセスを 4 つの段階に分解しました。
**事前トレーニング段階では、大量の比較的低品質のトレーニング データ (書籍、インターネット クローリング、論文など) と、大規模モデルのトレーニング プロセス全体の計算能力と時間の 99% が、基本モデルのトレーニングに必要となります。 **たとえば、6,500 億パラメータの LLaMA 基本モデルをトレーニングするには 2048 個の Nvidia A100 GPU が必要で、これには 21 日かかり、トレーニング全体のコストは約 500 万米ドルになります。したがって、基本モデルのトレーニングは新興企業にとっては不向きであり、そのようなリソースとコストを利用できるのは通常、大手メーカーのみです。
2 番目のステップでは、基本モデルで監視および微調整が行われます。 SFT モデル (Vicuna-13B やその他の一般的なオープン ソース モデルなど) をトレーニングするために、監視および微調整されたモデルが使用されます。この段階では、少量の高品質データのみを提供する必要があり、コンピューティング能力の需要は比較的小さいです。
**第 3 段階と第 4 段階は、報酬モデリングと強化学習の段階、つまり RLHF 人間強化フィードバック学習です。 ** これら 2 つの段階を通じて、モデルの出力は教師あり微調整モデルや基本モデルよりもはるかに優れていますが、基本モデルのエントロピーは犠牲になります。
第一次市場産業の観点から AI の機会を見る
AI投資機会をプライマリーマーケット投資の観点から体系的に見ると、ベーシックレイヤー、デプロイメントレイヤー、アプリケーションレイヤーに分けられ、AIモデルコミュニティはこの3つのレイヤーを貫いています。
インフラストラクチャ層の最下層はコンピューティングパワーであり、現在最も直接的なボトルネックに直面している場所でもあり、現在、Nvidia と AMD の両方の GPU が中国で禁輸されています。国内のコンピューティング能力をリードするファーウェイ・クンペンもテープアウトの問題に直面しており、将来的にはハイエンドのコンピューティング能力に関して中国に対する圧力が高まる可能性がある。一方でGPU使用率の問題も残り、OpenAIでもNVIDIAのエンジニアが多数常駐して手動チューニングを行っているものの、GPU使用率は50%～60%にとどまっています。コンピューティング能力の上には、AI ネイティブのデータ ストレージ、データ送信、データ セキュリティ、その他のツール、ベクトル データベース、LLMOps、MLOps などのデータ関連の開発およびメンテナンス プラットフォームなど、大規模モデルの基本的なソフトウェア層があります。
将来的には、基本モデルが大手企業によって開発される可能性があり、オープンソースの基本モデルが多数存在するため、独自の基本モデルを開発するために多額の費用を費やす必要がなくなるため、データ層での機会が増える可能性があります。私たちは、垂直産業や企業自体のデータ蓄積と、顧客が喜んでお金を払う大規模なアプリケーションをどのように形成するかに焦点を当てる必要があります。現在、大規模モデルの最大の問題点は、高品質のデータ セットと垂直産業データ セットをどのように入手するかということですが、産業、科学、医学、法律、金融、教育の分野における大規模モデルの可能性については誰もが気づいています。将来のチャンスは、高品質のデータを効率的に取得する方法、マルチモーダルデータを処理する方法、識別方法、データを活用する方法、権利を確認する方法、取引方法、セキュリティを保護する方法などにある可能性があります。
アルゴリズム層の中核は深層学習フレームワークと基本モデルにあります
ディープ ラーニング フレームワークは、AI のオペレーティング システムと言えます。下位ではコンピューティング リソースの展開を調整し、下位では AI アルゴリズム モデルの構築機能を引き受け、多数のオペレーター ライブラリ、モデル ライブラリ、およびドキュメント チュートリアルを提供します。本質的にエコロジーでもあり、開発の敷居を下げます。現在、世界の主流のディープラーニングフレームワークはGoogleのTensorFlowとMetaのPytorchが主流だが、中国ではBaidu Fei Paddle、Huawei Shengsi、そして以前Light Years Beyondが買収したOneflowが主流となっている。
基本モデル自体にも多様性があり、例えば技術的なパスとしてはCNN、RNN、GAN、Transformerなどがあり、Transformerモデルは自動エンコーディングモデル、自己回帰モデル、エンコーダデコーダモデルなどに分けられ、形式的にはクローズドソースとオープンソースに分けることができます。この方向性は、時価総額が数千億、さらには数兆の企業が誕生する可能性が最も高いですが、最も熾烈な競争が繰り広げられる主戦場でもあります。
100機種戦争の時代において、機種評価はさまざまな機種の性能を測る中核的なツールとなっています。現在、従来の小型モデル（GLUE、SuperGLUEなど）、大型言語モデル（HELM、BIG-Benchなど）、中国語大型言語モデル（SuperCLUE、C-など）のさまざまな評価ツールが市場に登場しています。 SuperCLUE や C- と同様に、中国の特徴 (毛沢東思想、マスク主義の基本原理など) や中国の特徴 (慣用句、詩、漢文など) およびその他の側面を備えた多数の質問が評価セットに追加されています。評価結果から判断すると、GPT-4、GPT-3.5、Claudeを除いて、国産大型モデル製品は他の海外モデルよりも全体的な評価性能が優れており、中国製大型モデルをトレーニングする必要性が非常に高いです。
アプリケーション層は一般大型モデルと垂直産業大型モデルに分けられ、主に一般大型モデル分野における新世代のAI対応生産性ツールと、さまざまな垂直産業分野における大型モデルの応用機会に焦点を当てています。
to C—AI を活用した生産性向上ツール
疫病の時代において、Notion、Figma、Canva などのコラボレーションをテーマにした生産性ツールは変化を遂げました。同様に、この AI の波の下では、生産性ツールも新たな革命をもたらすでしょう。
現在、テキスト、コード、画像、音楽、ビデオ、3Dなどに大規模なモデルが多かれ少なかれ浸透しています。テキスト分野のチャットボットやオフィス製品のコパイロット、コード分野のGitHubコパイロット、映像分野のMidjourneyやStable Diffusion、音楽分野で以前流行したAI Stefanie Sun、映像分野のRunwayなど、さまざまな新製品や新しいアプリケーションが次々と登場しています。 国内企業ではBaidu、Kingsoft Office、Everなどがあります。 note、Zhipu Huazhangなども同様のAI製品を発表しており、従来の生産性向上ツールの形を大なり小なり変えつつありますが、現状では様々な分野の工業生産プロセスにおける効率化ツールに限定されており、本当の意味でのAGIを実現することはできません。
同時に、Microsoft Office、Adobe Photoshop、Unity、Notion などのメーカーもこの AI の波を積極的に受け入れ、AGI 機能を自社の製品やツール チェーンに組み込んでいることがわかります。当初、Midjourney と Stable Diffusion の登場により、Photoshop は完全に置き換わると考えられていましたが、その後、制御性などの問題により、AGI と AI 生成機能を組み合わせた Photoshop がより強力で使いやすくなったことが判明しました。
to B - 垂直インダストリ モデル
現在、大手メーカーが発売する大規模モデル製品のほとんどは汎用の大規模モデルですが、Bエンド顧客は垂直産業に直面する場合、特定のシナリオの問題をより少ないデータとより低い計算能力で効率的に解決できる、高精度、高一貫性、そして導入が容易な大規模モデルを必要としています。ファーウェイがリリースした最新のPangu 3.0大型モデルは、基本的な大型モデルに基づいており、N L1業界大型モデルとX L2シーンモデル機能が追加されています。
垂直産業の大規模モデルの中核となるキー ポイントは、高品質の産業データ セットと、モデルのチューニング、圧縮、展開のためのエンジニアリング機能です。これは投資機会のポイントでもあり、クラウド ネイティブ時代のコンテナの機会と同様に、伝統的な業界の多くの中小規模の B 企業は、クラウド ネイティブの道に乗り出すための支援を専門のコンテナ メーカーに依存する必要があります。
現在、FinGPT分野のBloombergGPTなど、海外では垂直産業の大型モデルの探索と実践が盛んに行われており、ブルームバーグは過去40年間に蓄積した財務データを3,650億トークンの財務データセットに変換し、一般データセットと組み合わせて独自の500億パラメータを学習させている Microsoft社のNuance ed-PaLM 2（GPT-4と統合し、音声対応の医療記録生成アプリケーション―DAX Expressをリリース） ）など。
最後に、海外AGIトラックの資金の注力についてお話します： **投資額の観点からは、マーケティングテキストアプリケーション、オーディオ、カスタマーサポート/接客ロボット、画像、MLOpsプラットフォームがトップ5となっており、資金調達額の観点からは、大型モデル開発の敷居を下げることがコアバリューであるMLOpsプラットフォームへの資金流入が多く、次いで接客ロボット、オーディオ、デジタルヒューマン、吹き替え、画像となっている。 **
Q&A
**Q1: データアノテーションやAI開発支援などのアウトソーシングサービス会社が最近好調のようですが、投資傾向はどうですか？ **
A: 現在、この 2 つの方向に注目しています。データ ラベル付けの分野では、主に、GPT-4 を使用してテキストのラベル付けを行い、SAM を使用して画像のラベル付けを行うなど、これらの企業が大規模モデルの機能を使用してラベル付けの効率を向上させる方法に焦点を当てています。データ ラベル付けの分野における現在の中心的な競争は効率と粗利であり、大規模なモデル機能を利用してより効率的なラベル付けを実現できるのは誰であるためです。大規模モデルのサービスに関しては、クラウドネイティブ時代のコンテナの機会と同様であり、専門ベンダーは大規模モデルのトレーニング、開発、展開の敷居を下げ、各企業が大規模モデルの自由を実現できるよう支援する必要がある。
**Q2: AI には現在、TO C と TO B の 2 つのカテゴリがあります。TO C と TO B のどちらの方がチャンスが大きいと思いますか? **
A: TO B にもっと注目します。 TOC 分野にはインターネット大手が多すぎるため、特に国内の APP アプリケーションエコロジーが強力な地域では、大手メーカーが自社の APP に AI 機能を組み込むことが容易になります。したがって、私たちは彼らのデータ統合能力、商業的理解、エンジニアリング能力にさらに注目しています。
**Q3: 10 億を超えるパラメータを持つ大規模モデルであっても、中国では 80 以上が報告されています。ビッグモデルへの投資動向はどうですか？オープンソースとクローズドソースのどちらを選択すればよいでしょうか? **
A: オープンソースとクローズドソースについては、オープンソースをどう活用するか、オープンソースモデルを商用化にどう活用するかということを考える必要があり、例えばLLaMAではオープンソース契約の中で商用制限が設けられています。クローズドソースには独自の生態系とサポートが必要ですが、それを維持できるのは能力と資金力のある大手メーカーだけです。
**Q4: AI起業家という観点から見ると、AI起業家は3つのカテゴリーに分類できます。 1つのカテゴリーは、大規模な工場やすでに有名な創業者からのものです。もう 1 つのカテゴリーは、清華大学またはその他の分野の学者、学者、専門家です。草の根活動をする傾向がある起業家というカテゴリーもあります。これら 3 つのカテゴリのうちどれが好きですか? **
A: 中国における大型モデルの波の多くは、Open AI が ChatGPT、LLaMA、Bloom などの大型モデルをオープンソースとしてリリースした後に現れましたが、現在は様子見の姿勢をとっています。もちろん、中国には大型模型ブームの波が来る前から模索してきた先進的な大手メーカーや学術系スタートアップ企業も数多く存在する。
学術チームにとって、どのようにして商業化を達成するかが最も難しい課題です。ですから、将来的には自分でやる必要はないと思います、例えば、OpenAI と Microsoft が協力することで、大規模なモデルの機能を大手メーカーに与えることができます。現在、Open Source China を中心にターゲットを探していますが、中国には IDE 製品ラインがあり、コードのコパイロットが必要なため、学術チームとの協力の可能性を模索しています。
**Q5: B サイドの垂直産業のうち、商業的なブレークスルーを達成する可能性が最も高いのはどれですか? **
A: 大規模モデルの機能の一般化とマルチモダリティにより、法律分野は非常に一般的なシナリオであり、テキスト コンテンツの需要は非常に大きくなっています。より大きなモデルにはまさにこの機能がありますが、精度の点で解決すべき問題がまだいくつかあります。さらに、開発サイクルは長くなる可能性がありますが、パーソナル アシスタント製品も想像できるシナリオです。