出典: AI ダークホース著者: Peng Hui 360 Group 副社長## **01. 大型モデルの開発トレンドは「垂直化」**この大規模モデルは、包括的、遍在的、普遍的な機能を備えているため、将来的には数千の家庭に導入され、数千の業界に力を与えることになるでしょう。したがって、次のような見解があります。すべての家庭、すべての政府、すべての企業には 1 つ以上の大規模なモデルがあります。また、To B 市場における中国と米国の発展は大きく異なると考えています。中国には独占は存在しないし、大型モデルが 3 ～ 5 個しか存在しないわけではない。将来的には、大きなモデルがどこにでも普及し、将来の開発の機会がエンタープライズ市場にある必要があります。デジタル化が我が国の中核戦略となっており、産業のデジタル化が将来、巨大な分散型増分市場となることは誰もが知っています。したがって、中国で大型モデルを製造する際には、業界に力を与え、産業レベルの市場を固定し、いわゆる集中市場から大型モデルを引き出すために、このような戦略的機会を掴まなければならないと強く信じています。政府と企業の生産性と生産効率。 もちろん、このプロセスでは、大規模モデルがエンタープライズ市場に参入する過程でいくつかの大きな課題に直面することになります。それを4つの側面にまとめます。１）専門的な知識が不足している。大規模なモデルにフィードを与えるために大量のインターネット コーパスを使用することは誰もが知っています。これは高校生、せいぜい学部卒業生のようなものです。しかし、一部の専門分野の知識、業界の知識、企業の内部知識が著しく不足しています。更新も間に合わない。つまり、これは大きな問題であり、専門知識の欠如です。2) 時々幻覚的なナンセンス。みんなよく一言言いますし、大物モデルは真面目にくだらない話をします。知識の曖昧さと知識の錯覚が生じるでしょう。データと知識は構造化データベースのようなものであるため、ディープ ニューラル ネットワークのパラメーターと重みに別の行列とベクトル形式でエンコードされます。ただし、これを呼び出して使用したいので、実際にはブートストラップをより適切に実行する必要があります。このプロセスでは、アルゴリズムのメカニズムによりコンテンツの錯覚が生じるため、信憑性や信頼性を保証することはできません。3) セキュリティの問題。企業は、自社の独自のスキルを公共の大規模モデルに貢献したり、公共の大規模モデルにトレーニングしたりすることに消極的です。4) コストの問題。現在、Nvidia H100 の供給は在庫切れであり、ChatGPT は一度に数万枚のカードをトレーニングすると主張しています。したがって、この種の投資は一般企業にとっては非常に困難です。人員は削減されたかもしれないが、コストは削減されていない。では、これらの問題をどのように解決すればよいでしょうか?私たちは、将来の開発トレンドは、垂直化と、小規模だが特化された垂直型の大型モデルの作成に向かうものであるに違いないと考えています。タスクの分解、人間とコンピューターの相互作用、知識の質問応答などの問題をすべて解決するために、単一の万能の汎用大規模モデルに依存することは不可能です。小規模で独自の垂直大規模モデルをトレーニングするには、エンタープライズ レベルのデータ コーパスと高品質のデータに依存する必要があります。大型モデルは、将来的にはすべてのデジタル システムの標準構成およびコンポーネントになるでしょう。## **02 エンタープライズレベルの GPT を迅速に実装するにはどうすればよいですか? **私たちは 100 社以上の企業顧客とパートナーにインタビューしましたが、基本的に全員が次のような共通認識を持っています。現時点では大型モデルがすべてではありません。そこで問題となるのは、これをエンタープライズ シナリオにより適切に適用するにはどうすればよいかということです。私たちはいわゆるゼネラリストを専門化し、政府や企業の真の専門家になる必要があります。このとき、小さな切り込みを見つけて、その長所を最大限に発揮する必要があります。私たちは、大きなモデルの現在の機能は主に、テキスト生成、つまりコンテンツ作成と知識質問応答の 2 つの機能に反映されていると考えています。まずはこの 2 つの能力から始めましょう。大規模モデル業界の専門家は、比較的集中的で狭いアプリケーション シナリオでは、より小型で微調整された大規模モデルの方が To B エンドの精度要件をより早く満たせると考える人が増えています。したがって、最初は大きなモデルを優れたアシスタントにし、最初は大きなモデルを優れたナビゲーションとして、段階的に進める必要があります。このようなシナリオに焦点を当て、これら 4 つの製品に適応して生産性と有効性を迅速に発揮する対応するアプリケーション シナリオを、上、下、内部、外部の 4 つの側面から見つけます。1) 内部シーンでは、オフィスの執筆と要約が中心であると考えられます。２）対外的には、接客現場にデジタル人材が大量に登場し始めた。3) 上記のシナリオでは、情報とインテリジェンスの要約と分析に重点を置きます。4) 次のシナリオでは、大きなモデルに企業の知識や仕事のスキルについての一連のトレーニングを実行させることができます。したがって、実装プロセス全体を通じて、私たちは非常に重要な点に気づきました。将来的には、ビジネス シナリオの 80% 以上が企業の知識ベースと密接に関連するようになるでしょう。 以前は、ビッグ データに取り組んでいたとき、私たちは皆、構造化データのアプリケーションに留まっていました。非構造化知識とデータの 80% が放棄または放置されていることを知っておく必要があり、ビッグ データのこの部分は大規模モデルのトレーニングのコーパスになります。したがって、企業のビッグデータベースから貴重な知識と高品質の正確なデータを抽出し、それを企業のプライベートドメインの知識ベースに変換し、検索の修正と強化を通じて大規模なモデルを強化する方法によって、真に信頼できるコンテンツを作成できるようになります。 To B ビジネスシナリオにおけるタイムリーなコンテンツ更新、分散化やドメイン分割などのコンテンツのセキュリティ。データは 3 つのゲートに分割されます。最初のゲートはオープンなインターネット データであり、2 番目のゲートは半公開の業界データまたは企業データであり、その一部は企業内の機密データです。この種の企業の機密データと許可されたデータについては、企業の知識ベースに置くか、ベクトルデータベースに置く必要があります。そうすることで、ある種の権限管理を通じて、権限と監査を伴う一種の管理を生み出すことができます。より正確な知識と権限を提供するために、大規模なモデルの検索によって強化された、分類された階層的な企業知識。もう 1 つの側面はアプリケーションです。アプリケーション レベルでは、誰もが ChatGPT を使用しています。使いやすいと思いますか?なぜ少し前に、将来はエンジニアを示唆するポストや役割がたくさんあるだろうと頭脳関係者全員が言及していたのですが、実際にはそれは非常に複雑です。私たちは、それに良い記事を書いてもらいたいのですが、良い記事を書く前に、たくさんのヒント、中心的なアイデア、要約、概要を与えなければなりません。何ミリのレンズ、焦点距離、絞り、被写界深度を使用する必要があるか、どのような環境でこのような本当に美しい生成画像を作成できるかを教えてください。しかし、そのようなヒントプロジェクトは実際に使用するだけですが、非常に便利です扱いにくくて使いにくい。したがって、将来の開発プロセスでは、いわゆる言語 UI について迷信を持たないでください。また、より伝統的なインターフェイスが排除されることはありません。さらに、より直感的で応用性が高いため、オフィスでの文書作成、画像作成、マーケティングの創造性など、さらには政府の知識に関する質疑応答のシナリオなど、将来的には大量に生成されることになるでしょう。例えば、老周はよく「千切りのジャガイモが食べたい。酢の物ではなく揚げたものが食べたい。クリックは秒のレベルかもしれない。そして私はこの件を終えた。」とよく言った。360 は、独自のエンタープライズ レベル GPT の製品システム フレームワーク全体をリリースします。最下層では、データとナレッジが将来的には大規模なエンタープライズレベルのモデルのベースになると依然として信じており、これは過去のすべてのデータの蓄積から切り離すことはできません。マルチメディア オーディオやビデオ グラフィックス、画像データなどのコンテンツやドキュメントを、複数のデータ コネクタや知識追跡ロボットを通じて、マルチソース データを促進する処理エンジンに組み込んでいます。ベクトルインデックス、伝統的な意味での抽象インデックス、テキストインデックス、マルチモーダルインデックスを通じて、エンタープライズナレッジベースにエンタープライズレベルの大規模モデルのナレッジベースを構築し、検索とナレッジ強化を通じて、プロフェッショナルな垂直型企業を強化します。大 上向きにサービスを提供するモデルです。## **03、大規模モデルをランディングするための 3 つの実践方法と最良のプロセス**1) オフィスライティング。さまざまな 15 カテゴリの大きなテンプレートと、約 80 カテゴリに細分化されたドキュメント テンプレートの背後に複雑なプロジェクトを隠します。このようなツールを使用して、公式文書の作成を効率的に完了し、時間のかかる低品質の公式文書作成の問題を効果的に解決します。2) 政府サービス。大規模なモデルと政府事務の知識ベースを通じて、複数回の対話を通じて大規模なモデルに人間のように意味論を理解させ、フォローアップとフォローアップの質問を通じて関連情報を補足し、最終的に質疑応答を形成することができます。一般の人がビジネスを行う過程で抱くあらゆる質問に客観的かつ正確に答えることができます。3) 文化観光デジタル担当者。Lao Zhou 氏も Wenlv Digital People について何度も言及しました。誰もが旅行の計画を立てたことがあると思いますが、いわゆる旅行旅程計画で旅行の問題は解決できるでしょうか?私たちが大切にしているのは、目的地に到着した後、地元の友人と地元のツアーガイドがいることです。私が気になる観光スポット、食べ物、逸話、ジョーク、これらはどのようにして目的地中心のデジタル コンパニオンになるのでしょうか?私たちはそのようなデジタルコンパニオンを作りたいと考えており、将来的には政府のリーダーシップの下、中国と台湾の機能を徐々に開放し、OTAと現地のホテル、レストランを接続した上で、その機能を提供していきます。360 グループ自体、100 を超える法人顧客およびパートナーと協力して、これまでのベスト プラクティスの実装プロセスを形成してきました。 最初のステップはビジネス分析とシナリオの選択です。2 番目のステップは、データ収集とクリーニングの準備です。3 番目のステップは、エンタープライズ独自の大規模モデルをトレーニングすることです。4 番目のステップは、エンタープライズ シナリオ アプリケーションを開発することです。すべての大規模モデルがエンタープライズ レベルのシナリオに実装された場合でも、最優先事項の 1 つは依然としてビジネス分析であると私たちは考えています。それはデジタル化と何ら変わりません。ビジネス分析の過程でビジネスの問題点を見つけて、適切なシナリオを見つけ、このシナリオを選択した後、ソリューションを定義する必要があります。次に、このシーンに関するデータと知識を収集して整理し、高品質のラベル付きデータを形成します。データベースに入力された後、その一部はトレーニング用のコーパスとして垂直型大規模モデルに供給され、その一部はエンタープライズ ナレッジ ベースに入り、知識の検索強化が行われます。次に、既存の業務システムと統合するためのモデルのアプリケーション整理やAPIの公開による、スマートアシスタント、デジタル従業員、デジタルヒューマンの開発です。エンタープライズレベルの大規模モデルの実装プロセスでは、両当事者のビジネス専門家と技術専門家の緊密な協力が不可欠であることを強調します。
360グループ潭輝：大型モデルの開発トレンドは垂直化です！エンタープライズレベルの ChatGPT に必要なのは、次の 4 つの手順のみです。
出典: AI ダークホース
著者: Peng Hui 360 Group 副社長
01. 大型モデルの開発トレンドは「垂直化」
この大規模モデルは、包括的、遍在的、普遍的な機能を備えているため、将来的には数千の家庭に導入され、数千の業界に力を与えることになるでしょう。
したがって、次のような見解があります。
すべての家庭、すべての政府、すべての企業には 1 つ以上の大規模なモデルがあります。
また、To B 市場における中国と米国の発展は大きく異なると考えています。中国には独占は存在しないし、大型モデルが 3 ～ 5 個しか存在しないわけではない。
将来的には、大きなモデルがどこにでも普及し、将来の開発の機会がエンタープライズ市場にある必要があります。
デジタル化が我が国の中核戦略となっており、産業のデジタル化が将来、巨大な分散型増分市場となることは誰もが知っています。
したがって、中国で大型モデルを製造する際には、業界に力を与え、産業レベルの市場を固定し、いわゆる集中市場から大型モデルを引き出すために、このような戦略的機会を掴まなければならないと強く信じています。政府と企業の生産性と生産効率。
それを4つの側面にまとめます。
１）専門的な知識が不足している。
大規模なモデルにフィードを与えるために大量のインターネット コーパスを使用することは誰もが知っています。これは高校生、せいぜい学部卒業生のようなものです。しかし、一部の専門分野の知識、業界の知識、企業の内部知識が著しく不足しています。更新も間に合わない。つまり、これは大きな問題であり、専門知識の欠如です。
みんなよく一言言いますし、大物モデルは真面目にくだらない話をします。知識の曖昧さと知識の錯覚が生じるでしょう。データと知識は構造化データベースのようなものであるため、ディープ ニューラル ネットワークのパラメーターと重みに別の行列とベクトル形式でエンコードされます。ただし、これを呼び出して使用したいので、実際にはブートストラップをより適切に実行する必要があります。このプロセスでは、アルゴリズムのメカニズムによりコンテンツの錯覚が生じるため、信憑性や信頼性を保証することはできません。
企業は、自社の独自のスキルを公共の大規模モデルに貢献したり、公共の大規模モデルにトレーニングしたりすることに消極的です。
現在、Nvidia H100 の供給は在庫切れであり、ChatGPT は一度に数万枚のカードをトレーニングすると主張しています。したがって、この種の投資は一般企業にとっては非常に困難です。人員は削減されたかもしれないが、コストは削減されていない。
では、これらの問題をどのように解決すればよいでしょうか?
私たちは、将来の開発トレンドは、垂直化と、小規模だが特化された垂直型の大型モデルの作成に向かうものであるに違いないと考えています。
タスクの分解、人間とコンピューターの相互作用、知識の質問応答などの問題をすべて解決するために、単一の万能の汎用大規模モデルに依存することは不可能です。小規模で独自の垂直大規模モデルをトレーニングするには、エンタープライズ レベルのデータ コーパスと高品質のデータに依存する必要があります。
大型モデルは、将来的にはすべてのデジタル システムの標準構成およびコンポーネントになるでしょう。
**02 エンタープライズレベルの GPT を迅速に実装するにはどうすればよいですか? **
私たちは 100 社以上の企業顧客とパートナーにインタビューしましたが、基本的に全員が次のような共通認識を持っています。
現時点では大型モデルがすべてではありません。
そこで問題となるのは、これをエンタープライズ シナリオにより適切に適用するにはどうすればよいかということです。
私たちはいわゆるゼネラリストを専門化し、政府や企業の真の専門家になる必要があります。
このとき、小さな切り込みを見つけて、その長所を最大限に発揮する必要があります。
私たちは、大きなモデルの現在の機能は主に、テキスト生成、つまりコンテンツ作成と知識質問応答の 2 つの機能に反映されていると考えています。まずはこの 2 つの能力から始めましょう。
大規模モデル業界の専門家は、比較的集中的で狭いアプリケーション シナリオでは、より小型で微調整された大規模モデルの方が To B エンドの精度要件をより早く満たせると考える人が増えています。
したがって、最初は大きなモデルを優れたアシスタントにし、最初は大きなモデルを優れたナビゲーションとして、段階的に進める必要があります。
このようなシナリオに焦点を当て、これら 4 つの製品に適応して生産性と有効性を迅速に発揮する対応するアプリケーション シナリオを、上、下、内部、外部の 4 つの側面から見つけます。
２）対外的には、接客現場にデジタル人材が大量に登場し始めた。
上記のシナリオでは、情報とインテリジェンスの要約と分析に重点を置きます。
次のシナリオでは、大きなモデルに企業の知識や仕事のスキルについての一連のトレーニングを実行させることができます。
したがって、実装プロセス全体を通じて、私たちは非常に重要な点に気づきました。将来的には、ビジネス シナリオの 80% 以上が企業の知識ベースと密接に関連するようになるでしょう。
したがって、企業のビッグデータベースから貴重な知識と高品質の正確なデータを抽出し、それを企業のプライベートドメインの知識ベースに変換し、検索の修正と強化を通じて大規模なモデルを強化する方法によって、真に信頼できるコンテンツを作成できるようになります。 To B ビジネスシナリオにおけるタイムリーなコンテンツ更新、分散化やドメイン分割などのコンテンツのセキュリティ。
データは 3 つのゲートに分割されます。
最初のゲートはオープンなインターネット データであり、2 番目のゲートは半公開の業界データまたは企業データであり、その一部は企業内の機密データです。
この種の企業の機密データと許可されたデータについては、企業の知識ベースに置くか、ベクトルデータベースに置く必要があります。そうすることで、ある種の権限管理を通じて、権限と監査を伴う一種の管理を生み出すことができます。より正確な知識と権限を提供するために、大規模なモデルの検索によって強化された、分類された階層的な企業知識。
もう 1 つの側面はアプリケーションです。アプリケーション レベルでは、誰もが ChatGPT を使用しています。使いやすいと思いますか?
なぜ少し前に、将来はエンジニアを示唆するポストや役割がたくさんあるだろうと頭脳関係者全員が言及していたのですが、実際にはそれは非常に複雑です。
私たちは、それに良い記事を書いてもらいたいのですが、良い記事を書く前に、たくさんのヒント、中心的なアイデア、要約、概要を与えなければなりません。何ミリのレンズ、焦点距離、絞り、被写界深度を使用する必要があるか、どのような環境でこのような本当に美しい生成画像を作成できるかを教えてください。しかし、そのようなヒントプロジェクトは実際に使用するだけですが、非常に便利です扱いにくくて使いにくい。
したがって、将来の開発プロセスでは、いわゆる言語 UI について迷信を持たないでください。また、より伝統的なインターフェイスが排除されることはありません。
さらに、より直感的で応用性が高いため、オフィスでの文書作成、画像作成、マーケティングの創造性など、さらには政府の知識に関する質疑応答のシナリオなど、将来的には大量に生成されることになるでしょう。
例えば、老周はよく「千切りのジャガイモが食べたい。酢の物ではなく揚げたものが食べたい。クリックは秒のレベルかもしれない。そして私はこの件を終えた。」とよく言った。
360 は、独自のエンタープライズ レベル GPT の製品システム フレームワーク全体をリリースします。最下層では、データとナレッジが将来的には大規模なエンタープライズレベルのモデルのベースになると依然として信じており、これは過去のすべてのデータの蓄積から切り離すことはできません。マルチメディア オーディオやビデオ グラフィックス、画像データなどのコンテンツやドキュメントを、複数のデータ コネクタや知識追跡ロボットを通じて、マルチソース データを促進する処理エンジンに組み込んでいます。ベクトルインデックス、伝統的な意味での抽象インデックス、テキストインデックス、マルチモーダルインデックスを通じて、エンタープライズナレッジベースにエンタープライズレベルの大規模モデルのナレッジベースを構築し、検索とナレッジ強化を通じて、プロフェッショナルな垂直型企業を強化します。大 上向きにサービスを提供するモデルです。
03、大規模モデルをランディングするための 3 つの実践方法と最良のプロセス
さまざまな 15 カテゴリの大きなテンプレートと、約 80 カテゴリに細分化されたドキュメント テンプレートの背後に複雑なプロジェクトを隠します。このようなツールを使用して、公式文書の作成を効率的に完了し、時間のかかる低品質の公式文書作成の問題を効果的に解決します。
大規模なモデルと政府事務の知識ベースを通じて、複数回の対話を通じて大規模なモデルに人間のように意味論を理解させ、フォローアップとフォローアップの質問を通じて関連情報を補足し、最終的に質疑応答を形成することができます。一般の人がビジネスを行う過程で抱くあらゆる質問に客観的かつ正確に答えることができます。
Lao Zhou 氏も Wenlv Digital People について何度も言及しました。誰もが旅行の計画を立てたことがあると思いますが、いわゆる旅行旅程計画で旅行の問題は解決できるでしょうか?
私たちが大切にしているのは、目的地に到着した後、地元の友人と地元のツアーガイドがいることです。私が気になる観光スポット、食べ物、逸話、ジョーク、これらはどのようにして目的地中心のデジタル コンパニオンになるのでしょうか?私たちはそのようなデジタルコンパニオンを作りたいと考えており、将来的には政府のリーダーシップの下、中国と台湾の機能を徐々に開放し、OTAと現地のホテル、レストランを接続した上で、その機能を提供していきます。
360 グループ自体、100 を超える法人顧客およびパートナーと協力して、これまでのベスト プラクティスの実装プロセスを形成してきました。
2 番目のステップは、データ収集とクリーニングの準備です。
3 番目のステップは、エンタープライズ独自の大規模モデルをトレーニングすることです。
4 番目のステップは、エンタープライズ シナリオ アプリケーションを開発することです。
すべての大規模モデルがエンタープライズ レベルのシナリオに実装された場合でも、最優先事項の 1 つは依然としてビジネス分析であると私たちは考えています。それはデジタル化と何ら変わりません。
ビジネス分析の過程でビジネスの問題点を見つけて、適切なシナリオを見つけ、このシナリオを選択した後、ソリューションを定義する必要があります。
次に、このシーンに関するデータと知識を収集して整理し、高品質のラベル付きデータを形成します。データベースに入力された後、その一部はトレーニング用のコーパスとして垂直型大規模モデルに供給され、その一部はエンタープライズ ナレッジ ベースに入り、知識の検索強化が行われます。次に、既存の業務システムと統合するためのモデルのアプリケーション整理やAPIの公開による、スマートアシスタント、デジタル従業員、デジタルヒューマンの開発です。
エンタープライズレベルの大規模モデルの実装プロセスでは、両当事者のビジネス専門家と技術専門家の緊密な協力が不可欠であることを強調します。