100のモデルウォーズ、単一のプラットフォームのために戦わない

出典:Digital Intelligence Frontline

著者: Xu Xin

画像ソース: Unbounded AIによって生成

業界のインテリジェントな変革は深海領域に参入し、AI機能に対する企業の需要ポイントは変化しています。

ますます多くの大企業が、単一のインテリジェントアプリケーションを超えて注目しています。 電力や金融などの業界では、大企業はAI機能の生産、適用、管理の全プロセスに焦点を当てており、人材不足、データ不足、管理の難しさ、リソースの再利用率の低さなどの一連の問題点を解決するために、メーカーのAI学習プラットフォームとプラットフォーム生産性ツールの要件を提唱しています。

大型モデルブームの到来後、プラットフォーム競争の焦点は大規模モデルの開発と応用に移り、メーカーは従来のAIプラットフォームソリューションと大規模モデルを積極的に組み合わせています。 プラットフォーム競争では、一部の企業の利点が強調されています。 国際的な分析機関であるForresterが最近発表したレポートによると、中国の人工知能/機械学習プラットフォームの競争において、Baiduインテリジェントクラウドは優れたパフォーマンスを発揮し、選択に参加したAIプラットフォームは、データ、推論、アプリケーション15のサブカテゴリなど6つのカテゴリで最高スコアを獲得し、リーダークアドラント**にランクインしました。

AIプラットフォームは、企業がビジネスニーズを満たすAIモデルとアプリケーションを迅速に構築し、モデルのパフォーマンスを効果的に監視および最適化するのに役立ちます。

100シーンで100台のモデルを作るという状況は過去のものになりました。

01 AIの徹底活用、昔の銃の悩み

**業界は詳細なAIアプリケーションの段階に入っており、AIはもはや手の届かないものではありません。 しかし、ますます多くの企業が、アプリケーションの深化に伴い、エンタープライズインテリジェンスの分野のシニアユーザーが新しい問題に直面していることに気づいています。

エネルギー業界を例にとると、大手電力会社は回路検査など複数のシナリオでAIモデルを使用しています。 通常、そのような企業の関連ニーズは、ほとんどの場合、さまざまな部門または支店によって個別に購入されます。 AIアプリケーションの数が増えると、モデルの数も増えます。 多数のモデルを管理し、それらを安定的かつ効率的に実行し続けることが課題になっています。

多くの大企業が同様の問題を抱えています。 あるベテランは、Digital Intelligence Frontlineに、企業のA部門がアルゴリズムAを5人配置し、B部門もアルゴリズムをチームBに数人配置しているため、企業レベルから統一された監視、最適化、更新、保守を実行することが困難であり、企業全体のAIリソースの再利用率が非常に低いことを個人的に見たと語っています。

一部の企業や機関は、すでにクレジットカードの発行、適格性の確認、不正の識別にAI技術を適用し、AIリスク管理と精密なマーケティングを実現しています。 しかし、金融業界がセキュリティとコンプライアンスを重視する傾向は、AIの応用にも及んでいます。 たとえば、銀行の技術チームはコンプライアンス要因を非常に重要視しており、新しいモデルを作成する場合、誰が建設の委任と承認を担当し、誰がデータ読み取りの承認を処理し、データの書き込み、モデルの作成、トレーニング、着陸、および打ち上げもプロセスの層によって保証されます。 この種の要求は、明らかに従来のインテリジェントアプリケーション構築ではありません。

クラウドベンダーのシニアインダストリーソリューション担当者がDigital Intelligence Frontierに語ったところによると、一部の大規模な中央国有企業は、企業のインテリジェントハブを構築し、独自のAI能力を育成することで、企業のデジタル部門が新しいシナリオ向けに独自のアルゴリズムを開発し、新しいアプリケーションを開発できるようにすることを明らかに望んでいます。

この傾向は業界でも見られます。 BaiduのインテリジェントクラウドAIプラットフォームのシニアアーキテクトであるJin Wei氏は、デジタルインテリジェンスの最前線で、これはAIアプリケーションが深海域に向かっており、企業の体系的な変革がますます顕著になっていることを反映していると語った。 企業は、ビジョンと目標の計画を立てるだけでなく、強力なプロモーション調整と監督メカニズムを持ち、円滑な実施を確実にするための完全なツールを持っている必要があります。 AIプラットフォームは、企業のインテリジェントな変革のための生産性向上ツールです。

業界は、このプラットフォーム製品の重要性を認識しています。 国際的なアナリスト企業であるForresterは、このほどレポート「The Forrester WaveTM: Evaluation of AI/ML Platform Vendors in the China Market, Q42023」を発表し、中国の企業の意思決定者は、生産性の向上とビジネスイノベーションを推進するためにAIテクノロジーの採用をさらに優先していると指摘しています。 その過程で、企業はそれぞれのビジネス環境で複雑なユースケースをサポートできるAIプラットフォーム製品を必要としています。

新しいトレンドは、機械学習プラットフォームベンダーの能力も要求しています。 Forresterによると、主要なプラットフォームは、データ管理、モデルトレーニング、AIアプリケーション構築にわたる包括的なツールを提供する必要があります。 また、AIの才能やデータサイエンティストが不足している一部の企業が、独自のビジネスニーズに基づいてAI機能を取得できるように、業界のシナリオに適応させる必要があります。 さらに、ツール、テクノロジ、プラクティスは、企業が大規模なモデルを開発してデプロイするのに役立ちます。

Forresterは、中国の主流の機械学習プラットフォームベンダー14社を、製品能力、戦略的レイアウト、市場パフォーマンスの3つの側面から25のサブ基準で評価しました。 データによると、Baidu Intelligent Cloudは現在、レポートのリーダーとして評価されており、データ、トレーニング、予測推論、アプリケーションなどの9つのサブスコアで1位を獲得しています。

Jin Wei氏は、AIプラットフォームにおけるBaiduの優れた製品能力は、長期的な蓄積と洗練を経ていると紹介した。 AIプラットフォームの本来の意図は、さまざまなタイプの企業ユーザーがAIアプリケーションを迅速かつ経済的に構築できるようにすると同時に、プラットフォーム上で複数のアルゴリズム、ツール、高速操作、優れた結果を達成し、顧客がサーバーと人員を節約できるようにする生産性ソフトウェアを作成することです。

現在、エネルギー業界や金融業界の一部の大企業は深く利用されています。 AIプラットフォームに基づいて、企業はビジネスニーズを満たすAIモデルとアプリケーションを迅速に構築できるだけでなく、モデルのパフォーマンスを効果的に監視および最適化することもできます。 さらに、データ、コンピューティング能力、人、プロセスなどのリソースを管理および調整する方が便利で効率的です。

たとえば、電力業界では、BaiduのインテリジェントなクラウドAIプラットフォームが、大規模なグループがビジネス上の問題点を解決するのに役立っています。 一方では、モデルとデータを異なる子会社間で共有して、車輪の再発明を回避できます。 同時に、一部の既存の安全生産関連モデルではこの製品を使用しており、State Gridによって州または市のネットワークに直接配布できるため、AIリソースを効率的に使用し、一貫した品質を得ることができます。 さらに、AIプラットフォームは、多数の専門家の手作業による経験なしにスケジューリングパラメータの自動調整を実現できるBaiduの強化学習フレームワークを使用して、配電のための新しいアルゴリズムの開発など、企業の革新にも役立ちます。

金融業界では、Baidu Intelligent Cloud の AI プラットフォーム ソリューションは、多くの金融機関が大規模なモデル リスク管理モジュールを構築し、AI を金融シナリオに適用する際にプロセスのコンプライアンスと信頼できるセキュリティを確保するのにも役立っています。

02 大型模型の時代、仕立て方

今年に入ってから、大規模モデルと生成AIの波により、業界におけるAIのさらなる深化が促進され、機械学習プラットフォームも新たな開発機会の到来を告げています。

上級情報筋によると、大規模言語モデルの登場後、機械学習プラットフォームの変化は3つのレベルに反映されます。 最も典型的な変化は操作インターフェースであり、NLPがよりシンプルになる前の複雑な操作インターフェースであり、言語AIのエンタープライズアプリケーションのための敷居は低くなっています。 同時に、モデルの自動化機能が向上し、データ処理、モデル選択、自動レポート生成などのタスクを自動化できます。 さらに、AIネイティブの革新的なアプリケーションのためのスペースも開かれました。

これに関連して、多くの企業がこの質問に答えるためにラージモデルを必須と捉えており、さまざまなプラットフォームメーカーも、ラージモデル技術の適用を加速するために、さまざまな製品やプラットフォームの発売に向けて準備を進めています。 百度を例にとると、今年3月には、大規模モデルの開発とアプリケーションの主要機能をAIプラットフォームと緊密に統合し、大規模モデルサービスのための「スーパーファクトリー」を構築する「百度インテリジェントクラウド前帆」大規模モデルプラットフォームを立ち上げた。

企業が大規模モデルアプリケーションを簡単に使用および開発できるようにするために、百度前凡は現在、百度が自社開発したWenxin大規模モデルとサードパーティの大規模モデルを提供するだけでなく、さまざまなAI開発ツールと開発環境の完全なセットを提供し、さまざまな業界の生成AI業界が上陸するのを支援しています。

具体的には、Baiduは、コンピューティングパワーのみを必要とする顧客、大規模モデルAPIを直接呼び出したい、または既存の大規模モデルに基づいて二次開発を行いたい企業、大規模モデルに基づいてAIネイティブアプリケーションを開発したい、または開発したアプリケーションを直接使用したい企業、Baidu Qianfanプラットフォームがターゲットを絞ったサービスを提供できるかどうか、5つのタイプにまとめています。

Baidu Qianfanプラットフォームは、コンピューティングパワーのみを必要とする企業向けに、高効率で費用対効果の高いヘテロジニアスコンピューティングパワーサービスを提供できます。 Jin Wei氏は、これを行うために、BaiduのインテリジェントクラウドAIプラットフォームの技術チームが数年を費やして多くの汚れ仕事をしたことを明らかにしました。 例えば、国内外の主流のAIチップと互換性があり、フレームワーク層、コアアルゴリズムとネットワーク、チップモデル、オペレーティングシステムの4つのレベルから適応させる必要があります。 「PyTorchはTensorFlowとは違います。OSはWindows、Linux、マイコンで、やるべき作業も違います。 **4層の組み合わせは、さまざまなモデルのスムーズな動作を保証するために40,000の適応を行いました。 **」とジン・ウェイは言った。

現在、Qianfanの大型モデルプラットフォームは、Wenxinの大型モデル4.0に接続されているだけでなく、国内プラットフォームの中で最大数である44のサードパーティの主流大型モデルを国内外で管理しています。

**一部の企業では、豊富なツールチェーンと多数のデータセットを必要とする既存の大規模モデルを再開発する必要があります。 **Qianfanプラットフォームには現在、大規模なモデルの再トレーニング、微調整、評価、展開のライフサイクル全体をカバーする完全なツールチェーンと多数の高品質データセットがあり、シナリオに応じてモデル効果を迅速に最適化し、企業の大規模モデルのユーザーエクスペリエンスをさらに向上させることができます。

大規模なモデルでは、データ注釈プロセスに新たな変更が加えられ、多くの注釈タスクをモデルを通じて完了できます。 現在、Qianfanプラットフォームは、ビジネスデータのリフローと高度に自動化されたデータ注釈をサポートしています。 たとえば、物体検出シナリオでは、Qianfanはボタンをクリックするだけで小さな部品にラベルを付け、モデルに人間の注釈スタイルを学習させて自動的に注釈を付けることで、企業の人員を70%~90%節約できます。

また、大規模モデルをベースにしたAIネイティブなアプリケーションを開発したいと考えている企業も少なくありません。 今月中旬、Baidu Intelligent Cloudは、AIネイティブアプリケーションのニーズの開発を目的とした、大規模モデルアプリケーション開発用の共通アプリケーションコンポーネントとアプリケーションフレームワークの2層サービスを含む「Qianfan AI Native Application Development Workbench」をリリースしました。

アプリケーションコンポーネントを例にとると、Qianfanプラットフォームには、Q&Aや思考連鎖などの大規模言語モデルコンポーネント、文生図や音声認識などのマルチモーダルコンポーネント、ベクトルデータベースやオブジェクトストレージなどの従来のクラウドサービス機能など、さまざまなタイプの機能が含まれています。

アプリケーション フレームワークは、コンポーネントを有機的に接続して、特定のシナリオの完全なタスクを完了できます。 Qianfanプラットフォームは、Retrieval Enhanced Generation(RAG)やAgentなどの一般的に使用されるフレームワークサービスを市場に提供しており、Sany Heavy Industryなどのパイオニア企業はこれらのフレームワークを適用して、独自の知識Q&Aアプリケーションを迅速に開発しています。

工学は、大規模モデルの出現後に生まれた新しい分野です。 これは大きなモデルの性質に関係しており、命令を少し変更すると、その出力や動作に大きな違いが生じる可能性があります。 現在、さまざまなメーカーがエンジニアリングツールを重視しています。 百度前帆プラットフォームは、対話、プログラミング、電子商取引、医療、ゲーム、翻訳、スピーチなどをカバーする10以上のシナリオと、合計226のテンプレートも提供します。 報告によると、これは中国の主流プラットフォームで最大のテンプレートライブラリ数です。 開発者や企業は、プラットフォームが提供するさまざまな自動化ツールやバッチツールを使用して、プロセスを効率的に完了することもできます。

Jin Wei氏は、過去数カ月でBaiduのインテリジェントクラウドQianfan大規模モデルプラットフォームが強固な基盤を築き、100モデルの戦いに備え、企業がAIを大規模に適用するのを支援していると考えている。

**03 AIプラットフォーム、次の目的地は? **

AIは大企業だけのものではありません。 現在、機械学習プラットフォームメーカーは、大企業、中小企業の顧客、開発者市場を包括的にカバーすることを重要視しており、BaiduインテリジェントクラウドのAIプラットフォームソリューションもターゲットを絞った方法でさまざまなグループにサービスを提供しています。

Jin Wei氏はDigital Intelligence Frontierに対し、BaiduのAIプラットフォームソリューションは、フル機能のAI開発プラットフォームBML、ゼロ閾値AI開発プラットフォームEasyDL、Baidu Intelligent Cloud Qianfan大規模モデルプラットフォームなどの製品を含む多くの製品の総称であると語った。 さまざまな分野やさまざまな顧客の好みに合わせて、AIプラットフォームには対応する製品適応があります。 例えば、データ処理能力はEasyData製品にパッケージ化され、ゼロコードモデリング機能も抽出されてEasyDL製品となり、ユーザーは高性能な事前学習済みモデルでゼロコードモデリングを完了することができ、大規模モデルの機能はBaiduのインテリジェントクラウドQianfanプラットフォームによって実現される。

パブリッククラウドでは、顧客の大半は中小企業であり、AIプラットフォームのモジュールを再分解して組み合わせ、フル機能のAI開発プラットフォームBMLとEasyDL製品を主な代表としてニーズを満たします。 大口顧客の民営化展開ニーズに応え、各種製品を超大型製品にパッケージ化して納品を完了します。

Forresterのレポートによると、BaiduのインテリジェントクラウドAIプラットフォームの製品機能は、データ処理、モデルトレーニング、予測推論、アプリケーション、アーキテクチャの5つの主要分野で優れたパフォーマンスを発揮しています。

Jin Weiは、さまざまな分野でのユニークな機能と利点を紹介しました。 Jin Wei氏は、データ分野の特徴エンジニアリングを例にとり、BaiduのAIプラットフォームは非常に優れた機能ライブラリ管理機能を統合しており、その能力はプロフェッショナルレベルに達していると紹介しました。 特徴量の追加、削除、変更、クエリ、特徴量生成、共有、バージョン管理、データ検証などの機能を提供し、予測サービスの承認ストリームでさまざまな形式のデータをサポートし、モデルトレーニングで使用される特徴量が最終予測の特徴量と一致していることを確認できます。 「トレーニング中に特徴分布が男性50%、女性50%、男性60%、女性40%と予測される場合、モデルの精度が特に高いことは期待できません」とJin Wei氏は述べています。

たとえば、モデルトレーニングの分野では、BaiduのAIプラットフォームは、画像、ビデオ、テキスト、音声、構造化データなど、さまざまなデータタイプのモデリングとトレーニングをサポートできます。 モデリングに関しては、コードを書くことをいとわない人のためにNoteBookツールのサポートが提供されており、コードを書くのが嫌いな人はドラッグアンドドロップするか、統合されたワンストップボタンをクリックしてモデリングすることもできます。 画像分類、単一ラベルマルチラベル、オブジェクト検出、その他のCVシナリオなど、多数のシナリオで、パドルアルゴリズムチームはパドル演算子に基づいて詳細な最適化を実行しており、パフォーマンスと効果が向上します。

製品性能のユニークな利点は、長期的な技術投資と新しい技術トレンドへの注意と切り離せません。 BaiduのAIプラットフォームのR&Dチームによると、彼らは新しい技術トレンドを非常に懸念しており、例えば3年前、業界はモデルの解釈可能性の問題を議論しており、モデルがどのように意思決定を行うかがわからなければ、セキュリティコンプライアンス要件の高いシナリオでのモデルの使用に影響を与えるとのことです。 一般的に、深層学習モデルは従来の機械学習モデルよりもはるかに大きなパラメータを持ち、ブラックボックスの問題はより深刻になります。

長い準備期間を経て、百度AIプラットフォームチームはついに従来の機械学習の分野におけるモデルの説明可能性アルゴリズムを克服し、5つの一般的な機械学習のホワイトボックス原則を統合し、ディープラーニングの解釈可能性の問題も克服しました。 「モデルがデータ駆動型かアルゴリズム誘導型か、モデルがいつ意思決定を行うかを判断することは、属性を示すことができ、これらの結果は、財務上の意思決定などの特殊な業界シナリオにおけるAIプラットフォーム関連製品の適用を促進します。」 ジン・ウェイが紹介した。

現在、業界は大規模モデルの開発パラダイムを5つの層に分けており、大規模モデル自体、エンジニアリング、チェーンツールチェーンとアクションチェーン、エージェンシーとマルチエージェンシーに分かれています。 百度(バイドゥ)のインテリジェントクラウドQianfanプラットフォームの主な焦点は、第1層と第2層で非常に堅実であり、ツールチェーン、エージェント、マルチエージェンシー機能を含む最後の3つの層も重要な構築段階にある。 Jin Wei氏は、Qianfanの大型モデルプラットフォームは引き続き改善とアップグレードを行い、大型モデルが主体的に主導権を握り、複雑な問題を解決する能力を持つことができると紹介した。 同時に、将来的に海に出る計画も排除されていません**。

一般に、企業のインテリジェントな構築の下で、企業によるAIの適用は大幅にアップグレードされ、AIプラットフォームの分野での競争はますます激しくなっています。 時代を先取りし、変化するコンプライアンスと技術的な複雑さという長期的な課題に対応するために、メーカーはテクノロジーへの投資も必要になります。 Jin Weiは、メーカーがこの変化する市場に適応するために、技術革新を順守し、顧客満足度、安全性、コンプライアンスを向上させる必要があると考えています。