ソース: 量子ビット大型モデルのトレンドは、それに関連するすべてのものに何億もの「小さなショック」をもたらしました。AI/MLプラットフォームもその1つです。これは大規模モデルのトレンドと密接に関連しており、主要なクラウドベンダーのAIテクノロジーの研究開発力のレベルや、最新のトレンドの洞察力と理解力を直接反映することができます。どっちが強い? 業界で話題になっています。 テクノロジーの風向きが激変する中、AI/MLプラットフォームにも新しい評価基準があります。国際機関が発表したForresterの最新の「**First Chinese Artificial Intelligence/Machine Learning Platform Report**」は、タイムリーな参考資料を提供しています。Forrester Researchは、中国および世界中で高く評価されているテーマ別レポートを発行する独立系テクノロジーおよび市場調査会社です。隔年で発行される Forrester Wave は、Forrester の最も影響力のあるレポート タイプです。 このレポートは、Baidu Intelligent Cloud、Alibaba Cloud、Huawei Cloud、Tencent Cloudなど、国内市場の主流クラウドベンダー14社を調査し、製品機能、戦略的計画、市場パフォーマンスの3つの側面から評価しました。Forresterは、25のセグメントの包括的な評価に基づいて、14の主要ベンダーをリーダー、トップパフォーマー、コンテンダー、チャレンジャーの4つの象限に分類しています。具体的なハイライトを見ていきましょう。 ## **新しいトレンドがもたらす新しい基準** まず、報告書の核となる結論から見ていきましょう。この象限チャートでは、戦略レベルを横軸、製品能力を縦軸とし、リーダー、エクセレントパフォーマー、コンペター、チャレンジャーの4つの象限に分かれており、各企業の市場パフォーマンスも反映しています。 象限の分布は次のとおりです。リーダー(2)、トップパフォーマー(5)、競技者(4)、チャレンジャー(3)。最初の段階には、Baidu Intelligent Cloud と Alibaba Cloud があります。 その中で、Baiduインテリジェントクラウドは見事に機能し、総合スコアで1位を獲得しました。第2段階は最も競争が激しく、5つのベンダーが象限内で非常にコンパクトな位置を占めています。上記の結論は、Forresterが実施した25の評価の結果です。Forresterは、中国市場におけるAI/MLプラットフォームの現在の競争環境を整理することに加えて、AI/MLプラットフォームを評価するための新しい標準リファレンスを提案しました。次の3つのポイントが最も重要です。*包括的なツールチェーン*使いやすいアクセラレータ*大規模なモデル運用なぜでしょうか。Forresterは、ジェネレーティブAIと大規模モデルのトレンドの影響を受けて、生産性を高め、ビジネスイノベーションを加速するためにAIアプリケーションがますます重要になっていると考えています。今日の中国市場では、企業は自社のビジネス環境内の複雑な問題を解決できるAI/MLプラットフォームを切実に必要としています。市場の需要を満たすためには、上記の3つの側面が不可欠です。まず、データ管理、モデルトレーニング、AIアプリケーション開発機能を提供するツールチェーンが必要です。 **これは、AI/MLプラットフォームの中核でもあります。Forresterは、プラットフォーム側は、モデルの構築、トレーニング、評価における主要なツールに注意を払うだけでなく、AIアプリケーション開発に必要なツールにも注意を払う必要があると提案しています。たとえば、専門家向けの AI フレームワークやノートブックなどです。 ビジネスパーソンのためのローコードのビジュアルツール。これに加えて、データ管理ツールはモデル構築にも大きな影響を与えます。 第二に、業界に使いやすいアクセラレーターを提供します。 **Forresterは、国内市場のほとんどの企業には、AIアルゴリズムとビジネス知識の両方を理解しているエンジニアが不足しており、ビジネスニーズに合わせてアルゴリズムを調整することが困難であると指摘しています。現在、彼らは大規模モデルのトレンドの「ポーズ」を受け入れており、大規模モデルを使用して微調整を行うか、プロンプトエンジニアリングを行っています。そのため、AIモデルの構築やアプリケーション開発を加速できる高速化ツールが非常に重要です。 可視化ツールやローコード開発などにより、イノベーションをさらに加速させることができます。 第3に、大規模モデル運用による大規模モデルの実装を加速する。 **Model Ops には、モデルのデプロイ、監視、更新、自動化が含まれており、モデルのドリフト、パフォーマンスの低下、セキュリティのメンテナンス、モデルの更新などの問題を解決し、A/B テスト、自動チューニング、モデルの再トレーニングを提供できます。企業が大規模モデルのトレンドを受け入れる中、大規模なモデル運用を備えたAI/MLプラットフォームは、企業がAIモデルを開発、展開、管理し、企業のデジタルトランスフォーメーションをさらに促進し、コストを削減し、効率を高めるのに役立ちます。 要約すると、AI/MLプラットフォームが新しいトレンドのリーダーになるためには、使いやすいツールを提供し、業界のニーズを満たし、企業によるAIの導入を加速する必要があります。そして、どのような能力がより具体的に備わっているのか、現在のリーダーから分析する必要があります。 ## リーダーズ・クアドラントにたどり着くには? ** このForresterのレポートでは、Baidu Intelligent Cloudのパフォーマンスが目を引く。クラウドベンダーとして唯一「リーダー」クアドラントに入り、総合スコアで1位、9つのサブディビジョンスコアで1位を獲得しました。製品機能の面では、Baidu Intelligent Cloud は、データ、トレーニング、予測推論、アプリケーションの 4 つのサブディビジョンでトップレベルにあります。同時に、戦略的次元と市場規模の点でも、Baiduはこれらのプロジェクトの多くで1位を獲得しました。 Forresterは、Baidu Intelligent Cloudを「中国の基本モデルのパイオニアの1つ」と表現しています。Baidu Intelligent Cloud >、ERNIE ファミリーの基盤モデルを堅実な製品ロードマップを持つポートフォリオに組み込んでおり、PaddlePaddle を中心としたアクティブなエコシステムは、AI 開発者を巻き込んで共同イノベーションを行う効果的な方法です。その具体的な機能は百度(バイドゥ)のAIプラットフォームから来ており、その製品にはBML、EasyDL、百度(バイドゥ)のインテリジェントクラウド「Qianfan」大規模モデルプラットフォームが含まれる。百度(バイドゥ)のインテリジェントクラウドAIプラットフォームを例にとると、現在のAI/MLプラットフォームが市場で主導的な地位を占めるためには、どのような機能を持つべきかをより具体的に分析することができます。Forresterのレポートのディメンションによると、特定の機能は、データ、トレーニング、予測推論、アプリケーション、アーキテクチャの5つの側面に分けることができます。 これらは、AIモデルの開発と応用における5つのコア要素でもあります。**データから始めましょう。 **データ処理の部分では、BaiduのAIプラットフォームは構造化データと非構造化データの両方を処理できます。円グラフ、ヒートマップ、散布図、マップなど、65 種類以上のデータ視覚化がサポートされています。 **10+種類のフィルターコンポーネント**をサポートし、ユーザーは簡単な構成とドラッグアンドドロップを行うだけで、リアルタイムのデータ監視と補助的な意思決定を実現できます。同時に、30+のデータ形式の注釈もサポートし、モデリングプロセスに最も集中した人員で注釈リンクの効率を向上させます。 特筆すべきは、バイドゥのAIプラットフォームが**アクティブラーニングアノテーション**機能を提供し、システムがデータセットから画像のパターンを直接分析し、最も重要な画像を自動的にフィルタリングし、限定的なアノテーションを促すことができることです。たとえば、ラベルを付ける必要がある画像が 10,000 枚ある場合、システムは特徴的な画像を前面に、繰り返しの画像を背面に配置するため、最初の 3,000 枚の画像のみがマークされ、最後の 7,000 枚の画像が自動的にマークされます。報告によると、この方法は、企業ユーザーの人員を平均して70〜90%節約できます。 「人工知能」における人間の労働力の割合は大幅に減少しました。さらに、特徴エンジニアリングの面では、百度(バイドゥ)のAIプラットフォームは**プロフェッショナルレベルの特徴データベース管理機能**を統合し、特徴量の追加、削除、変更、クエリ、特徴量生産、特徴量共有、特徴バージョン管理、データ検証などの機能を提供する。予測サービスでは、バッチとストリーミングのさまざまな形式のデータがサポートされているため、モデルの精度に直接関連するトレーニングと最終予測中にモデルの特性が一貫していることを確認できます。上記の機能は具体的な数値に反映されており、Forresterのレポートでは、BaiduのAIプラットフォームのデータ機能について5点満点中5点(スコア満点)を獲得しており、他のベンダーを大きく引き離しています。 **2つ目はモデルトレーニングです。 **これは、市場の需要という点では、最新のトレンドの最も明白な側面の1つであり、プロの開発者だけでなく、AIアルゴリズムに特化していないビジネスパーソンも対象としているため、機能を提供するAI/MLプラットフォームが使いやすく、柔軟であることが求められます。百度(バイドゥ)のAIプラットフォームの実践を参照。一方では「幅」を重視し、画像、動画、テキスト、音声など、さまざまなデータのモデリングと学習をサポートします。モデリング方法も非常に柔軟で、ノートブック/ WebIDE開発、ドラッグアンドドロップビジュアル開発、スクリプトパラメータチューニング、カスタムジョブなどのさまざまなモデリング方法をサポートしており、さまざまな専門レベルの人々向けに高精度モデルのカスタマイズされた開発を完了できます。反対側は「深さ」です。 BaiduのAIプラットフォームは、独自のパドルアルゴリズムチームのサポートにより、多数のシーンオペレーターを徹底的に最適化しました。 画像分類、物体検出、テキスト分類、シーケンスアノテーションなどを含みます。たとえば、パドル演算子に基づいて深く最適化されたPP YOLOは、物体検出の分野でベンチマークのYOLO V3を上回っています。 使いやすさも大きな焦点です。 バイドゥのAIプラットフォームでは、ゼロコードモデリングとビジュアルモデリングを実現できます。 前者の場合、ユーザーはデータをアップロードし、タイプを選択するだけでモデリングを開始できます。 後者は、コンポーネントをドラッグアンドドロップし、各パーツのパラメータを設定することで、モデリングプロセスを組み立てることができます。また、AIコンピューティングの量は年間10倍以上増加しており、深層学習の学習におけるタスクリソースを調整する能力が特に重要になっています。 百度(バイドゥ)のAIプラットフォームは、マルチマシンとマルチカードの分散トレーニングをサポートし、さまざまなタイプのコンピューティングリソースを提供します。また、Baidu自体も超大規模モデルの学習経験が豊富で、ビジュアル大規模モデルや生成AIなどに独自の機能を統合することができます。 例えば、ハイパーパラメータの自動探索、アンバランスデータの自動処理、超大規模の事前学習などを行うことができます。その結果、Baidu AI プラットフォームでは、プログラミング効率を向上させるための多くの開発ツールも見ることができます。能力の3番目の側面は推論です。 **大規模モデルの開発に伴い、推論市場はさらに拡大し、指数関数的に成長することさえあり、AI/MLプラットフォームに大きな課題をもたらします。BaiduのAIプラットフォームの観点からは、主に開発効率、パフォーマンスの最適化、柔軟性、および拡張性に重点を置いています。その推論モジュールであるModel Serveは、最も一般的なPaddle、Tensor Flow、PyTorch、科学計算用のMatlab/R、機械学習用のXg boostなど、16のAIフレームワークをサポートしています。パフォーマンスの最適化に関しては、非同期推論スケジューラをスケジューリングレイヤーで直接抽象化して異種推論ワーカーを実現し、サーバー全体のパフォーマンスとGPU使用率を1倍以上向上させます。同時に、自動バッチ処理をサポートし、長さの異なるタスクを分類し、同様のサイズのタスクを同じバッチにコンパイルして異種リソースを最大限に活用し、非同期デカップリングに基づいて効率を70%向上させることができます。 4 つ目の領域は、アプリケーションです。 **レポートのアプリケーションは、主に各プラットフォームのアプリケーション効率を調べます。つまり、既存のリソースを使用して、データをビジネスの生産性にすばやく変換する方法です。BaiduのAIプラットフォームは、データ収集とクリーニングから、モデル開発とトレーニング、モデル管理、クラウドとオフラインの推論サービス管理まで、AI開発プロセスの完全なライフサイクル管理機能を提供できます。 BaiduのAIプラットフォームは、中国で初めて情報通信技術アカデミーのMLOps標準のフラッグシップレベルに到達したプラットフォームであることは言及する価値があります。現在、BaiduのAIプラットフォームの機能は、金融、エネルギー、運輸などの業界に輸出されています。 上海浦東発展銀行、北京銀行、国家電網、中国南方電力網などにサービスを提供しています。2022年、BaiduのインテリジェントクラウドAIプラットフォームのパブリッククラウド有料ユーザー数は49%増加し、民営化された顧客数は32%増加し、開発者数は122万8000人増加し、成長率は約40%になります。 買戻率は年々上昇し、主要産業の買取率は50%に達しています。最後に、アーキテクチャに関しては、BaiduのAIプラットフォームのアーキテクチャ設計がForresterスコアで満点を獲得しました。 一言でまとめると、BaiduのAIプラットフォームは「リーダー」のレベルに達しています。> 多くのアルゴリズム、ツール、高速操作、良好な結果が得られ、セキュリティと使いやすさを確保しながら、サーバーと人員を節約します。百度(バイドゥ)のAIプラットフォームの全体的な機能を分析すると、これらのツールやアイデアの多くが、現在の大規模モデルトレンドの新しいニーズに合致していることは間違いない。実際、技術の方向性が大きく変化する中で、既存のアーキテクチャを需要の変化に合わせて調整するだけでなく、新しい対処方法を提案する傾向にあります。 ## **大規模モデルの時代に、クラウド上のAIの新しい競争パターンが事前に決定されました** では、大規模モデルの波の影響で、AI/MLプラットフォームに対する市場の需要にはどのような新しい変化が起きているのでしょうか?過去には、CVやNLPの多くのモデルがSOTAと呼ばれていましたが、業界ではノンコアビジネスで使われることが依然として多かったのです。 現在、従来のワークフローを覆す驚くべき能力により、大規模なモデルはますます認識され始めており、さまざまな業界におけるインテリジェンスのボトルネックを突破するための鍵であると考えられています。しかし、クラウドベンダーにとっては、小規模モデルの時代において、大規模モデルの時代が「ゼロからのスタート」というわけではありません。実際、大型モデルの応用が深まるにつれ、エージェントなどの技術分野がますます注目されています。 核となるのは、大規模モデルが独自の機能に基づいており、小規模モデルを成熟したスケジューリングと結び付けて、実際のアプリケーションで問題を解決し、運用シナリオでより高速で価値があると考えられているという事実にあります。したがって、大規模モデルが切り開く「新時代」において、AI/MLプラットフォームの「リーダー」にとって、小型モデル時代の技術蓄積と大規模モデル時代の技術革新は補完的であり、不可欠である。 「新時代」における百度(バイドゥ)のAIプラットフォームが解答用紙に手渡された - **Baidu Intelligent Cloud Qianfan Large Model Platform**はその一例です。ワンストップのエンタープライズレベルの大規模モデルプラットフォームとして、BaiduインテリジェントクラウドQianfanプラットフォームは、本質的にチップ層、フレームワーク層、モデル層、アプリケーション層におけるBaiduの深い蓄積の産物です。それは5つの側面で具体化されています。第一に、コンピューティングパワーのレベルでは、BaiduのインテリジェントクラウドQianfanプラットフォームは、効率的で費用対効果の高いヘテロジニアスコンピューティングサービスを提供できます。大規模モデルトレーニングの過程で、分散並列トレーニング戦略とマイクロ秒レベルの相互接続機能により、Baidu Qianfanプラットフォームでの10,000カードスケールクラスタートレーニングの加速率は95%に達する可能性があります。 同時に、Vankaクラスターの有効トレーニング時間は96%に達することができ、コンピューティングパワーと時間のコストを大幅に削減します。 第二に、**モデルレベル**では、Baidu Qianfanプラットフォームは、Wenxinラージモデル、Llamaシリーズ、ChatGLMなどを含む44の主流のラージモデルを国内外で管理しており、ユーザーがAPIをすばやく呼び出してラージモデル機能を直接取得することをサポートしています。サードパーティの大規模モデルの場合、Baidu Qianfanプラットフォームは、中国語の機能強化、パフォーマンスの強化、コンテキストの強化など、ターゲットを絞った方法で最適化されています。Baiduは、BaiduのQianfanプラットフォームでの大規模モデルAPI呼び出しの数が急速に増加し続けていることを明らかにした。 現在、Baidu Qianfanプラットフォームは20,000人以上の顧客にサービスを提供しています。第三に、Baidu Qianfanプラットフォームは、既存の大規模モデルに基づいて二次開発を実行したい顧客向けに、大規模モデルの再トレーニング、微調整、評価、展開のためのライフサイクル全体のツールチェーンと、特定のビジネスシナリオの迅速なモデル最適化を実現できる41の高品質データセットを提供します。第 4 に、アプリケーションレベルでは、大規模モデルに基づいて AI ネイティブ アプリケーションを開発する企業のニーズに応えて、Baidu Qianfan プラットフォームは一連の機能コンポーネントとフレームワークを提供します。たとえば、226 個の組み込みテンプレートがあるため、開発者はプロンプト エンジニアリングに慣れていなくても、大規模なモデルの回答の品質をすばやく向上させることができます。10月17日に開催されたBaidu World Conferenceで、Baidu Intelligent Cloudは「**Baidu Qianfan AI Native Application Development Workbench**」もリリースしました。 具体的には、この「ワークベンチ」は、アプリケーションコンポーネント+アプリケーションフレームワークの2つの部分で構成されています。 **アプリケーション コンポーネント サービスは、AI とベーシック クラウドの 2 つのコンポーネントで構成されています。 **その中で、AIコンポーネント、つまり大規模なモデル機能のコンポーネントベースのカプセル化には、Q&Aや思考の連鎖(CoT)などの大規模言語モデルコンポーネントと、文生図や音声認識などのマルチモーダルコンポーネントが含まれます。基本的なクラウドコンポーネントには、ベクターデータベースやオブジェクトストレージなどの従来のクラウドサービスが含まれます。**アプリケーション フレームワークは、特定のシナリオ タスクに向けられており、大規模なモデルの機能に基づいて、上記のアプリケーション コンポーネントの効果的な組み合わせとして理解できます。現在、Baidu Qianfanプラットフォームは、Retrieval Enhanced Generation(RAG)やAgentなどの一般的に使用されるAIネイティブアプリケーションフレームワークを提供しています。その中で、RAGフレームワークは、企業独自のドメインの知識と大規模なモデルのQ&A機能を組み合わせて、専門的な知識に対してより正確な回答を得ることができます。このRAGフレームワークに基づいて、Sany Heavy Industryは公式Webサイトでインテリジェントカスタマーサービスアプリケーションの開発と立ち上げを迅速に実現しました。 百度集団の副社長兼百度インテリジェントクラウドビジネスグループの社長であるShen Dou氏は、数千の長文文書を処理する必要がある場合でも、そのような「小さなアシスタント」を構築するコストはわずか数百元であることを明らかにしました。 その後、ユーザーの各情報のコストはわずか数セントです。エージェントフレームワークに基づいて、大規模モデルは、人間から与えられたタスクを自動的に分解し、さまざまなコンポーネントを自動的に計画して呼び出し、タスクを共同で完了させると同時に、タスク完了効果に応じて自己フィードバックを提供して、自身の能力を向上させることができます。現在、このエージェントフレームワークに基づいて、Zhongtian Iron and Steelはインテリジェントな「エンタープライズスケジューリングセンター」を構築し、タスク指示の自動認識、分解、実行を実現しています。たとえば、鉄鋼の生産量が標準に達していないことが判明した場合、大規模モデルはプラットフォームによって管理されるさまざまなリソースとAPIを自動的に呼び出して、コンプライアンス違反の理由を見つけ、生産スケジュールを時間内に調整し、ディスパッチャーに通知する電子メールを送信できます。 最後に、Baidu Qianfanは、AIネイティブアプリケーションの供給側と需要側をつなぎ、大規模なモデルビジネスチャンスの集いの場を提供する「**AIネイティブアプリストア**」も立ち上げました。 一方で、BaiduのインテリジェントクラウドQianfanラージモデルプラットフォームの迅速な立ち上げは、Baidu独自のラージモデルテクノロジーの開発の恩恵を受けていることを理解するのは難しくありません。 一方、百度(バイドゥ)のAIプラットフォームが長年にわたって蓄積してきた製品能力と、業界での豊富な実務経験により、百度(バイドゥ)のQianfanプラットフォームはアプリケーション側で効果的な役割を果たす上で主導権を握っている。 IDCのデータによると、中国のAIパブリッククラウドサービス市場は2022年に80.6%のプラス成長を示し、全体の市場規模は79億7000万元に達すると予測されています。IDCの分析によると、ジェネレーティブAIと大規模モデルの実装は現在初期段階にあり、これらの機能はパブリッククラウド上でより迅速に更新および反復することができ、短期的にはAIパブリッククラウドサービスに大きなメリットをもたらすと考えています。また、ガートナーは、ジェネレーティブAIは大規模なモデルによって駆動されており、堅牢で拡張性の高いコンピューティングインフラストラクチャの要件を提唱していると指摘しています。 「クラウドは完璧なソリューションとプラットフォームを提供し、ジェネレーティブAIレースの主役はトップクラスのクラウドベンダーでなければなりません」Forresterの最新レポートと合わせると、クラウドベンダーにとって、AIクラウドサービスが新たな競争の焦点になっていることがわかります。そして、競争力を測る方法、今では評価基準が徐々に明確になっています。最終的な分析には、2 つの主要な側面があります。まず、開発者や企業ユーザーの視点から見ると、AIクラウドサービスプラットフォームの能力が、複雑なビジネスが直面する実際的な問題や、特に大規模モデルの波の下でのインテリジェントなアップグレードの過程での専門的な人材の不足を本当に費用対効果の高い方法で解決できるかどうかです。第二に、技術動向の観点からは、大規模モデルとより緊密に統合されています。百度(バイドゥ)のAIプラットフォームのレイアウトは、競争環境における最新の変化の中で、主要なAIクラウドベンダーが提示した参考回答と見なすことができます。結果は? より多くの着陸ケースでは、実際の章を見ることができます。
中国のAIプラットフォームの最新パターンが公開されました! Baiduの総合スコアは1位、2位は熾烈な競争が繰り広げられ、大規模モデルはクラウドベンダーの進化を加速させています
ソース: 量子ビット
大型モデルのトレンドは、それに関連するすべてのものに何億もの「小さなショック」をもたらしました。
AI/MLプラットフォームもその1つです。
これは大規模モデルのトレンドと密接に関連しており、主要なクラウドベンダーのAIテクノロジーの研究開発力のレベルや、最新のトレンドの洞察力と理解力を直接反映することができます。
どっちが強い? 業界で話題になっています。
国際機関が発表したForresterの最新の「First Chinese Artificial Intelligence/Machine Learning Platform Report」は、タイムリーな参考資料を提供しています。
Forrester Researchは、中国および世界中で高く評価されているテーマ別レポートを発行する独立系テクノロジーおよび市場調査会社です。
隔年で発行される Forrester Wave は、Forrester の最も影響力のあるレポート タイプです。
Forresterは、25のセグメントの包括的な評価に基づいて、14の主要ベンダーをリーダー、トップパフォーマー、コンテンダー、チャレンジャーの4つの象限に分類しています。
具体的なハイライトを見ていきましょう。
新しいトレンドがもたらす新しい基準
まず、報告書の核となる結論から見ていきましょう。
この象限チャートでは、戦略レベルを横軸、製品能力を縦軸とし、リーダー、エクセレントパフォーマー、コンペター、チャレンジャーの4つの象限に分かれており、各企業の市場パフォーマンスも反映しています。
リーダー(2)、トップパフォーマー(5)、競技者(4)、チャレンジャー(3)。
最初の段階には、Baidu Intelligent Cloud と Alibaba Cloud があります。 その中で、Baiduインテリジェントクラウドは見事に機能し、総合スコアで1位を獲得しました。
第2段階は最も競争が激しく、5つのベンダーが象限内で非常にコンパクトな位置を占めています。
上記の結論は、Forresterが実施した25の評価の結果です。
Forresterは、中国市場におけるAI/MLプラットフォームの現在の競争環境を整理することに加えて、AI/MLプラットフォームを評価するための新しい標準リファレンスを提案しました。
次の3つのポイントが最も重要です。
*包括的なツールチェーン *使いやすいアクセラレータ *大規模なモデル運用
なぜでしょうか。
Forresterは、ジェネレーティブAIと大規模モデルのトレンドの影響を受けて、生産性を高め、ビジネスイノベーションを加速するためにAIアプリケーションがますます重要になっていると考えています。
今日の中国市場では、企業は自社のビジネス環境内の複雑な問題を解決できるAI/MLプラットフォームを切実に必要としています。
市場の需要を満たすためには、上記の3つの側面が不可欠です。
まず、データ管理、モデルトレーニング、AIアプリケーション開発機能を提供するツールチェーンが必要です。 **
これは、AI/MLプラットフォームの中核でもあります。
Forresterは、プラットフォーム側は、モデルの構築、トレーニング、評価における主要なツールに注意を払うだけでなく、AIアプリケーション開発に必要なツールにも注意を払う必要があると提案しています。
たとえば、専門家向けの AI フレームワークやノートブックなどです。 ビジネスパーソンのためのローコードのビジュアルツール。
これに加えて、データ管理ツールはモデル構築にも大きな影響を与えます。
Forresterは、国内市場のほとんどの企業には、AIアルゴリズムとビジネス知識の両方を理解しているエンジニアが不足しており、ビジネスニーズに合わせてアルゴリズムを調整することが困難であると指摘しています。
現在、彼らは大規模モデルのトレンドの「ポーズ」を受け入れており、大規模モデルを使用して微調整を行うか、プロンプトエンジニアリングを行っています。
そのため、AIモデルの構築やアプリケーション開発を加速できる高速化ツールが非常に重要です。 可視化ツールやローコード開発などにより、イノベーションをさらに加速させることができます。
Model Ops には、モデルのデプロイ、監視、更新、自動化が含まれており、モデルのドリフト、パフォーマンスの低下、セキュリティのメンテナンス、モデルの更新などの問題を解決し、A/B テスト、自動チューニング、モデルの再トレーニングを提供できます。
企業が大規模モデルのトレンドを受け入れる中、大規模なモデル運用を備えたAI/MLプラットフォームは、企業がAIモデルを開発、展開、管理し、企業のデジタルトランスフォーメーションをさらに促進し、コストを削減し、効率を高めるのに役立ちます。
そして、どのような能力がより具体的に備わっているのか、現在のリーダーから分析する必要があります。
リーダーズ・クアドラントにたどり着くには? **
このForresterのレポートでは、Baidu Intelligent Cloudのパフォーマンスが目を引く。
クラウドベンダーとして唯一「リーダー」クアドラントに入り、総合スコアで1位、9つのサブディビジョンスコアで1位を獲得しました。
製品機能の面では、Baidu Intelligent Cloud は、データ、トレーニング、予測推論、アプリケーションの 4 つのサブディビジョンでトップレベルにあります。
同時に、戦略的次元と市場規模の点でも、Baiduはこれらのプロジェクトの多くで1位を獲得しました。
Baidu Intelligent Cloud >、ERNIE ファミリーの基盤モデルを堅実な製品ロードマップを持つポートフォリオに組み込んでおり、PaddlePaddle を中心としたアクティブなエコシステムは、AI 開発者を巻き込んで共同イノベーションを行う効果的な方法です。
その具体的な機能は百度(バイドゥ)のAIプラットフォームから来ており、その製品にはBML、EasyDL、百度(バイドゥ)のインテリジェントクラウド「Qianfan」大規模モデルプラットフォームが含まれる。
百度(バイドゥ)のインテリジェントクラウドAIプラットフォームを例にとると、現在のAI/MLプラットフォームが市場で主導的な地位を占めるためには、どのような機能を持つべきかをより具体的に分析することができます。
Forresterのレポートのディメンションによると、特定の機能は、データ、トレーニング、予測推論、アプリケーション、アーキテクチャの5つの側面に分けることができます。 これらは、AIモデルの開発と応用における5つのコア要素でもあります。
**データから始めましょう。 **
データ処理の部分では、BaiduのAIプラットフォームは構造化データと非構造化データの両方を処理できます。
円グラフ、ヒートマップ、散布図、マップなど、65 種類以上のデータ視覚化がサポートされています。 10+種類のフィルターコンポーネントをサポートし、ユーザーは簡単な構成とドラッグアンドドロップを行うだけで、リアルタイムのデータ監視と補助的な意思決定を実現できます。
同時に、30+のデータ形式の注釈もサポートし、モデリングプロセスに最も集中した人員で注釈リンクの効率を向上させます。
たとえば、ラベルを付ける必要がある画像が 10,000 枚ある場合、システムは特徴的な画像を前面に、繰り返しの画像を背面に配置するため、最初の 3,000 枚の画像のみがマークされ、最後の 7,000 枚の画像が自動的にマークされます。
報告によると、この方法は、企業ユーザーの人員を平均して70〜90%節約できます。 「人工知能」における人間の労働力の割合は大幅に減少しました。
さらに、特徴エンジニアリングの面では、百度(バイドゥ)のAIプラットフォームはプロフェッショナルレベルの特徴データベース管理機能を統合し、特徴量の追加、削除、変更、クエリ、特徴量生産、特徴量共有、特徴バージョン管理、データ検証などの機能を提供する。
予測サービスでは、バッチとストリーミングのさまざまな形式のデータがサポートされているため、モデルの精度に直接関連するトレーニングと最終予測中にモデルの特性が一貫していることを確認できます。
上記の機能は具体的な数値に反映されており、Forresterのレポートでは、BaiduのAIプラットフォームのデータ機能について5点満点中5点(スコア満点)を獲得しており、他のベンダーを大きく引き離しています。
これは、市場の需要という点では、最新のトレンドの最も明白な側面の1つであり、プロの開発者だけでなく、AIアルゴリズムに特化していないビジネスパーソンも対象としているため、機能を提供するAI/MLプラットフォームが使いやすく、柔軟であることが求められます。
百度(バイドゥ)のAIプラットフォームの実践を参照。
一方では「幅」を重視し、画像、動画、テキスト、音声など、さまざまなデータのモデリングと学習をサポートします。
モデリング方法も非常に柔軟で、ノートブック/ WebIDE開発、ドラッグアンドドロップビジュアル開発、スクリプトパラメータチューニング、カスタムジョブなどのさまざまなモデリング方法をサポートしており、さまざまな専門レベルの人々向けに高精度モデルのカスタマイズされた開発を完了できます。
反対側は「深さ」です。 BaiduのAIプラットフォームは、独自のパドルアルゴリズムチームのサポートにより、多数のシーンオペレーターを徹底的に最適化しました。 画像分類、物体検出、テキスト分類、シーケンスアノテーションなどを含みます。
たとえば、パドル演算子に基づいて深く最適化されたPP YOLOは、物体検出の分野でベンチマークのYOLO V3を上回っています。
また、AIコンピューティングの量は年間10倍以上増加しており、深層学習の学習におけるタスクリソースを調整する能力が特に重要になっています。 百度(バイドゥ)のAIプラットフォームは、マルチマシンとマルチカードの分散トレーニングをサポートし、さまざまなタイプのコンピューティングリソースを提供します。
また、Baidu自体も超大規模モデルの学習経験が豊富で、ビジュアル大規模モデルや生成AIなどに独自の機能を統合することができます。 例えば、ハイパーパラメータの自動探索、アンバランスデータの自動処理、超大規模の事前学習などを行うことができます。
その結果、Baidu AI プラットフォームでは、プログラミング効率を向上させるための多くの開発ツールも見ることができます。
能力の3番目の側面は推論です。 **
大規模モデルの開発に伴い、推論市場はさらに拡大し、指数関数的に成長することさえあり、AI/MLプラットフォームに大きな課題をもたらします。
BaiduのAIプラットフォームの観点からは、主に開発効率、パフォーマンスの最適化、柔軟性、および拡張性に重点を置いています。
その推論モジュールであるModel Serveは、最も一般的なPaddle、Tensor Flow、PyTorch、科学計算用のMatlab/R、機械学習用のXg boostなど、16のAIフレームワークをサポートしています。
パフォーマンスの最適化に関しては、非同期推論スケジューラをスケジューリングレイヤーで直接抽象化して異種推論ワーカーを実現し、サーバー全体のパフォーマンスとGPU使用率を1倍以上向上させます。
同時に、自動バッチ処理をサポートし、長さの異なるタスクを分類し、同様のサイズのタスクを同じバッチにコンパイルして異種リソースを最大限に活用し、非同期デカップリングに基づいて効率を70%向上させることができます。
レポートのアプリケーションは、主に各プラットフォームのアプリケーション効率を調べます。
つまり、既存のリソースを使用して、データをビジネスの生産性にすばやく変換する方法です。
BaiduのAIプラットフォームは、データ収集とクリーニングから、モデル開発とトレーニング、モデル管理、クラウドとオフラインの推論サービス管理まで、AI開発プロセスの完全なライフサイクル管理機能を提供できます。
現在、BaiduのAIプラットフォームの機能は、金融、エネルギー、運輸などの業界に輸出されています。 上海浦東発展銀行、北京銀行、国家電網、中国南方電力網などにサービスを提供しています。
2022年、BaiduのインテリジェントクラウドAIプラットフォームのパブリッククラウド有料ユーザー数は49%増加し、民営化された顧客数は32%増加し、開発者数は122万8000人増加し、成長率は約40%になります。 買戻率は年々上昇し、主要産業の買取率は50%に達しています。
最後に、アーキテクチャに関しては、BaiduのAIプラットフォームのアーキテクチャ設計がForresterスコアで満点を獲得しました。
百度(バイドゥ)のAIプラットフォームの全体的な機能を分析すると、これらのツールやアイデアの多くが、現在の大規模モデルトレンドの新しいニーズに合致していることは間違いない。
実際、技術の方向性が大きく変化する中で、既存のアーキテクチャを需要の変化に合わせて調整するだけでなく、新しい対処方法を提案する傾向にあります。
大規模モデルの時代に、クラウド上のAIの新しい競争パターンが事前に決定されました
では、大規模モデルの波の影響で、AI/MLプラットフォームに対する市場の需要にはどのような新しい変化が起きているのでしょうか?
過去には、CVやNLPの多くのモデルがSOTAと呼ばれていましたが、業界ではノンコアビジネスで使われることが依然として多かったのです。 現在、従来のワークフローを覆す驚くべき能力により、大規模なモデルはますます認識され始めており、さまざまな業界におけるインテリジェンスのボトルネックを突破するための鍵であると考えられています。
しかし、クラウドベンダーにとっては、小規模モデルの時代において、大規模モデルの時代が「ゼロからのスタート」というわけではありません。
実際、大型モデルの応用が深まるにつれ、エージェントなどの技術分野がますます注目されています。 核となるのは、大規模モデルが独自の機能に基づいており、小規模モデルを成熟したスケジューリングと結び付けて、実際のアプリケーションで問題を解決し、運用シナリオでより高速で価値があると考えられているという事実にあります。
したがって、大規模モデルが切り開く「新時代」において、AI/MLプラットフォームの「リーダー」にとって、小型モデル時代の技術蓄積と大規模モデル時代の技術革新は補完的であり、不可欠である。
ワンストップのエンタープライズレベルの大規模モデルプラットフォームとして、BaiduインテリジェントクラウドQianfanプラットフォームは、本質的にチップ層、フレームワーク層、モデル層、アプリケーション層におけるBaiduの深い蓄積の産物です。
それは5つの側面で具体化されています。
第一に、コンピューティングパワーのレベルでは、BaiduのインテリジェントクラウドQianfanプラットフォームは、効率的で費用対効果の高いヘテロジニアスコンピューティングサービスを提供できます。
大規模モデルトレーニングの過程で、分散並列トレーニング戦略とマイクロ秒レベルの相互接続機能により、Baidu Qianfanプラットフォームでの10,000カードスケールクラスタートレーニングの加速率は95%に達する可能性があります。 同時に、Vankaクラスターの有効トレーニング時間は96%に達することができ、コンピューティングパワーと時間のコストを大幅に削減します。
サードパーティの大規模モデルの場合、Baidu Qianfanプラットフォームは、中国語の機能強化、パフォーマンスの強化、コンテキストの強化など、ターゲットを絞った方法で最適化されています。
Baiduは、BaiduのQianfanプラットフォームでの大規模モデルAPI呼び出しの数が急速に増加し続けていることを明らかにした。 現在、Baidu Qianfanプラットフォームは20,000人以上の顧客にサービスを提供しています。
第三に、Baidu Qianfanプラットフォームは、既存の大規模モデルに基づいて二次開発を実行したい顧客向けに、大規模モデルの再トレーニング、微調整、評価、展開のためのライフサイクル全体のツールチェーンと、特定のビジネスシナリオの迅速なモデル最適化を実現できる41の高品質データセットを提供します。
第 4 に、アプリケーションレベルでは、大規模モデルに基づいて AI ネイティブ アプリケーションを開発する企業のニーズに応えて、Baidu Qianfan プラットフォームは一連の機能コンポーネントとフレームワークを提供します。
たとえば、226 個の組み込みテンプレートがあるため、開発者はプロンプト エンジニアリングに慣れていなくても、大規模なモデルの回答の品質をすばやく向上させることができます。
10月17日に開催されたBaidu World Conferenceで、Baidu Intelligent Cloudは「Baidu Qianfan AI Native Application Development Workbench」もリリースしました。 具体的には、この「ワークベンチ」は、アプリケーションコンポーネント+アプリケーションフレームワークの2つの部分で構成されています。
その中で、AIコンポーネント、つまり大規模なモデル機能のコンポーネントベースのカプセル化には、Q&Aや思考の連鎖(CoT)などの大規模言語モデルコンポーネントと、文生図や音声認識などのマルチモーダルコンポーネントが含まれます。
基本的なクラウドコンポーネントには、ベクターデータベースやオブジェクトストレージなどの従来のクラウドサービスが含まれます。
**アプリケーション フレームワークは、特定のシナリオ タスクに向けられており、大規模なモデルの機能に基づいて、上記のアプリケーション コンポーネントの効果的な組み合わせとして理解できます。
現在、Baidu Qianfanプラットフォームは、Retrieval Enhanced Generation(RAG)やAgentなどの一般的に使用されるAIネイティブアプリケーションフレームワークを提供しています。
その中で、RAGフレームワークは、企業独自のドメインの知識と大規模なモデルのQ&A機能を組み合わせて、専門的な知識に対してより正確な回答を得ることができます。
このRAGフレームワークに基づいて、Sany Heavy Industryは公式Webサイトでインテリジェントカスタマーサービスアプリケーションの開発と立ち上げを迅速に実現しました。
エージェントフレームワークに基づいて、大規模モデルは、人間から与えられたタスクを自動的に分解し、さまざまなコンポーネントを自動的に計画して呼び出し、タスクを共同で完了させると同時に、タスク完了効果に応じて自己フィードバックを提供して、自身の能力を向上させることができます。
現在、このエージェントフレームワークに基づいて、Zhongtian Iron and Steelはインテリジェントな「エンタープライズスケジューリングセンター」を構築し、タスク指示の自動認識、分解、実行を実現しています。
たとえば、鉄鋼の生産量が標準に達していないことが判明した場合、大規模モデルはプラットフォームによって管理されるさまざまなリソースとAPIを自動的に呼び出して、コンプライアンス違反の理由を見つけ、生産スケジュールを時間内に調整し、ディスパッチャーに通知する電子メールを送信できます。
IDCの分析によると、ジェネレーティブAIと大規模モデルの実装は現在初期段階にあり、これらの機能はパブリッククラウド上でより迅速に更新および反復することができ、短期的にはAIパブリッククラウドサービスに大きなメリットをもたらすと考えています。
また、ガートナーは、ジェネレーティブAIは大規模なモデルによって駆動されており、堅牢で拡張性の高いコンピューティングインフラストラクチャの要件を提唱していると指摘しています。 「クラウドは完璧なソリューションとプラットフォームを提供し、ジェネレーティブAIレースの主役はトップクラスのクラウドベンダーでなければなりません」
Forresterの最新レポートと合わせると、クラウドベンダーにとって、AIクラウドサービスが新たな競争の焦点になっていることがわかります。
そして、競争力を測る方法、今では評価基準が徐々に明確になっています。
最終的な分析には、2 つの主要な側面があります。
まず、開発者や企業ユーザーの視点から見ると、AIクラウドサービスプラットフォームの能力が、複雑なビジネスが直面する実際的な問題や、特に大規模モデルの波の下でのインテリジェントなアップグレードの過程での専門的な人材の不足を本当に費用対効果の高い方法で解決できるかどうかです。
第二に、技術動向の観点からは、大規模モデルとより緊密に統合されています。
百度(バイドゥ)のAIプラットフォームのレイアウトは、競争環境における最新の変化の中で、主要なAIクラウドベンダーが提示した参考回答と見なすことができます。
結果は? より多くの着陸ケースでは、実際の章を見ることができます。