さまざまな業界で大型モデルの需要があるのは明らかですが、安全性の考慮と大型モデルに対する B 社の姿勢に基づいて、現在の大型モデルの安全係数は限られています。したがって、比較的基本的に、大規模なインターネット企業は、共同オフィスでの対話、ドキュメント生成、およびその他の多くのシナリオを含む、需要の高い対話、ドキュメント コンテンツの生成、および質疑応答のシナリオを優先しています。
AI の新興企業は、ある程度まで大規模モデルへの多額の投資を実現し、ビジネスやマーケティングにおける ChatGPT の成功からより多くの利益を得ることができます。これにより、人々は大規模モデルの実現可能性を、継続的に実行するのではなく即座に目撃できるようになります。長い技術的反復の中で隠れてください。
生成 AI は現在、規制上の注目も集めています。最近、中国は「生成型人工知能サービス管理措置（意見募集草案）」を発表し、差別があってはならず、生成されたコンテンツは真実かつ正確であるべきであり、虚偽の情報が防止されることを明確に要求している。最適化のためのコンテンツ フィルタリング、モデルの最適化などに加えて。
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
垂直モデルを完成させるのはどれくらい難しいですか?
出典: インターネット上のあれこれ
大規模モデルトラックの現状: *新興企業がオープンソースの大規模モデルに基づいている一方で、大手メーカーはさまざまな大規模モデルパラメータを関与させています *。
このため、開発の方向性に関して、一部の大型モデルは垂直磁場の適用に焦点を当ててきました。何千ものモデルの開発に基づいて、ベースは変わるかもしれませんが、よく考えてみると、垂直産業から逃げ出すことができる人は常に存在します。
同時に、開発の初期段階では、クローズドソースの大規模モデルの方が品質が高く比較的安全ですが、大規模モデルの生態系には結局のところある程度の進化が必要であり、オープンソースは実際にモデルの繁栄を促進することができます。大型モデル。別の観点から見ると、オープンソースに基づいており、多くの企業がこのトラックに参加する資格を持っていますが、最初のレベルであるコンピューティング能力の不足に簡単に落ちてしまう人が常にいます。
結局のところ、大型モデルの数は倍増しているが、大型モデルの増加を一方的に見ると、大型モデルの背後にある一部の企業の選択や苦労、さらには問題さえもある程度無視されることになる。選んだ後に諦めてしまう可能性も。
誰もが知っているように、人工知能の 3 つの要素は次のとおりです: 計算能力、アルゴリズム、データ。オープンソースはアルゴリズムの段階にあるだけで、その後、企業は多くのコンピューティング能力のサポートとデータのトレーニングを必要とし、その背後にかかるコストは高くなります。
01 バーティカルモデル、スタートアップ企業にまだ希望はある？
オープンソースの大規模モデルを選択する際、コストやカスタム開発の理由に基づいて、小規模なパラメータ モデルを選択する起業家企業も少なくなく、そうした企業の最初の選択肢となることさえあります。
** 1 つは、事前トレーニングのコストの問題です。 **
今年1月を含め、毎日平均約1,300万人のユニークビジターがChatGPTを利用しており、対応するチップ需要はNVIDIA A100 GPU 3万個以上、初期投資費用は約8億ドル、1日あたりの電気代は約5万ドル米ドル。
さらに、多額の資金を投資する前に、モデルのトレーニングをサポートするために大量のデータ リソースが必要になります。このもう 1 つの理由は、事前トレーニング要件の問題です。
業界関係者の中には、「大規模モデル自体の汎化能力はまだデータによって制限されている」という意見もある。
事前学習の過程では、データの蓄積だけでも多くのお金と時間が費やされていると言えます。
さらに、大規模モデルトラックでは、ほとんどのスタートアップは業界の垂直領域を中心に開発を行っており、その取り組みは比較的小規模ではありますが、それは簡単ではありません。
具体的には、大型モデルが業界のビジネスモデルを変えたい場合、これを判断するための最も単純な基準は、この種の大型モデルが十分な業界データを持っているかどうかです。たとえば、業界に隠れている黒製品を分析する必要があります。十分な理解があった場合にのみ、黒い製品を使用せずに安全で受動的な状態になることができます。
結局のところ、オープンソースモデルに基づくモデルの独占を打破したい場合は、大量のデータを最適化して改善し、十分なインフラストラクチャに投資する必要があります。
現在のオープンソース モデルは、実際にはインターネット時代の Android に似ており、大手メーカーの上陸シナリオやデータ蓄積の利点のない新興企業が開発するのは簡単ではありませんが、それでもチャンスはあります。
実際、達磨研究所ではかつて「大型モデルと小型モデルの共同開発」を今後のトレンドの一つとして捉えていました。
新興企業のZhuiyi Technologyでさえ、「アメリカ大陸の発見が1人でははるかに重要であるのと同じように、垂直大型モデルは確実なチャンスである」と信じています。
ただし、Cエンドについては国内製品はないものの、Bエンドをベースに大手メーカーが初期導入のプロセスを開始している。
現在、大手メーカーがクラウドを通じた大型モデルの輸出を計画しているとの報道があり、大型モデルを実装するにはクラウドコンピューティングが最適な手段となっており、MaaS（Model as a Service）への注目がますます高まっており、これにより、大型モデルのコストが下がります。
では、スタートアップにはまだ希望があるのでしょうか？
02 製品体験は市場の需要と一致していますか?
さまざまな業界で大型モデルの需要があるのは明らかですが、安全性の考慮と大型モデルに対する B 社の姿勢に基づいて、現在の大型モデルの安全係数は限られています。したがって、比較的基本的に、大規模なインターネット企業は、共同オフィスでの対話、ドキュメント生成、およびその他の多くのシナリオを含む、需要の高い対話、ドキュメント コンテンツの生成、および質疑応答のシナリオを優先しています。
たとえば、現在では人間は AI に製品情報を伝えるだけで済み、AI がさまざまなスタイルの製品配送スクリプトとスタイルを自動的に生成し、企業が商品を販売できるようにデジタル ヒューマン アンカーを割り当てます。 Baidu によると、ライブ放送と比較して、デジタルライブ放送は 7*24 時間の中断のないライブ放送を実現でき、変換率は無人ライブ放送室の 2 倍です。
大規模な起業家精神に必要な基盤としてクラウド インフラストラクチャがあるため、クラウド コンピューティングを備えたインターネット巨人には一定の利点があります。
しかし、水平的に比較すると、多くの AI スタートアップ企業は、スタートアップのユニコーン企業である MiniMax ほどの幸運にも恵まれていません。 (MiniMaxが一般的な大型モデルに焦点を当てている点が異なります)
7 月 20 日、Tencent Cloud は、MiniMax の大規模モデル開発支援における最新の進捗状況を明らかにしました。現在、Tencent Cloud は MiniMax のキロカロリーレベルのタスクをサポートしており、Tencent Cloud 上で長期間安定して実行でき、可用性は 99.9% です。
Tencent Cloudは、2022年6月から、コンピューティングパワークラスター、クラウドネイティブ、ビッグデータ、セキュリティなどの製品機能に基づいて、リソースレイヤー、データレイヤー、ビジネスレイヤーからMiniMaxのクラウドアーキテクチャを構築したと報告されています。
現実は、入場券を入手することが最初のステップであり、次のテストは市場関係者が商品化と技術アップグレードを模索する能力であることを再び証明しているようです。端的に言えば、AI スタートアップ企業はトラックを最後まで走り抜きたいと考えており、あらゆるステップを逃してはなりません。
一部の大手インターネット企業はすでに初期シナリオを実現したり、収入を得るためにサービスを販売し始めたりしているが、大手企業やMiniMaxの目は汎用大型モデルに集中している。
垂直モックアップはまだ真空です。特に伝統的な企業グループの場合、自社ビジネスの IT 属性が低く、投入対生産比率が低いことを考慮すると、大規模な自社開発モデルを選択する可能性は低くなります。
たとえば、Chuangxin Qizhi は産業用大規模モデル製品「Qizhi Kongming」に焦点を当てており、一定のデータ優位性を持ち、ChatYuan で言語の大規模モデルを開発しており、主要な自動運転生成大規模モデル DriveGPT Xuehu · Haiuo 。
ただし、一つ言えるのは、学習データや方向性が異なり、コストも大きく異なります。
まず、大規模なメタ言語モデルをゼロからトレーニングするコストは、数千万人民元に達する可能性があります。生成的自動運転の分野では、ChatGPT よりも新しい言語を設計し、すべての実際の道路走行データを統一言語に「翻訳」する必要があります。
このため、今回の実装を実現するための第一歩は、大規模モデルの学習コストと推論コストが検索よりも低く、即時性も保証できることである。
03 構想から実装までの難易度はどのくらいですか?
枯渇する可能性のある中国の大型新興企業は垂直統合される可能性が高いとの見方もある。
視覚的には、メタ言語的知性はこのカテゴリに傾く傾向があります。要約すると、長い間、メタ言語インテリジェンスは大規模な自然言語モデルのビジネスに焦点を当ててきました。
Yuanyuの最高執行責任者（COO）Zhu Lei氏も「後追いのためやみくもに画像・映像事業を拡大するつもりはない。事業にしっかりと注力することが重要だ」と述べた。
ただし、自動運転や工業生産などの大規模な垂直モデルを開発している他の新興企業の場合、一部の特殊な業界データの知識が不足している可能性があります。
さらに、ビジネスに注力する過程では、ソースから事前トレーニング、出力に至るまでのデータの正確性も求められます。
生成 AI は現在、規制上の注目も集めています。最近、中国は「生成型人工知能サービス管理措置（意見募集草案）」を発表し、差別があってはならず、生成されたコンテンツは真実かつ正確であるべきであり、虚偽の情報が防止されることを明確に要求している。最適化のためのコンテンツ フィルタリング、モデルの最適化などに加えて。
しかし、それが生成型人工知能の固有の欠陥である場合、それを保証し完全に解決することは技術的に困難です。
例えば現在のLlama 2ですが、7月18日にMetaは初のオープンソース人工知能モデルLlamaの商用版Llama 2をリリースしました。現在のさまざまな評価文書によると、コーディング能力が低いことに加えて、実際に多くの場所が ChatGPT にアプローチし始めていると考えている企業もあります。
おそらく、将来的にはオープンソース コミュニティの熱狂によって、基本的な機能を備えた大規模モデルが普及し、民営化された大規模モデルは将来キャベツの値段になるでしょう。率直に言って、企業は民営化モデルを非常に安価に利用できるのです。
さらに重要なのは、Tang Daosheng 氏がかつてこう言ったことです。「一般的な大規模モデルは強力な機能を備えていますが、多くの企業の特定の問題を解決することはできません。100 のシナリオで問題の 70% ～ 80% を解決できますが、すべてを解決できるわけではないかもしれません」多くの企業の特定の問題を解決します。企業の特定のシナリオのニーズを 100% 満たします。ただし、企業が業界の大規模なモデルと独自のデータに基づいて微調整を行うと、専用のモデルを構築し、高度な利用可能なインテリジェントなサービス。」
もちろん、この種の民営化モデルはまだ実現していませんが、その軌道に乗っているスタートアップにはチャンスと困難の両方があるはずです。