ビッグモデル、オープンソースはクローズドソースを殺すことはできない

出典: 大脳極体

画像ソース: Unbounded AI によって生成

オープンソースの大規模モデルがクローズドソースの大規模モデルに及ぼす影響は非常に激しくなっています。

今年 3 月、Meta は Llama (アルパカ) をリリースしました。これはすぐに AI コミュニティで最も強力なオープンソースの大規模モデルとなり、多くのモデルのベースモデルとなりました。現在の大規模模型群は、さまざまな色の「アルパカ」の群れに過ぎないと冗談を言う人もいた。

そしてつい数日前、Meta は「Alpaca 2」の無料商用版、つまり GPT-3.5 に匹敵する性能と言われている Llama2 をリリースしました。

これは大型模型界全体で非常に爆発的です。

さまざまなインターネット企業やテクノロジー企業が、多大なコンピューティング リソースとコストを投資して、独自の大規模モデルのトレーニングと立ち上げに競い合っていることは承知しています。これらが効果的に商用化できなければ、これらの大規模モデルのコストを回収するのは困難になります。その後の反復、更新、アップグレードが問題になります。研究開発企業は損失を被るだけでなく、「これまでの努力をすべて放棄した」ユーザーはおそらくさらに苦悩することになるでしょう。

しかし、無料でオープンで強力なオープンソース モデルが存在する今、誰がクローズド ソース モデルに資金を提供するでしょうか?

本当にあるんです。

オープンソースが一般的な流れではあるが、クローズドソースのビッグモデルにも依然としてその存在意義と商業的価値がある。 AI 業界の現在の経験によれば、大規模なモデルを有効に活用するには、依然としてクローズド ソースに依存する必要があります。

今日はこの問題についてお話しますが、クローズドソースの大規模モデルを必要とするのは誰でしょうか?

業界へ、業界へ

大型モデルの製品化の終着点は業界であり、多くの説明を必要としないコンセンサスでなければなりません。

少し前に、私は国内の大規模モデルの社内コミュニケーション会議に参加しましたが、先方の上級幹部は、大規模モデルのトレーニングや業界パートナーとの協力を考慮しており、プライベートデータの多くはオープンソースには不便であるため、すべてクローズドソースコードを使用し、クローズドソース路線を主張していると明言しました。

全体像を垣間見ることができます。少なくとも短期的には、大規模なモデルが業界に導入され、実装は依然としてクローズド ソースに依存します。

** モデルに関しては、クローズドソースの大規模モデルの品質が高くなります。 **

現在最も高性能な Llama 2 を例に挙げると、Meta は Llama 2 70B の結果をクローズドソース モデルと比較しました。結果は MMLU および GSM8K で GPT-3.5 に近づきましたが、コーディング ベンチマークには依然として大きなギャップがあり、多くのデータは多様性と品質に欠けています。

もちろん、オープンソースの大規模モデルの最適化の反復速度は非常に高速です。しかし、オープンソースの本質は「有性生殖」に非常に似ており、冒頭の「アルパカ群」のように、大量生殖と突然変異を経て、不確実な未来に直面しても、進化の「適者生存」の力を借りて、最高品質の子孫が生まれ続けることになる。そのため、オープンソース ソフトウェアには多くの分岐があり、ユーザーにとっては選択のコストが非常に高く、開発者の数が多いことに加えて、バージョン管理が問題となります。

**セキュリティの点では、クローズドソースの大規模モデルの方が信頼性が高くなります。 **

オープンソースの大規模モデルはオープンソース契約に従う必要があり、商用利用は許可される必要がある海外のオープンソース大規模モデルも領土管轄の対象となる必要があるGitHubはかつてロシアの開発者アカウントを禁止した海外のオープンソースの大規模モデルを製品開発に使用しており、サプライチェーンのリスクは客観的に存在します。

では、国産のオープンソースの大型モデルを利用するのはどうでしょうか？安全性は保証されていますが、商業的な観点から、大手政府企業などの多くの顧客は、ビジネスにおいて大型モデルの信頼性を非常に重視しており、購入の際に大企業のブランド承認を必要とすることがよくあります。研究開発への投資が大きくなり口コミが高まる一方で、大規模モデルが不適切に生成され商業的損失や営業権の問題が生じた場合、クローズドソースの大規模モデルを使用するとサービスプロバイダーの責任が問われる可能性があり、オープンソースの大規模モデルを使用するとグローバル開発者との取引を解決できませんよね。

例えば、大規模なモデルスタートアップ企業であるHuging Faceは、顧客向けにAIコンサルティングを提供しており、オープンソースコミュニティの柱となっているが、多くの顧客は自分の個人データ/専門データをモデルのトレーニングに使用したいと考えており、これらのデータをOpenAlに提供したくないと述べている。

** 工業化の観点からは、クローズドソースの大型モデルの長期サービス能力はより強力で、より使いやすくなっています。 **

大規模なモデルの作成は、API へのアクセス、データの挿入、パラメーターの調整だけでは終わりません。新興テクノロジーであるため、大規模なモデルとビジネス シナリオの統合には依然として多くの課題があります。たとえば、大きなモデルは、デバイス側に展開する前に蒸留によって圧縮してモデルのサイズを小さくする必要がありますが、多くの企業にはそのような専門家がいません。

別の例として、大規模なモデルとビジネスを組み合わせるには、プロダクト エンジニア、運用エンジニア、テスト エンジニアなど複数の役割の参加が必要ですが、これらのサービス機能を主にプログラマーであるオープンソース チームに提供するのは困難です。さらに、大規模なモデルの長期的なアプリケーション、コンピューティング能力、ストレージ、ネットワークなどのサポート機能も維持する必要があり、オープンソース コミュニティでは、ユーザーがこれらの詳細な問題を「ワンストップ」で解決するのを支援することはできません。

データプライバシーの懸念もあります。大規模なモデルは業界で直接使用できません。モデルは独自のシーンデータを通じて最適化する必要があり、これらのデータに基づいてトレーニングされたモデルはオープンソース化されてリリースされるため、企業は大きな懸念を抱いています。

以前、スマート医療の研究開発チームにインタビューしたことがありますが、相手方は、「大規模な病院や研究機関には大量の医療データが分散しており、患者のプライバシーにも関わる。そのデータを使って共同でインダストリーモデルをトレーニングすることには誰もが懸念を抱いている」と話していました。セキュリティが確保できない一方で、自社のデータの品質は高いが適切なリターンが得られず、低品質のデータを保有する他の組織と同様に連携が難しい。オープンソースの大規模モデルを共同構築する場合、データを取得し、公式を把握し、すべての関係者の貢献を決定する方法には依然として多くの困難があります。

オープンソースの大規模モデルでは、技術革新の自由と著作権の利益との矛盾をバランスさせる必要がありますが、クローズドソースの大規模モデルではそのような問題がなく、データとモデルの所有権と使用権は非常に明確であり、企業自体がしっかりと掌握しています。

現在のオープンソースの大規模モデルでは、実際のビジネスニーズに応えることができないと言えます。オープンソースのラージモデルのユーザーやISVインテグレータは商業的な利益を得る必要があり、オープンソースのラージモデルが商用化されなければ効果が薄く、たとえ無料であっても収益を上げることが難しく、企業はそれを開発するために人材を投資するかどうかを慎重に検討することになる。

したがって、今後しばらくは、大規模モデルの着陸業界ではクローズドソースが依然として人気のある選択肢となるでしょう。

大衆に行きなさい、大衆に行きなさい

理解できない人もいるかもしれませんが、オープンソースは商用利用が無料で、誰もが大きなモデルをキャベツの価格で使用でき、開発者や企業ユーザーにとって非常に優しいのに、なぜまだクローズドソースの方が優れていると言えるのですか?それは金儲けに重点を置いた大工場のプラットフォームでしょうか？

いいえ。

オープンソースを理解している人は誰でもオープンソースをサポートします。オープンソースを支持する人は誰でも、オープンソースの商用化に注目するでしょう。

中国科学院の学者メイ・ホン氏はかつて、オープンソースは理想主義から生まれ、商業化によって精力的に促進されるものであり、オープン・イノベーションのモデルであると語った。商用化がなければ、オープンソースは存在しません。

したがって、オープンソースであろうとクローズドソースであろうと、より早く「商用化」できた方がより良い未来を得ることができます。この点ではクローズドソースの大型モデルが有利かもしれませんが、結局のところ、ソースをクローズすることに自信があるメーカーは、依然として2つのブラシと研究開発の背景を持っています。

では、オープンソースの大規模モデルにはどのような利点があるのでしょうか?クローズドソースの大規模モデルが業界に普及するのであれば、オープンソースの大規模モデルは一人の力に焦点を当てて大衆に普及しなければなりません。

(LeCun は、Llama-v2 が LLM の市場構造を変えると信じています)

オープンソースのビッグモデルは、ソースコードを載せて世界中の開発者がコードを提供して終わりという従来のオープンソースソフトウェアとは異なります。大規模なモデルのコラボレーションと共同構築は、コミュニティの繁栄にさらに反映されます。全員が協力してモデルを最適化し、データを強化し、ツールを改善し、アプリケーションを包括的にします...

現時点では、オープンソース モデルにはいくつかの利点があります。

1. 技術革新。オープンソース コミュニティは、多数のテクノロジー企業、研究機関、開発者を結集して、モデルの反復を最適化、改善、加速し、モデル テクノロジーやサポートするデータ セット、アプリケーション ツールなどを豊富で高品質なものにして、常に先を行くことができます。

2. 才能の競争。新興テクノロジーのため、大型モデルは人材が不足していますが、世界中から優秀な人材を集めてオープンソース コミュニティを通じて貢献し、大型モデルのアップグレードを加速することで、そのギャップを拡大することができます。競争があるとプレッシャーがかかるので、LLama 2 のリリース後、半年以内に OpenAI も GPT-3.5 のオープンソース化を検討し始めたとすぐに報じられました。

3. 生態学的閉鎖。現在、あらゆる分野の IT ソリューションとデジタル変革では、多数のオープンソース テクノロジとアプリケーションを使用して大規模なオープンソース エコシステムを構築し、IT 人材や企業が関連テクノロジを使用できるようにしており、これは後の商用化に非常に役立ちます。たとえば、OpenAI のパートナー/投資家である Microsoft も、今回 Llama 2 の主要パートナーとなることを選択し、個人の開発者や中小企業が最低コストで Llama 2 を呼び出すことをサポートしています。これは間違いなく、Azure にとって大きなメリットです。

すべての大規模なオープンソース モデルが成功できるわけではなく、エコロジーが重要な堀です。

**サンドイッチビスケット、どこへ行くの？ **

モバイル オペレーティング システムである iOS と Android と同様に、オープンソースとクローズドソースの競争は、特定の分野での「生死を賭けた戦い」ではなく、それぞれが差別化された道を歩み、独自の世界を導きます。大型モデルも同様です。

クローズドソースの大規模モデルは顧客を歓迎しており、オープンソースの大規模モデルは活況を呈しており、誰もが明るい未来を持っています。

だとすると、なぜ一部の専門家は、Llama 2 のオープンソースはオープンソースにとっては大きな進歩であるにもかかわらず、クローズドソースの大規模モデル企業にとっては大きな打撃となると信じているのでしょうか?

誰に当たったの？

答えは、アプリケーション層だけになりたくないが、大手メーカーを圧倒することもできない、基礎的な大型模型メーカーであるということです。

Google の研究者はかつて、オープンソース コミュニティのおかげで、私たち (Google と OpenAI) には外堀がないと書いていました。しかし、OpenAIにはキラー機能としてGPT-4のようなクローズドソースの大型モデルもあり、やむを得ずオープンソース化する場合にのみGPT-3.5のオープンソース化を検討するなど、技術的なギャップがある。また、GPT-3.5のオープンソースは口コミのみで、具体的な進捗状況はまだ不明です。

したがって、海外のGoogle、OpenAI、国内のBATHなどの大手テクノロジーメーカーやクラウド大手は、カード、資金、人材、データ、市場認知度、顧客基盤などで優位性を持っており、クローズドソースルートで大型モデルの商用化・産業化を完了するには、一定の先行者利益と障壁が存在する。

これは、基本的な汎用大型モデルを訓練したい二次および三次メーカーにとっては苦痛です。

以前は、世界中の大小のテクノロジー企業やさまざまな科学研究機関が、一部のマシン ビジョン AI ユニコーンなどの基本的な大規模モデルのトレーニングに群がっていましたが、これらのモデルは誤って基本層とアプリケーション層の間の「サンドイッチ ビスケット」になってしまいました。

強度では GPT に勝てず、コストでは Llama に勝てず、訓練された基本的な汎用大型モデルは正式に商業利用される前にすでに旧式であり、過去のものになる運命にある。市場は巨大企業には太刀打ちできず、オープン性もオープンソースコミュニティに及ばず、高額な開発コストを回収するのはほぼ不可能だ。

大型モデルは早めに手放すのが賢明な選択かもしれません。

例えば、国内のAI企業の大規模モデルは、以前は年間30万元の価格で民営化されていたが、その後学術研究に完全に開放されることが発表され、無償の商用利用が認められた。大規模モデルのオープンソースコミュニティでの商用化（Linux/Android/Red Hatなど）の可能性もあり、同時に一般的な大規模モデルとの「直接対決」を回避できる。

アプリケーション層の開発者や ISV インテグレーターにとって、業界で広く受け入れられているクローズドソースの大規模モデルをうまく活用することで、顧客がモデルをより早く受け入れ、民営化されたカスタマイズされた展開のビジネス ニーズにより適し、商用化を完了して収益をより早く成長させることができます。

AI スタートアップにとっては、オープンソースを直接利用でき、何度もホイールを作成する必要がなく、より理想的で低コストの試行錯誤的な商用化手法となる可能性があります。「グループを報告してウォームアップする」ことで、大規模なオープンソース プロジェクトに貢献し、大規模なオープンソース コミュニティの発展を促進し、コミュニティからのフィードバックやビジネスからのフィードバックも受け取ることができます。

中国の大規模モデルを高いレベルで開発するには、世界をリードするクローズドソースの大規模モデルが主導権を握るだけでなく、世界的な影響力を持つオープンソースの大規模モデルコミュニティも必要である。

道は遮られており、長いですが、旅は近づいています。建設的な態度でオープンソースとクローズドソースの論争を検討し、国内のクローズドソースの大規模モデルにある程度の信頼を与え、また国内のオープンソースコミュニティに何らかの激励と支援を与えたいと考えているかもしれません。