**出典:**新志源
**はじめに: **GPT-4 は計算負荷が高すぎるため、Microsoft が OpenAI を排除するために、より小型で低コストのモデルをトレーニングするために内部でプラン B を策定したことが暴露されました。
GPT-4 は計算負荷が非常に高いため、Microsoft ですら耐えられません。
今年、数多くの Microsoft AI カンファレンスで、CEO の Nadella は GPT-4 と DALL·E 3 を Microsoft の「Family Bucket」に統合することを興奮気味に発表しました。
Microsoft の全製品は、AI をすべての人にとって人生のパートナーにするというビジョンを掲げ、OpenAI モデルによって再形成されました。
しかし、GPT-4のランニングコストが高すぎるため、Microsoftは水面下で密かにプランBを開発した。
The Information は、OpenAI への依存を取り除くために、ピーター・リー率いる 1,500 人の研究チームの一部が新しい会話型 AI の開発に着手したというニュースを独占的に伝えました。
開発モデルの性能はGPT-4ほどではないかもしれないが、パラメータのスケールが小さく、研究コストが安く、実行速度も速いと言われている。
現在、Microsoft は Bing Chat などの製品の内部テストを開始しています。
Microsoftだけでなく、Googleを含む他のテクノロジー大手も、AIチャットソフトウェアとチップの両方でコストを削減する別の方法を模索している。
Llama 2 が発表されたときの Microsoft と Meta の協力は、OpenAI への完全な依存から脱却するための手段にすぎませんでした。
これは、Microsoft 帝国が成長を続け、現在の限界を突破するためにたどる運命にある道です。
今年 2 月、Microsoft は ChatGPT と独自の Prometheus モデルを組み合わせた New Bing を正式にリリースしました。
GPT-4 の発表後、Microsoft はすぐに GPT-4 を Bing に統合し、検索エクスペリエンスを新たなレベルに引き上げることを発表しました。
Microsoft の検索ディレクター、Mikhail Parakhin 氏は最近、Bing Chat は現在「クリエイティブ」および「正確」モードで 100% GPT-4 を使用していると述べました。
バランス モード (ほとんどのユーザーが選択するモード) では、Microsoft は Prometheus モデルと Turing 言語モデルを補足として使用します。
プロメテウス モデルは、スキルとテクノロジーの集合体です。チューリング モデルは GPT-4 ほど強力ではありませんが、簡単な質問を識別して回答し、より難しい質問を GPT-4 に渡すように設計されています。
Microsoft 社内では、保有する 2,000 個の GPU のほとんどが「小規模モデル」のトレーニングに投資されています。もちろん、これは Microsoft が OpenAI に提供するチップの数に比べれば微々たるものです。
ただし、これらのモデルは GPT-4 よりも単純なタスクを実行でき、状況を打開するための Microsoft の取り組みです。
長年にわたり、Microsoft と OpenAI は切っても切れない関係を維持してきました。
しかし、ChatGPT、Microsoft Bing、その他のファミリー バケットの発売により、Microsoft と OpenAI も密かに市場を巡って競争し始めました。
Microsoft の取り組みはまだ初期段階にありますが、Nadella 氏は、OpenAI に完全に依存しない独自の AI 製品の道を切り開く Microsoft の取り組みを主導しています。
Databricks の幹部である Naveen Rao 氏は、Microsoft の社内 AI への取り組みについて、「これは最終的には起こるだろう」と語った。
「Microsoft は賢い会社です。GPT-4 の巨大モデルを使用して製品を展開するとき、彼らは効率性を求めます。電話交換手になるのに博士号を 3 つもった人は必要ありません、と言っているようなものです。それは経済的に成り立ちません。」
しかし、ナデラ氏と研究ディレクターのピーター・リー氏は、OpenAIを使わずに複雑なAIを開発したいと考えているが、これはおそらく希望的観測にすぎない。
MicrosoftがOpenAIに投資して以来、同社の研究部門は独自のモデルを開発するのではなく、OpenAIのモデルをMicrosoft製品に適したものにするために調整することにほとんどの時間を費やしてきた。
Microsoft の研究チームは、GPT-4 と同じくらい強力な AI を開発できるという幻想を抱いていません。
彼らは、OpenAI のコンピューティング リソースを持っていないこと、エンジニアがモデルを改善できるように、LLM によって回答された質問をフィードバックする多数の人間のレビュー担当者がいないことを明らかに知っています。
研究部門もここ 1 年で人材の流出が続いており、Microsoft 内の製品チームへの異動など研究者の退職の波が数回ありました。
Microsoft 自体にとって、OpenAI の助けを借りずに高品質の LLM を開発することは、今後数年間に両社が提携関係の更新について話し合う際に、より多くの交渉材料を獲得できる可能性があります。
マイクロソフト AI リサーチ ディレクター ピーター リー
現時点では、この 2 つの取引は双方に利益をもたらします。
Microsoft は OpenAI に 100 億米ドル以上を投資しており、その見返りに OpenAI の既存の知的財産を Microsoft 製品で永久に使用する独占的権利を取得します。
さらにMicrosoftは、初期投資が返済されるまでOpenAIの理論上の営業利益の75％を受け取り、一定の上限に達するまでは利益の49％を受け取ることになる。
現在、MicrosoftはOpenAIや他のAI企業との既存の提携を通じて、不確実な時期に少なくとも100億ドルの新たな収益を追加したいと考えている。
Office 365 Family Bucket は、GPT-4 機能の恩恵を受けてから収益増加の初期の兆候を示しています。
Microsoftは7月、2万7000社以上の企業がコード作成ツール「GitHub Copilot」に料金を支払ったと発表した。
Statista の統計によると、2023 年にマイクロソフトのクラウド サービスが最大の割合を占めることに加えて、生産性の高いビジネス プロセスを加速するソフトウェア製品の収益シェアも徐々に増加しています。
しかし、皮肉なことに、Microsoft と OpenAI の間の取引条件は、Microsoft が OpenAI への依存を解消する努力を間接的に支援することにもなります。
ユーザーが Bing を使用すると、Microsoft は OpenAI モデルによって出力された結果にアクセスできます。
現在、Microsoft はこのデータを使用して、より「洗練された」モデルを作成しています。社内研究者の調査結果によれば、これらのモデルはより少ない計算リソースで同様の結果を生成できることが示されています。
OpenAI の陰で 1 年間過ごした後、Microsoft の一部の研究者は、GPT-4 を模倣する「蒸留された」モデルを作成するという新しい目標を見つけました。
今年 6 月、Microsoft は GPT-4 の計算能力の 10 分の 1 しか消費しないモデル、つまり Orca をトレーニングしました。
Orca を作成するために、Microsoft は GPT-4 によって生成された何百万もの回答をより基本的なオープン ソース モデルに入力し、GPT-4 を模倣するように教えました。
用紙のアドレス:
結果は、Orca が他の SOTA 命令微調整モデルを上回るだけでなく、BigBench Hard (BBH) などの複雑なゼロショット推論ベンチマークで Vicuna-13B の 2 倍のパフォーマンスを達成することを示しています。
さらに、Orca は BBH ベンチマークで ChatGPT と同等のパフォーマンスを達成しており、SAT、LSAT、GRE、GMAT などの専門試験および学術試験ではわずか 4% のパフォーマンス差しかありません。これらはすべて、思考連鎖を行わずにゼロサンプル設定で測定されています。 。
場合によっては、Orca のパフォーマンスが OpenAI の無料バージョン ChatGPT に匹敵することさえあります。
同様に、Microsoft も GPT-4-phi-1 の 1,000 分の 1 未満のパラメータを持つモデルを発表しました。
「教科書レベル」の高品質トレーニング データを使用しているため、phi-1 の数学および論理問題における習熟度は、オープンソース モデルの 5 倍以上です。
その後、Microsoft は「特定の機能を実現するには LLM がどの程度小さくなければならないか」の研究をさらに進め、わずか 13 億のパラメーターを備えたモデル phi-1.5 を発表しました。
phi-1.5 は、多くの大規模モデルの機能を実証し、「段階的に考える」ことや、基本的なコンテキスト学習を実行することができます。
結果は、常識的な推論と言語スキルに関して、phi-1.5 がサイズの 10 倍のモデルと同等のパフォーマンスを発揮することを示しています。
同時に、多段階推論において他の大型モデルをはるかに上回っています。
ただし、Orca や Phi のような「小型モデル」が実際に GPT-4 のような大型の SOTA モデルと競合できるかどうかは不明です。しかし、コスト面での大きな優位性により、Microsoft は関連研究を推進し続ける動機を強めています。
事情に詳しい関係者によると、ファイのリリース後のチームの最優先事項は、そのようなモデルの品質を検証することだという。
今後の論文で研究者らは、高品質の応答と低品質の応答を区別するようにモデルに教えることでエンジニアが Orca を改善できる、対照学習に基づく方法を提案しています。
同時に、Microsoft の他のチームも、新しいマルチモーダル大規模モデル、つまりテキストと画像の解釈と生成の両方ができる LLM の開発を集中的に行っています。
GPT-4V
Orca や Phi のようなモデルは、Microsoft が AI 機能を顧客に提供するために必要なコンピューティング コストを削減するのに役立つことは明らかです。
ある現従業員によると、Microsoft のプロダクト マネージャーは、Bing のチャットボット クエリを処理するために OpenAI のモデルの代わりに Orca と Phi を使用する方法をすでにテストしています。たとえば、短い段落のテキストを要約して「はい」または「いいえ」で答えるなど、比較的単純な質問です。
さらに、Microsoft は Azure クラウドの顧客に Orca モデルを提供するかどうかも検討しています。
関係者によると、オルカの論文が発表されるとすぐに、いつから使えるようになるのか顧客から問い合わせがあったという。
しかし問題は、これが本当に行われるのであれば、Microsoft は依然として Meta からライセンスを取得する必要があるのかということです。結局のところ、後者には、オープンソース LLM を商業化できる企業には依然として制限があります。
参考文献:
39k 人気度
41k 人気度
43k 人気度
22k 人気度
18k 人気度
GPT-4 は高すぎる、Microsoft は OpenAI を廃止したい?プラン B が明らかに: 数千の GPU を「小規模モデル」のトレーニング専用に、Bing の内部テストを開始
**出典:**新志源
**はじめに: **GPT-4 は計算負荷が高すぎるため、Microsoft が OpenAI を排除するために、より小型で低コストのモデルをトレーニングするために内部でプラン B を策定したことが暴露されました。
GPT-4 は計算負荷が非常に高いため、Microsoft ですら耐えられません。
今年、数多くの Microsoft AI カンファレンスで、CEO の Nadella は GPT-4 と DALL·E 3 を Microsoft の「Family Bucket」に統合することを興奮気味に発表しました。
Microsoft の全製品は、AI をすべての人にとって人生のパートナーにするというビジョンを掲げ、OpenAI モデルによって再形成されました。
The Information は、OpenAI への依存を取り除くために、ピーター・リー率いる 1,500 人の研究チームの一部が新しい会話型 AI の開発に着手したというニュースを独占的に伝えました。
現在、Microsoft は Bing Chat などの製品の内部テストを開始しています。
Microsoftだけでなく、Googleを含む他のテクノロジー大手も、AIチャットソフトウェアとチップの両方でコストを削減する別の方法を模索している。
Llama 2 が発表されたときの Microsoft と Meta の協力は、OpenAI への完全な依存から脱却するための手段にすぎませんでした。
これは、Microsoft 帝国が成長を続け、現在の限界を突破するためにたどる運命にある道です。
さらに「洗練された」モデルがあるので、最初に試してみてください
今年 2 月、Microsoft は ChatGPT と独自の Prometheus モデルを組み合わせた New Bing を正式にリリースしました。
GPT-4 の発表後、Microsoft はすぐに GPT-4 を Bing に統合し、検索エクスペリエンスを新たなレベルに引き上げることを発表しました。
Microsoft の検索ディレクター、Mikhail Parakhin 氏は最近、Bing Chat は現在「クリエイティブ」および「正確」モードで 100% GPT-4 を使用していると述べました。
バランス モード (ほとんどのユーザーが選択するモード) では、Microsoft は Prometheus モデルと Turing 言語モデルを補足として使用します。
Microsoft 社内では、保有する 2,000 個の GPU のほとんどが「小規模モデル」のトレーニングに投資されています。もちろん、これは Microsoft が OpenAI に提供するチップの数に比べれば微々たるものです。
ただし、これらのモデルは GPT-4 よりも単純なタスクを実行でき、状況を打開するための Microsoft の取り組みです。
OpenAI の束縛を打ち破る
長年にわたり、Microsoft と OpenAI は切っても切れない関係を維持してきました。
しかし、ChatGPT、Microsoft Bing、その他のファミリー バケットの発売により、Microsoft と OpenAI も密かに市場を巡って競争し始めました。
Microsoft の取り組みはまだ初期段階にありますが、Nadella 氏は、OpenAI に完全に依存しない独自の AI 製品の道を切り開く Microsoft の取り組みを主導しています。
「Microsoft は賢い会社です。GPT-4 の巨大モデルを使用して製品を展開するとき、彼らは効率性を求めます。電話交換手になるのに博士号を 3 つもった人は必要ありません、と言っているようなものです。それは経済的に成り立ちません。」
しかし、ナデラ氏と研究ディレクターのピーター・リー氏は、OpenAIを使わずに複雑なAIを開発したいと考えているが、これはおそらく希望的観測にすぎない。
MicrosoftがOpenAIに投資して以来、同社の研究部門は独自のモデルを開発するのではなく、OpenAIのモデルをMicrosoft製品に適したものにするために調整することにほとんどの時間を費やしてきた。
Microsoft の研究チームは、GPT-4 と同じくらい強力な AI を開発できるという幻想を抱いていません。
研究部門もここ 1 年で人材の流出が続いており、Microsoft 内の製品チームへの異動など研究者の退職の波が数回ありました。
Microsoft 自体にとって、OpenAI の助けを借りずに高品質の LLM を開発することは、今後数年間に両社が提携関係の更新について話し合う際に、より多くの交渉材料を獲得できる可能性があります。
現時点では、この 2 つの取引は双方に利益をもたらします。
Microsoft は OpenAI に 100 億米ドル以上を投資しており、その見返りに OpenAI の既存の知的財産を Microsoft 製品で永久に使用する独占的権利を取得します。
さらにMicrosoftは、初期投資が返済されるまでOpenAIの理論上の営業利益の75％を受け取り、一定の上限に達するまでは利益の49％を受け取ることになる。
Office 365 Family Bucket は、GPT-4 機能の恩恵を受けてから収益増加の初期の兆候を示しています。
Microsoftは7月、2万7000社以上の企業がコード作成ツール「GitHub Copilot」に料金を支払ったと発表した。
Statista の統計によると、2023 年にマイクロソフトのクラウド サービスが最大の割合を占めることに加えて、生産性の高いビジネス プロセスを加速するソフトウェア製品の収益シェアも徐々に増加しています。
ユーザーが Bing を使用すると、Microsoft は OpenAI モデルによって出力された結果にアクセスできます。
現在、Microsoft はこのデータを使用して、より「洗練された」モデルを作成しています。社内研究者の調査結果によれば、これらのモデルはより少ない計算リソースで同様の結果を生成できることが示されています。
「小さなモデル」の探索
OpenAI の陰で 1 年間過ごした後、Microsoft の一部の研究者は、GPT-4 を模倣する「蒸留された」モデルを作成するという新しい目標を見つけました。
今年 6 月、Microsoft は GPT-4 の計算能力の 10 分の 1 しか消費しないモデル、つまり Orca をトレーニングしました。
Orca を作成するために、Microsoft は GPT-4 によって生成された何百万もの回答をより基本的なオープン ソース モデルに入力し、GPT-4 を模倣するように教えました。
結果は、Orca が他の SOTA 命令微調整モデルを上回るだけでなく、BigBench Hard (BBH) などの複雑なゼロショット推論ベンチマークで Vicuna-13B の 2 倍のパフォーマンスを達成することを示しています。
さらに、Orca は BBH ベンチマークで ChatGPT と同等のパフォーマンスを達成しており、SAT、LSAT、GRE、GMAT などの専門試験および学術試験ではわずか 4% のパフォーマンス差しかありません。これらはすべて、思考連鎖を行わずにゼロサンプル設定で測定されています。 。
「教科書レベル」の高品質トレーニング データを使用しているため、phi-1 の数学および論理問題における習熟度は、オープンソース モデルの 5 倍以上です。
その後、Microsoft は「特定の機能を実現するには LLM がどの程度小さくなければならないか」の研究をさらに進め、わずか 13 億のパラメーターを備えたモデル phi-1.5 を発表しました。
phi-1.5 は、多くの大規模モデルの機能を実証し、「段階的に考える」ことや、基本的なコンテキスト学習を実行することができます。
同時に、多段階推論において他の大型モデルをはるかに上回っています。
事情に詳しい関係者によると、ファイのリリース後のチームの最優先事項は、そのようなモデルの品質を検証することだという。
今後の論文で研究者らは、高品質の応答と低品質の応答を区別するようにモデルに教えることでエンジニアが Orca を改善できる、対照学習に基づく方法を提案しています。
同時に、Microsoft の他のチームも、新しいマルチモーダル大規模モデル、つまりテキストと画像の解釈と生成の両方ができる LLM の開発を集中的に行っています。
Orca や Phi のようなモデルは、Microsoft が AI 機能を顧客に提供するために必要なコンピューティング コストを削減するのに役立つことは明らかです。
ある現従業員によると、Microsoft のプロダクト マネージャーは、Bing のチャットボット クエリを処理するために OpenAI のモデルの代わりに Orca と Phi を使用する方法をすでにテストしています。たとえば、短い段落のテキストを要約して「はい」または「いいえ」で答えるなど、比較的単純な質問です。
さらに、Microsoft は Azure クラウドの顧客に Orca モデルを提供するかどうかも検討しています。
関係者によると、オルカの論文が発表されるとすぐに、いつから使えるようになるのか顧客から問い合わせがあったという。
しかし問題は、これが本当に行われるのであれば、Microsoft は依然として Meta からライセンスを取得する必要があるのかということです。結局のところ、後者には、オープンソース LLM を商業化できる企業には依然として制限があります。
参考文献: