出典: 新志源 画像ソース: Unbounded AI によって生成過去 6 か月の間に、ChatGPT の人気により、Meta は完全に黙っていられなくなりました。2 月のオープンソースの大規模モデル シリーズ LLaMA のリリースから、Llama 2 のアップグレード、そしてコーディング モデル Code Llama に至るまで、Meta は ALL IN AI にすべてを賭けています。オープンソース コミュニティでは、Llama シリーズ モデルの自由研究と商品化が、代替モデルの分裂を直接引き起こすきっかけとなりました。しかし、Meta が好調である一方で、AI チームは辞任の波に直面しています。The Information は、LLaMA および OPT プロジェクトのチーム メンバーのほとんどが、内部のコンピューティング能力に関する紛争により辞任したと独占的に報じました。 実際、Meta は PaLM に対抗するために開発していたモデルを直接放棄し、Llama 2 の開発に集中するために Meta AI の 2 つの研究チームを再編成しました。Meta の研究者のほとんどが去ったことで、コンピューティング能力の不足がレイアウト生成 AI の中核的な問題であることが明らかになりました。## **LLaMA 論文の著者 14 名、半数が辞任**外の世界から見ると、ハイテク大手はほとんどの企業よりも多くのコンピューティング リソースを持っています。 Metaを含む一部の企業は、AI研究者を採用する際に異口同音に「GPU RICH」であることを強調している。しかし実際には、Meta のコンピューティング リソースの供給にも限界があることはよく知っています。その結果、内部チーム内でコンピューティング能力に関する論争が始まり、多くの人がメタを放棄することになりました。具体的には、今年2月にリリースされた第一世代LLaMAモデルの作者14名のうち半数以上が辞任した。AI スタートアップに目を向けた人もいれば、テクノロジー大手に入社した人もいます。 用紙のアドレス:Meta を離れる研究科学者や技術者には、LLaMA 論文の共著者である Timothée Lacroix、Guillaume Lample、Marie-Anne Lachaux が含まれます。彼らは現在、ラクロワ氏とランプル氏が6月に共同設立したフランスの新興企業ミストラルAIで働いている。 著者の1人、Meta AIのリサーチディレクターであるArmand Joulin氏は5月にMetaを退職し、現在はAppleに入社している。 メタ人工知能研究所の「基礎AI研究」責任者、ジョエル・ピノー氏はインタビューで次のように述べた。> 優秀な研究者がいないと何もできないので、優秀な人材を維持し引き付けることにおそらく私は最も多くの時間を費やしています。メタ社が直面している離職の波は、人工知能人材に対する需要の急増に対応するために大手テクノロジー企業が直面している課題を浮き彫りにしている。現在の大規模モデルの波の中で、大手テクノロジー企業は後れを取ることを恐れて自社の製品やサービスに AI を統合することに熱心です。リビエラ・パートナーズの幹部カイル・ラングワーシー氏は、「人材に飢えている」企業がメタ社の人工知能研究者の引き抜きに列をなしていると語った。LLaMA のリリースでコミュニティの熱意が高まった 2 月、Xiao Zha 氏は、AIGC に注力するトップ製品チームの設立という、会社の大きな動きを一夜にして発表したことがありました。つまり、Xiao Zha 氏は、Google、Microsoft、OpenAI などの競合他社に追いつくために、Meta の将来の中心的焦点を生成人工知能に据えています。そして、2021年にAll Inだった「メタバース」も二次的な位置に置かれています。 その直後、Meta は一般的なビジュアル モデル SAM「Split Everything」、マルチモーダル AI モデル ImageBind、Llama2、Code Llama などを含む、人工知能分野の最新研究を随時公開し、オープンソース化しました。これらの研究結果が発表されると、オープンソース コミュニティで大きな反響を呼び、満場一致で賞賛されました。経験豊富な研究者を失った今、メタは競合他社に追いつくために新たな障害を加えた。 では、これらの上級研究者が怒りを持って去ってしまった原因は一体何があったのでしょうか?## **LLaMA と OPT の間のコンピューティング能力の戦い**Yann LeCun 氏は Meta に入社した後の 2013 年に、AI 研究責任者を務めていたときに人工知能研究研究所 Meta AI (旧 FAIR) を設立しました。Meta AI は、カリフォルニア州メンローパークとニューヨーク (LeCun の本拠地) にある主要研究所に加えて、モントリオール (Pineau の本拠地)、パリ、ロンドン、シアトルにもオフィスを構えています。 メタ AI 研究所の設立は主に AI の研究に特化しており、翻訳や MRI スキャンなどのさまざまなシナリオに人工知能を適用しています。しかし、ChatGPT の出現後、同社の幹部は AI をより深いレベルで製品に統合することにさらに熱心になりました。実際、Meta は ChatGPT のリリース前から独自の LLM を開発していました。2022 年 5 月、Meta AI の北米チームが大型モデル OPT-175B を発表し、オープンソース化しました。Meta は、2 つのモデルがトレーニング中に同じ量を学習するにもかかわらず、このモデルは GPT-3 よりも消費エネルギーが少ないと主張しています。 数か月後、チームは Google の PaLM と競合するように設計された 2 番目のより大きなモデルの開発に取り組み始めました。一方、パリを拠点とする別のメタ AI チームは、別の大規模言語モデル (LLaMA) の作業を開始しました。関係者によると、このモデルはOPTよりも小型だという。研究チームは、モデルが小さいほど推論の効率が向上すると考えています。その後、問題が発生し、北米とパリの 2 つの研究所のチームがコンピューティングの電源リソースをめぐる争いを開始し、内部チーム間の紛争が激化しました。特に、LLaMA チームはモデルが小さいにもかかわらず、北米の OPT チームよりもはるかに少ないコンピューティング リソースを受け取っているため、無視されていると感じています。「基礎AI研究」責任者のジョエル・ピノー氏はこう語る。> Meta でのコンピューティング リソースの割り当て方法に関する決定は、ビジネスのさまざまな部門のリーダーのグループによってほぼ月に 1 回行われます。> 最終的にどれだけの金額が誰に割り当てられるかは、組織の優先順位とプロジェクトがリリースまでどれだけ離れているかによって決まります。Meta AI の従業員が割り当てに関して紛争を起こした場合、処理のために上司である Pineau に提出されます。ピノー氏はインタビューの中で、LLaMA チームと OPT チームの間でコンピューティング能力の割り当てをめぐって多少の緊張があったことを認め、「たとえ全員のニーズを満たすことができなくても、全員の声に耳を傾ける方法を見つけようと努めている」と付け加えた。一部の研究者にとって、それは競争のように感じられます。Meta AI 幹部の中には、両チームが同様のプロジェクトに取り組んでいるにもかかわらず、なぜ限られたリソースを奪い合うのか疑問を抱いている人もいます。**2月の大変化**両チーム間の緊張は今年2月に最高潮に達した。ちょうど今月、競合他社に追いつくために、Meta AI は LLaMA を研究目的でライセンスされたオープンソース モデルとして初めてリリースしました。実際、リリースの 1 週間前に、Meta AI の共同ディレクターでパリ支社の責任者である Antoine Bordes 氏が Meta 社を去りましたが、その外部的な理由は、労働時間がカリフォルニアと同じくらい過酷だったことでした。現在、ボルデス氏は人工知能企業ヘルシングに入社した。 同氏の辞任により、LLaMAチームは北米の幹部らからさらに孤立することになる、と関係者らは述べた。さらにピノー監督は、ボルデスの離脱がチームに「不確実性をもたらした」ことを認めた。これは LLaMA チームの研究意欲の低下だけの問題ではなく、同時に OPT チームもここ数か月でスタッフの離職の問題に直面しています。OPTチームが開発中の大型モデルはメタ社によって直接放棄されたと言われている。 OPTの人員の喪失がこの決定に直接関係していることを理解するのは難しくありません。研究著者のLinkedinプロフィールによると、OPT論文の著者19人のうち半数もMetaを去ったという。 用紙のアドレス:「基礎AI研究」の責任者であるピノー氏は力なくこう言った、「現時点ですべてのチームがモデルをアップグレードしたい場合は、そのうちの1つを選択するか、協力させるかのどちらかです。」## **チーム再編、明確な位置づけ**こうしたすべてが起こっている一方で、Meta AI も会社の頻繁な変更に圧倒されていました。昨年11月以来、Xiaozhaは全社規模の人員削減を数回実施した。その中でもメタAIは免れなかった。今年2月、メタAIのリーダーたちは、競合するLLaMAチームとOPTチームの一部のメンバーを集めて「生成AI」チームを正式に設立することを決定し（元Apple幹部のアフマド・アルダール氏が責任者）、メタAIからも意見を募った。 AI 大勢の人。実際、Llama 2 の論文には多くの LLaMA および OPT の著者が登場しています。たとえば、OPT チームでは、Moya Chen、Todor Mihaylov、Punit Singh Koura が「Generative AI」チームに加わりました。第一世代 LLaMA チームでは、Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez が「生成 AI」チームに加わりました。興味深いことに、ラマ 2 の謝辞では、最初に言及したこの研究を開始した 4 つのチームのうち 3 つが去り、Edouard Grave だけがまだ残っています。 高く評価されているオープンソース モデル LLaMA の成功にもかかわらず、AI 研究に対する Meta の態度の変化が続く中、研究者間の緊張は高まり続けています。伝統的に、メタ AI には研究者が主導するボトムアップの文化があり、チームが AI の分野に集中して画期的な進歩を遂げることができました。しかし、Xiao Zha氏がAIをMetaのアプリケーションに統合する傾向が強まるにつれ、Meta AIの焦点はタンパク質のフォールディングなど、製品指向ではない研究にも絞り込まれた。 同時に、新しいプロジェクトも生成 AI チームとメタ AI の間を行ったり来たりしています。たとえば、Meta が 7 月にリリースした Llama 2 と、8 月にリリースされたコード生成に特化した Code Llama は、それぞれ 2 つのチームを担当しています。  これに関してピノー氏は、「この分野は非常に急速に発展しているので、どのプロジェクトがメタAIを担当すべきなのか、どのプロジェクトが生成AIチームを担当すべきなのか、まだ模索中だ」と述べた。表舞台では、オープンソース モデルは明るく美しいですが、舞台裏では AI 研究者の相次ぐ辞任、コンピューティング能力をめぐる紛争、チームの再編などが、競合他社に追いつくための Meta の取り組みに多くの不確実性をもたらしています。あい。参考文献:
LLaMAの主要なオリジナル作品のほとんどが去り、メタAIの内幕が暴露されました！計算能力を競い顔面を引き裂き、大規模モデルチームのメンバーが3ラウンド連続で交代
出典: 新志源
過去 6 か月の間に、ChatGPT の人気により、Meta は完全に黙っていられなくなりました。
2 月のオープンソースの大規模モデル シリーズ LLaMA のリリースから、Llama 2 のアップグレード、そしてコーディング モデル Code Llama に至るまで、Meta は ALL IN AI にすべてを賭けています。
オープンソース コミュニティでは、Llama シリーズ モデルの自由研究と商品化が、代替モデルの分裂を直接引き起こすきっかけとなりました。
しかし、Meta が好調である一方で、AI チームは辞任の波に直面しています。
The Information は、LLaMA および OPT プロジェクトのチーム メンバーのほとんどが、内部のコンピューティング能力に関する紛争により辞任したと独占的に報じました。
Meta の研究者のほとんどが去ったことで、コンピューティング能力の不足がレイアウト生成 AI の中核的な問題であることが明らかになりました。
LLaMA 論文の著者 14 名、半数が辞任
外の世界から見ると、ハイテク大手はほとんどの企業よりも多くのコンピューティング リソースを持っています。 Metaを含む一部の企業は、AI研究者を採用する際に異口同音に「GPU RICH」であることを強調している。
しかし実際には、Meta のコンピューティング リソースの供給にも限界があることはよく知っています。
その結果、内部チーム内でコンピューティング能力に関する論争が始まり、多くの人がメタを放棄することになりました。
具体的には、今年2月にリリースされた第一世代LLaMAモデルの作者14名のうち半数以上が辞任した。
AI スタートアップに目を向けた人もいれば、テクノロジー大手に入社した人もいます。
Meta を離れる研究科学者や技術者には、LLaMA 論文の共著者である Timothée Lacroix、Guillaume Lample、Marie-Anne Lachaux が含まれます。
彼らは現在、ラクロワ氏とランプル氏が6月に共同設立したフランスの新興企業ミストラルAIで働いている。
メタ社が直面している離職の波は、人工知能人材に対する需要の急増に対応するために大手テクノロジー企業が直面している課題を浮き彫りにしている。
現在の大規模モデルの波の中で、大手テクノロジー企業は後れを取ることを恐れて自社の製品やサービスに AI を統合することに熱心です。
リビエラ・パートナーズの幹部カイル・ラングワーシー氏は、「人材に飢えている」企業がメタ社の人工知能研究者の引き抜きに列をなしていると語った。
LLaMA のリリースでコミュニティの熱意が高まった 2 月、Xiao Zha 氏は、AIGC に注力するトップ製品チームの設立という、会社の大きな動きを一夜にして発表したことがありました。
つまり、Xiao Zha 氏は、Google、Microsoft、OpenAI などの競合他社に追いつくために、Meta の将来の中心的焦点を生成人工知能に据えています。
そして、2021年にAll Inだった「メタバース」も二次的な位置に置かれています。
これらの研究結果が発表されると、オープンソース コミュニティで大きな反響を呼び、満場一致で賞賛されました。
経験豊富な研究者を失った今、メタは競合他社に追いつくために新たな障害を加えた。
LLaMA と OPT の間のコンピューティング能力の戦い
Yann LeCun 氏は Meta に入社した後の 2013 年に、AI 研究責任者を務めていたときに人工知能研究研究所 Meta AI (旧 FAIR) を設立しました。
Meta AI は、カリフォルニア州メンローパークとニューヨーク (LeCun の本拠地) にある主要研究所に加えて、モントリオール (Pineau の本拠地)、パリ、ロンドン、シアトルにもオフィスを構えています。
しかし、ChatGPT の出現後、同社の幹部は AI をより深いレベルで製品に統合することにさらに熱心になりました。
実際、Meta は ChatGPT のリリース前から独自の LLM を開発していました。
2022 年 5 月、Meta AI の北米チームが大型モデル OPT-175B を発表し、オープンソース化しました。
Meta は、2 つのモデルがトレーニング中に同じ量を学習するにもかかわらず、このモデルは GPT-3 よりも消費エネルギーが少ないと主張しています。
一方、パリを拠点とする別のメタ AI チームは、別の大規模言語モデル (LLaMA) の作業を開始しました。
関係者によると、このモデルはOPTよりも小型だという。研究チームは、モデルが小さいほど推論の効率が向上すると考えています。
その後、問題が発生し、北米とパリの 2 つの研究所のチームがコンピューティングの電源リソースをめぐる争いを開始し、内部チーム間の紛争が激化しました。
特に、LLaMA チームはモデルが小さいにもかかわらず、北米の OPT チームよりもはるかに少ないコンピューティング リソースを受け取っているため、無視されていると感じています。
「基礎AI研究」責任者のジョエル・ピノー氏はこう語る。
Meta AI の従業員が割り当てに関して紛争を起こした場合、処理のために上司である Pineau に提出されます。
ピノー氏はインタビューの中で、LLaMA チームと OPT チームの間でコンピューティング能力の割り当てをめぐって多少の緊張があったことを認め、「たとえ全員のニーズを満たすことができなくても、全員の声に耳を傾ける方法を見つけようと努めている」と付け加えた。
一部の研究者にとって、それは競争のように感じられます。
Meta AI 幹部の中には、両チームが同様のプロジェクトに取り組んでいるにもかかわらず、なぜ限られたリソースを奪い合うのか疑問を抱いている人もいます。
2月の大変化
両チーム間の緊張は今年2月に最高潮に達した。
ちょうど今月、競合他社に追いつくために、Meta AI は LLaMA を研究目的でライセンスされたオープンソース モデルとして初めてリリースしました。
実際、リリースの 1 週間前に、Meta AI の共同ディレクターでパリ支社の責任者である Antoine Bordes 氏が Meta 社を去りましたが、その外部的な理由は、労働時間がカリフォルニアと同じくらい過酷だったことでした。
現在、ボルデス氏は人工知能企業ヘルシングに入社した。
これは LLaMA チームの研究意欲の低下だけの問題ではなく、同時に OPT チームもここ数か月でスタッフの離職の問題に直面しています。
OPTチームが開発中の大型モデルはメタ社によって直接放棄されたと言われている。 OPTの人員の喪失がこの決定に直接関係していることを理解するのは難しくありません。
研究著者のLinkedinプロフィールによると、OPT論文の著者19人のうち半数もMetaを去ったという。
「基礎AI研究」の責任者であるピノー氏は力なくこう言った、「現時点ですべてのチームがモデルをアップグレードしたい場合は、そのうちの1つを選択するか、協力させるかのどちらかです。」
チーム再編、明確な位置づけ
こうしたすべてが起こっている一方で、Meta AI も会社の頻繁な変更に圧倒されていました。
昨年11月以来、Xiaozhaは全社規模の人員削減を数回実施した。その中でもメタAIは免れなかった。
今年2月、メタAIのリーダーたちは、競合するLLaMAチームとOPTチームの一部のメンバーを集めて「生成AI」チームを正式に設立することを決定し（元Apple幹部のアフマド・アルダール氏が責任者）、メタAIからも意見を募った。 AI 大勢の人。
実際、Llama 2 の論文には多くの LLaMA および OPT の著者が登場しています。
たとえば、OPT チームでは、Moya Chen、Todor Mihaylov、Punit Singh Koura が「Generative AI」チームに加わりました。
第一世代 LLaMA チームでは、Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez が「生成 AI」チームに加わりました。
興味深いことに、ラマ 2 の謝辞では、最初に言及したこの研究を開始した 4 つのチームのうち 3 つが去り、Edouard Grave だけがまだ残っています。
伝統的に、メタ AI には研究者が主導するボトムアップの文化があり、チームが AI の分野に集中して画期的な進歩を遂げることができました。
しかし、Xiao Zha氏がAIをMetaのアプリケーションに統合する傾向が強まるにつれ、Meta AIの焦点はタンパク質のフォールディングなど、製品指向ではない研究にも絞り込まれた。
たとえば、Meta が 7 月にリリースした Llama 2 と、8 月にリリースされたコード生成に特化した Code Llama は、それぞれ 2 つのチームを担当しています。
表舞台では、オープンソース モデルは明るく美しいですが、舞台裏では AI 研究者の相次ぐ辞任、コンピューティング能力をめぐる紛争、チームの再編などが、競合他社に追いつくための Meta の取り組みに多くの不確実性をもたらしています。あい。
参考文献: