大型モデルについて専門家に一度話を聞いてみた

出典: White Horse Business Review

画像ソース: Unbounded AI によって生成‌

「もうすぐ赤い海になりつつある。」 ある起業家とこのビッグモデルについて話していたとき、彼はこの言葉を私に直接投げかけた。

昨年 11 月、OpenAI は GPT-3.5 ベースの ChatGPT をリリースし、これにより一気に大型モデルの隆盛に火がつきました。中国では半年以上にわたり「百機種戦争」が続いており、BATなどの大手インターネット企業や人工知能企業は基本的に自社の大型機種を発表している。

5月初め、360のトップである周宏毅氏は対外的に「2年間の模倣と盗作を経ずに、それを超えられると言い出したら、それは自慢だ」と語った。 「大型モデルと外国との間には2年のギャップがあるが、それを撤回すると、今日では国際レベルに近づいている。」

ChatGPTに追いつくのに半年かかったと感じる人もいますが、大きなモデルは難しくないと思われます。

では、大規模モデルに対する主な障壁は何でしょうか?中国の大型モデルのレベルは？大型模型は人間社会にどのようなリスクをもたらすのでしょうか？

この目的を達成するために、私たちは、機械学習の研究に長年従事してきた著名な 985 大学教授、Shen Wei (仮名) と話をして、大規模モデルの霧を明らかにしました。

GPT パスが通過したため、「百モデル戦争」が発生します

**White Horse Business Review: ビッグ モデルを最も一般的で簡単な言葉で説明できますか? ビッグ モデルとは何ですか?以前の AI モデルとどう違うのですか? **

沈偉氏: いわゆるラージモデルとは、モデル内のパラメータの数が多いことを指しますが、どの程度の大きさのパラメータを「ビッグ」と呼ぶのかについては、学界に明確な定義はなく、まだ段階にあります。一般に、大規模なモデルのパラメータ量は 1.1 億を超えます。

実際、ディープラーニングの発展は大きく 3 つの段階を経てきました。第 1 段階は 2012 年から 2017 年で、画像セグメンテーション yolo や画像分類 ResNet などの小規模なドメイン固有モデルで表されるため、パラメーターの量が最大数百 MB のメモリを占有します。

2017 年の Transformer の登場により、深層学習によるコンピューティングの並列化が可能になり、より効率的になり、大規模なモデル操作を実行できるようになり、その後、OpenAI GPT や Google Bert などの大規模な自然言語モデルが生み出されました。この段階では、特定のタスクの大規模なモデルが誕生し、モデルのパラメータは 1 億を超えました。

2020年頃、ディープラーニングは一般的なモデル段階に入ります｡その入力は空白を含む文であり､モデルの役割は「空白を埋める」ことです｡以前はモデルは下流のアプリケーションに適用されていましたが､現在はそれが実現されています｡は、下流のアプリケーション適応モデルです。現段階のモデルには、自然言語分野では GPT 3.5 および GPT 4、画像分野では Clip、DALLE、Stable Diffusion、Midjourney などが含まれます。この段階では、モデルのパラメーターは数百億、数千億に達する可能性があります。

**White Horse Business Review: 大規模モデルを最初に研究したのはどの企業または機関かご存知ですか?結果は何ですか? **

沈偉「最初は大学や科学研究機関が関連研究をしていました。北京知源人工知能研究所の呉道氏と彭城研究室の頭脳が最も早いと聞いています。今では業界の研究も非常に同期しています。」学術界の研究ではある程度の成果が出ていますが、性能はChatGPTほど驚くべきものではありません。

**White Horse Business Review: わずか数か月の間に、中国では「百機種戦争」が勃発し、大型機種を投入した企業の数は数え切れないほどになっています。この現象についてどう思いますか? ? **

シェン・ウェイ: ビッグモデルは間違いなくトレンドであり、人々はそれを研究しています。以前は、小さな領域に投資してリサーチをする企業が多かったかもしれませんが、ChatGPT のような優れた製品が突然登場し、誰もが明確なビジネスの方向性を認識したため、投資を拡大し始めています。

一方で、多くの企業は商業競争の圧力にさらされており、大規模なモデルを作らなければ遅れをとってしまう可能性があるため、大規模なモデルプロジェクトを立ち上げる必要があります。

White Horse Business Review: 周宏毅氏は最近、「国内の大型モデルと海外の大型モデルとのギャップは2年である」という文言を撤回し、今日ではそのギャップは国際レベルに近づいていると信じていると述べた。まだ数カ月しか経っていないので、大きなモデルは難しくないようです。どれくらいの差があると思いますか？

シェン・ウェイ：誰を基準にベンチマークを行うかによって違いが生じますが、私はこれまで 360 Smart Brain 製品を体験したことがないので、評価するのがあまり得意ではありません。しかし、中国にもいくつかの生成AI製品があり、私の経験上、ChatGPTとはまだ差があると感じており、国内の大型モデルはまだまだ努力が必要です。

**多額の設備投資が行われる中、トップ企業だけがチャンスを得ることができるのでしょうか? **

**White Horse Business Review: 大規模モデルの開発に対する主な障壁は何ですか? **

Shen Wei: 大規模モデルの核となる障壁には、データ、計算能力、アルゴリズムが含まれます。

計算能力の観点から見ると、ChatGPTのような生成AIを訓練するには少なくとも1万枚のNvidia A100グラフィックスカードが必要であり、グラフィックスカード1枚の価格は現在6万～7万元、より性能の高いV100の単価は8万元である。投資額は少なくとも 60 ～ 70 億元に達する必要があり、投資できるのは少数のトップ企業や機関だけです。営利組織の場合、何億ドルもかけてグラフィックス カードを大量に購入しても、必ずしも結果が得られるとは限りません。

次にデータとアルゴリズムですが、開発フレームワークや最適化アルゴリズムなど、アルゴリズムの方がわかりやすいです。データに関しては、中国にはデータが不足しておらず、インターネット データは米国よりもさらに豊富ですが、トレーニングにどのデータを選択するか、またそれらのデータをどのように処理するかが主要な障壁となっています。

**Baima Business Review: あなたは普段、企業とコミュニケーションを取りますか?研究における非営利研究機関と企業の違いは何ですか? **

シェン・ウェイ: 会社の研究部門といくつかのやりとりをする予定です。企業とコミュニケーションをとることで、実際のビジネス ニーズをより深く理解できるようになります。私たちが行う学術研究では、先進的なテクノロジーに注目することもあり、実装の要件はそれほど高くありませんが、企業は一般に実装を重視します。

**Baima Business Review: 国内の大型モデルを研究したことがありますか?どれが一番好きですか? **

沈偉：トップ企業は撤退できるかも知れません。 1つは多額の設備投資があり、大手企業のみが力を持っていること、2つ目は複数の大手企業が保有するデータがより豊富であること、3つ目は人工知能分野において技術蓄積の時期があったことである。

**White Horse Business Review: 最も有望な大規模モデル アプリケーションは何ですか? **

Shen Wei: 技術的な観点から言えば、最初の応用は自然言語処理と画像の分野であり、音声認識はその後になるかもしれません。

コピーライティングの作成に chatGPT が使用されることが増えています。この種のコンテンツ作成用のアプリケーションはますます増えています。スマート カスタマー サービスなどの他のアプリケーションはもっと高速になるはずだと思います。現在のインテリジェントなカスタマー サービスの中には、ユーザーのニーズを理解できず、現実的な問題を解決できないものもよくありますが、ゲーム内の NPC を含め、ユーザーが人間かロボットかを区別できなければ、エクスペリエンスは大幅に改善されます。ダイアログはハードコード化されていますが、徐々にインタラクティブになり、プレイヤーのエクスペリエンスが向上します。

**White Horse Business Review: あなたは大手証券会社のチーフアナリストを務めていましたが、投資の観点から見て、大手モデルにはどのようなチャンスがあると思いますか? **

Shen Wei: 資本の誇大宣伝のロジックは、アプリケーションからアルゴリズム、モデル、そしてコンピューティング能力に至るものですが、業界のロジックはその逆で、コンピューティング能力には明らかな成長期待があるため、Nvidia は最近急速かつ大幅に上昇しました。投資家は現在、ビッグモデルが実現可能かどうかをまだ検証する必要があることも理解しているが、増加した資本投資のほとんどはコンピューティング能力に投資されている。誇大宣伝が繰り返された後、市場の全体的な上昇は終了するはずであり、論理的な検証とパフォーマンスの充実は後で必要になります。

私は元々メディア業界やインターネット業界、例えば少し前までは比較的好調だったゲーム業界を主に見てきましたが、資本の論理としては、第一に大型モデルを適用して研究開発の効率を高め、コストを削減する、第二に大型モデルはより良い体験をもたらす、そしてNPC文字がスマートになり、粘度が上がり、UP値が上がります。もちろん、最終的にはパフォーマンス検証が必要になる場合もあります。

人間は AI をコントロールすることはできず、さらには自分自身の運命をコントロールすることもできません

**ホワイト ホース ビジネス レビュー: アルトマンとマスクが人工知能の安全性について懸念を表明しているのを見てきました。現在、私たちが知っているのは大規模なモデルのトレーニングを通じてインテリジェントな結果が得られることだけですが、トレーニング プロセスはブラック ボックスのようなものです。実際にはとても怖いです。セキュリティの問題についてどう思いますか? **

沈偉：安全面に関しては、まず、いくつかの異常現象を観察しました。 1つ目は3月にマスク氏とApple共同創設者のスティーブ・ウォズニアック氏を含む1000人以上が署名した公開書簡で、GPT-4より強力なAIシステムのトレーニングの一時停止を求めた。

2つ目は、グーグルの首席科学者で「AIのゴッドファーザー」と呼ばれる75歳のジェフリー・ヒントン氏が今年5月に辞任したことだが、グーグル退社の直接の理由は人工知能の危険性を懸念したことだった。そして、自分が生涯かけて行ってきた仕事を後悔さえした。

3つ目は、過去2年間で学術分野における大規模な研修モデルに倫理的議論が加わったことである。

現時点では、大型モデルはまだ制御可能で大きな問題はないと思いますが、技術の発展が早すぎます。GPT はリリースされてからわずか数か月で数回のイテレーションを経ており、開発のスピードが速すぎます。私たちがますます賢くなるにつれて、自己認識が発達し、人間の「命令」を聞かなくなり、制御不能になるのでしょうか?この疑問は誰もが気になるところですよね。

**White Horse Business Review: AI は大量の失業を引き起こすと思いますか? AI の登場に直面して、一般の人はどうやって仕事を維持できるのでしょうか? **

沈偉：マクロ的な観点から見ると、AIによって大量の失業が発生するとは思いません。人間には常に仕事があります。ただ、人々の仕事の内容が変わるだけです。もちろん、個人の観点からすれば、構造的失業は間違いなく発生するでしょうし、我々は学び続けるしかありません。

**White Horse Business Review: 以前は多くの人が、機械には感情がなく、想像力が欠如しており、人間に代わることはできないと言っていましたが、人間の脳は AI によってシミュレートできるようになりましたが、将来的には人間の欲望や性欲もシミュレートできるでしょうか? ホルモン、ドーパミンなど。これは生物学的な報酬メカニズムです。 **

シェン・ウェイ「機械には感情がないというのが現在の前提です。人工知能は人間の思考様式に近づいていますが、人間と同じような「感情」を生み出すのでしょうか？ 『流浪の地球』の屠恒宇の娘のように、人間とは異なる空間次元に住んでいるというだけだ。人工知能は、生物学的に人間と同様の報酬メカニズムを備えた独自の世界を生成する可能性があります。

**White Horse Business Review: すべてを計算、計画、設定できるとしたら、少し退屈ではないでしょうか? **

シェン・ウェイ「AIの行動は人間が予測したり計画したりするものではなく、AIの自己強化と自己訓練の結果です。『流浪の地球』におけるMOSSの意思決定は、指示に従うのではなく、自ら行うものです」人間によって与えられたもの。

**White Horse Business Review: 炭素ベースの文明からシリコンベースの文明への置き換えは決定的な方向性ですか? **

シェン・ウェイ: この質問は概要を超えています。現在の開発動向からすると、『流浪の地球』のように、人類の運命を左右するのは人間ではなくMOSSである、ということになるかもしれないが、実際には技術が停滞する可能性もある。結局のところ、技術の発展は直線的ではありません。