西湖大学教授、Lan Zhenzhong: 大型モデルに関するいくつかの認識

2023年9月19日、上海で「2023上海ブロックチェーン国際ウィーク・第9回ブロックチェーングローバルサミット」が開幕した。西湖新城の創設者で西湖大学教授の蘭振中氏は、「大型モデルに関するいくつかの認識」と題したライブ講義を行いました。

詳細については、「2023 上海ブロックチェーン国際ウィーク」ハイライト (継続的に更新) をクリックしてください。

Golden Finance は会議全体の現場追跡と報告を実施しました。以下に講演内容を要約する。

a6HYl04gicQVln4YS70b1BQDxTDyQ71rWo9B2M3P.jpeg

皆さんおはようございます!

今日は主に大規模モデルと人工知能について話します。その後、Web3 との統合と現在行われている作業について話します。

私が人工知能に取り組み始めたのは2007年で、それから10年以上が経ち、CPUの時代からGPUの時代、小型モデルから大型モデルまで、長く取り組んできました。比較的代表的なコンテンツをいくつか実行しました。 2019年、Google時代に作った大型モデルがGPT2を遥かに上回る世界最高の大型モデルだったので、当時はGPTシリーズを軽視していましたが、今では非常に好調です。

2020年に中国に帰国したとき、私は中国で初めて大型モデルの評価を行いました。私は大型モデルに深く関わっていると言えます。現在、大型モデルに関連する研究を行っている研究室と会社があります。

私はこれまで、大型モデルの開発の歴史を振り返ることも、深く考えることもほとんどありませんでした。 ChatGPT が普及するまでは、さまざまな質問が寄せられていましたが、以下にまとめて説明します。

まず、モデルを大きくしますか、それとも小さくしますか?

2番目は、今一般的な大型モデルの話が盛んですが、一般的な大型モデルにチャンスがあるのでしょうか、それとも業界の大型モデルにチャンスがあるのでしょうか。

第三に、NVIDIA または大規模なモデル企業やアプリケーション企業に投資すべきでしょうか?

4 番目に、一般の人々にとって、大型モデルは私の仕事をどのように変えることができるでしょうか?キャリアはどうやって選べばいいのか。

過去の歴史を振り返る質問ですので、主に過去のデータをご紹介します。

まず最初の質問ですが、大型モデルはどんどん大型化するのでしょうか?歴史を振り返ると、1950 年にコンピューターが開発され始めてから、実際にモデルはどんどん大型化していきました。基本的にモデルが大きくなることがモデルがインテリジェントになる最初の要因であると言えるので、モデルはどんどん大きくなっていきます。

2018 年までに、モデルを急速に拡大できる方法を発見しました。現在は非常に急速に拡大しています。2018 年から 2021 年の初めまでは、基本的に 18 か月ごとに数百倍に増加しました。現在は速度が低下していますが、急速な拡大も。

(図に示すように) この図は GPT4 の図です 縦軸は知能レベルを表します 知能レベルが高いほどレベルが高くなります 横軸はモデルのサイズと訓練量を表します。モデルが大きくなり、よりトレーニングされるにつれて、知能のレベルはますます高くなります。緑色の点がGPT4ですが、この時点ではまだ坂があり、まだ下ります。したがって、モデルを大きくしてもさらにスマートになることが期待できます。人間は常に限界を追い求め、必ずそれを増幅させていきます。

しかし、今誰もが心配しているのは、GPT4 はすでに兆レベルのモデルであるということです。推論コストが非常に高価であり、トレーニングも非常に高価です。増幅は役に立つのでしょうか?

別のデータを見ると、トレーニングと推論のコストが急激に減少しているため、この心配は不要であることがわかります。 2020 年に GPT3 がトレーニングされたとき、1 回のトレーニング セッションの費用は 400 万米ドルでした。 2022 年には 40 万ドルまで削減されており、コスト削減は非常に速いです。

主にいくつかの側面から:

まず、GPU のパフォーマンスが大幅に向上し、コストが低下し、ムーアの法則をはるかに超えています。ムーアの法則によれば、2016 年から 2022 年にかけて、CPU の性能は 8 倍、GPU の性能は 26 倍に向上しており、その向上は明らかです。

2つ目はソフトウェアの改善で、ソフトウェアによる研修効率の向上により、年間の研修コストは約47%削減され、ハードウェアとソフトウェアの両方を合わせると非常にひどい減少となっています。

第三に、私たちは大規模な計算能力の普及を進めており、ChatGPT が登場する前は、世界の計算能力は毎年約 20% ~ 40% 増加していましたが、ChatGPT の登場後は、計算能力の増加が 2 倍になる可能性があります。コンピューティング能力が大規模に向上し、GPU が大量生産されると、運用コストも削減されます。まとめると、トレーニングと推論のコストは急激に減少しているため、2 年間で 10 分の 1 に減少していることがわかります。

今後数年で、GPT4のような兆レベルのモデルが比較的安価になり、誰もが使用できるようになるでしょう。

要約すると、モデルは今後も大規模かつ強力になり、トレーニングと推論のコストは低下し続け、反復は高速になると予測します。

(写真の通り) この写真は GPT1 に関するものです。当時、私は GPT1 をあまり高く評価していませんでした。今振り返ると、私は大きな間違いを犯しました。GPT1 は非常に大きな貢献をし、人工知能を専門化された人工知能から変革しました。一般的な人工知能への変換。

かつては自然言語処理のタスクが数百個あり、タスクごとにさまざまなモデルが設計されていたため、論文の量も膨大でした。しかし、GPT1 が登場した後、私はさまざまなモデルを使用しないでくださいと言い、単一のモデルを使用してほとんどのタスクを処理しました。

後者の記事は、当時の Google の私の同僚によって書かれたもので、さまざまなタスクを同じモデルに統合しました。したがって、この波の主な貢献は普遍性です。普遍性はテキストだけでなく、画像、音声、音声にも反映されます。配列などのさまざまなデータは、配列に変換できれば基本的には処理可能です。

画像を多数の部分に切り取ったり、引き伸ばしたりするタスクは、Transformer モデルで処理できるようになり、基本的にさまざまなタスクをカバーでき、非常に多用途です。

現在、大きなモデルは多くの複雑なタスクを処理できませんが、あなたが彼がそれを行うのを少し手伝って、タスクを少し細分化する限り、それを行うことができます。 GPT4 は非常に強いと誰もが感じていますが、24 ポイントを直接実行する精度は 7.3% ですが、少し分解すると 74% まで改善できます。一見複雑なタスクの多くは、専門家がそれらを分解するのを手伝ってくれれば、 GPT シリーズ モデルまたは一般的な大型モデルは、多くのタスクを解決し、自動化を実現するのに役立ちます。

1 つはモデルが大きくなるということ、もう 1 つは多用途で、少し分解するだけで多くの複雑な文字を解決できるため、非常に実用的であるということです。海外で導入されて成功している例は数多くあります。たとえば、ピッツバーグの Duolingo 社は、ChatGPT アプリケーションの追加により、2023 年の第 1 四半期に収益が 42% 増加しました。

現在、多くのプログラマーがCopilotを利用しており、OpenAIの今年の収益は12億ドルに達すると推定されており、スタートアップ企業としては非常に厳しい収益規模となっている。

この人工知能の波と以前の波の違いは、それが精神労働者に取って代わることです。右の図は、この一般的な人工知能の波の前のさまざまな業界の知能 (自動化) レベルを示しています。下は学位のないものです。 、続いてFrom MasterからPHDまで、上に上がるにつれて代替性の度合いは低くなっていきます。現在は状況が異なり、一般的な人工知能の出現後は、精神労働者は簡単に置き換えられます。

要約すると、大規模なモデルの実装は、私たちが想像しているよりも速く、もちろん多くの金融関係者が想像しているよりも遅くなります。なぜなら、株式市場の反応は常にテクノロジーよりも速く、少なくとも私たちが想像しているよりも速く、テクノロジーはあらゆる分野の人々に力を与えることができるからです。人生。一つ一つの業務を分解するのは大変ですが、大手モデル企業が業界に深く参入すれば大きなチャンスが生まれます。

現在では、ほとんどの人がモデルの知能に注目しており、モデルの「心の知能指数」や人々との交流の度合いにはあまり注目されていません。この答えをくれました。この答えには方法はありますが、方法はありません。感情は、モデルとのやり取りが冷たく、ユーザーへの注意が欠けていることを示しているようです。これは、業界の初期の発展を反映しています。

検索エンジンを比較できます。最初にリリースされたとき、パーソナライゼーションはまれでした。しかし今では、検索をより正確にするために多くの情報がパーソナライズされるため、誰もが Baidu と Google を使い分けていますが、ほとんどのモデルはまだこれを行うことができません。

私の Google 同僚が設立した Character.ai という会社のように、モデルにパーソナライゼーションを追加したことで、モデルと人々の間のインタラクション時間を大幅に短縮できるようになりました。 5 月のデータ: OpenAI の平均インタラクション時間は 4 分、この企業の平均インタラクション時間は 28 分で、インタラクション時間の数倍です。ページは次のようになります。これは、より感情的で人々が喜んで対話するパーソナライズされた方向性を実現するために、大規模なモデルをさまざまなキャピタルとエージェント (エージェント) に分割することに相当します。現在、大規模なモデルが開発されているため、人間とコンピューターの相互作用には大きな進歩が見られるでしょう。

当社および研究室では、主にマルチモーダル大型モデルを中心に、高IQ・高EQを備えた一般的な大型モデルの研究を行っています。これまで、モデルの感情的知性を向上させるために、記憶、パーソナライゼーション、感情的知覚を強化する一連の機能が開発されました。

私は Google で長い間一般的な大規模モデルに取り組んでいたため、このモデルは比較的早い段階でリリースされました。2020 年半ばに ChatGPT が登場する前に、私たちは独自の一般的な大規模モデルを持っていました。当時、モデルは3.5と同等であり、それは実質的な職業でした。

オンラインになってから 1 年以上が経過しており、スターバックスや Alipay を含む C 側ユーザーが 200 人以上、B 側ユーザーが 100 人以上います。

最も代表的なアプリケーションの 1 つは、Tom Cat との連携です。Tom Cat は、全世界で月間アクティブ ユーザー数 4 億人を誇るコンパニオン製品であり、従来は主に人の話し声をコピーしたり、声を変えることで単語をコピーしたりしていました。これにマルチモーダルなインタラクション機能と対話機能を追加します。

カンファレンス関連の Web3 に戻ります。これが私の大まかな理解です。大規模モデルと Web3 は、それぞれ生産性と生産関係に対応すると思います。大規模モデルは生産性レベルを大幅に向上させますが、パフォーマンスを向上させたい場合は、対応する生産と一致する関係を持っています。大規模モデルの実装にはいくつかの問題があることを要約しました。

まず、トレーニングのコストが非常に高いです。新興企業がモデルをオープンソース化するインセンティブがありません。トレーニングに何百万ドルもかかるモデルはオープンソース化されていますが、それは私には関係ありません。難しいです。彼らがそれらをオープンソースにするために。しかし、オープンソースはモデルにとって非常に重要です。現在のモデルの多くはブラックボックスです。多くの研究機関は独自のモデルをトレーニングする余裕がありません。全員がトレーニングしている場合、全員が車輪の再発明を行っていることになります。したがって、オープンソースは非常に重要ですが、それには相応の措置が必要です。

第二に、推論のコストが高いです。現在の GPT4 での 1 つの会話の推論コストは 60 セントで、これは私のスピーチよりもはるかに高価です。推論のコストは非常に高く、実装は非常に困難です。 GPT4 は多くの場所で使用できますが、コストは手頃ではありません。

3 つ目はデータの機密性です。サムスンのデータは以前 OpenAI によって漏洩され、大きな騒動を引き起こしました。現在、大型モデルにアップロードしているデータは機密データです。多くの企業は自社のデータをアップロードすることに消極的です。これらの問題にどう対処すればよいでしょうか? Web3 がこれらの問題の解決に役立つことを願っています。

曹先生がまだ多くの困難があるとおっしゃったのを聞きましたが、私たちは研究を通じてこれらの問題の解決に貢献できることを願っています。たとえば、私たちはパブリックチェーンを持っており、誰でもオープンソースモデルをアップロードできます。モデルをオープンソースにしたとしてもそれをパブリック チェーンにアップロードすると、それに対応するインセンティブ メカニズムが存在します。たとえば、ユーザーがデータをアップロードした場合、トレーニングが許可された場合、対応するインセンティブが存在します。

コンピューティングの問題もあります。今では誰もが自分の携帯電話に非常に強力なグラフィック カードを搭載しています。全員の携帯電話が推論に貢献できれば、推論のコストを大幅に削減できます。私たちは、Web3 の力によって私たちの理想を真に実現し、大型モデルがあらゆる人々に力を与え、あらゆる人々に寄り添い、真に皆様のアシスタントまたはパートナーとなることを願っています。

皆さん、ありがとうございました!

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • コメント
  • 共有
コメント
0/400
コメントなし
いつでもどこでも暗号資産取引
qrCode
スキャンしてGateアプリをダウンロード
コミュニティ
日本語
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)