私たちはまさに「ライト兄弟の最初の飛行機」の瞬間にいます。私たちはすでに機能するものを持っており、現在では多数のアプリケーションシナリオに役立ちます。拡張性は非常に優れているようで、さらに良くなるでしょう。しかし、現在、世界中のすべての AI 科学者がこれらを改善するために懸命に取り組んでいるため、さらなるブレークスルーが起こるでしょう。ケビン・スコット、マイクロソフト:
特にここ数年、そしておそらく特にここ 12 か月間では、ChatGPT と GPT-4 のリリースにより、このプラットフォームが PC やスマートフォンと同じになる可能性があることがよくわかりました。さまざまなテクノロジーによって多くの新しいことが可能になり、多くの人がこれらの新しいものの上に何かを構築するでしょう。 ＃＃２ この生成型人工知能の波には市場の変革を促進する経済原理があります。
技術革新が市場変革を引き起こすには、経済的利益が非常に魅力的でなければなりません。これまでの AI サイクルでは多くの技術的進歩がありましたが、変革的な経済的メリットはありませんでした。現在の AI の波では、一部のユースケースではすでに 10,000 倍 (またはそれ以上) の経済的改善の初期の兆候が見られており、その結果としての AI の導入と開発は、これまでのどの変化よりもはるかに迅速に行われているようです。
エンターテインメントは年間 2 兆ドル規模の産業です。そして暗い秘密は、エンターテイメントは存在しない仮想の友達のようなものであるということです。これは、一般的な人工知能のクールな最初のユースケースです。たとえば、医師を立ち上げたい場合は、間違った情報を提供しないように非常に細心の注意を払う必要があるため、はるかに時間がかかります。しかし、友達がいれば、すぐにできるし、楽しいし、仲直りするのが特徴になります。 David Baszucki、Roblox:
生物学は信じられないほど複雑で、おそらく人間の精神で完全に理解することはできません。しかし、AI と生物学の交差点は生物学への理解を加速し、現代で最もエキサイティングで革新的な技術の進歩につながる可能性があります。 AI 主導の生物学プラットフォームは、これまで知られていなかった生物学的洞察を解き放ち、新たな医学の進歩、新たな診断方法、疾患の早期発見と治療、さらには発症前に予防する能力につながる可能性を秘めています。
これまでの AI モデルの反復は、特定のタスクで人間を超えることを目的としていましたが、Transformer ベースの LLM は一般的な推論に優れています。しかし、優れた一般モデルを作成したからといって、それを特定のユースケースに適用する方法を解明したわけではありません。今日の AI モデルのパフォーマンスを向上させるには、RLHF の形で人間をループに参加させることが重要であるのと同様に、新しいテクノロジーをユーザーの手に渡し、ユーザーがそれをどのように使用するかを理解することが、これらの基盤に基づいてどのアプリケーションを構築するかを決定する鍵となります。モデルのトップへ
多くのビルダーは、マルチモーダル AI を通じてユーザーが AI モデルと対話するための新しい方法の開発に重点を置いています。ユーザーは、画像、テキスト、音声、その他のメディアを通じて、他の世界と対話するのと同じ方法でマルチモーダル モデルと対話できるようになります。さらに一歩前進: 身体性 AI は、自動運転車など、物理世界と対話できる人工知能に焦点を当てています。
それはあなたが何をしたいかによります。 AI システムが私たちの仕事をますます引き受けるようになることは明らかです。 OpenAI プラットフォームに関しては、現在でも非常に小規模なモデルから最先端のモデルまで、多くのモデルが API を通じて提供されていることがわかります。常に最も強力または有能なモデルを使用する必要はありません。場合によっては、特定のユースケースに適合し、よりコスト効率の高いモデルが必要な場合もあります。私たちは人々に私たちのモデルを構築して、このプロセスを容易にするツールを提供してほしいと考えています。私たちは、ユーザーが独自のデータを持ち込んでこれらのモデルをカスタマイズできるように、アクセスと制御をさらに強化したいと考えています。モデルの範囲を超えて製品を定義することに重点を置く必要があります。デビッド・バスズッキ、ロブロックス:
Roblox のような企業では、おそらく 20 ～ 30 のエンドユーザー向けの非常にカスタマイズされた垂直アプリケーションが存在します。自然言語フィルタリングは 3D の生成とは大きく異なります。エンドユーザーでは、これらのアプリケーションをすべて実行したいと考えています。 [スタック] を下に進むにつれて、私たちのような会社では、2 つまたは 3 つのより大きく、より太いタイプのモデルが自然にクラスタリングされる可能性があります。私たちは、トレーニングできるようにしたい分野を非常に細かく調整し、それらの分野に対して多くの推論を実行しました。 ## 10 AI が企業内で十分に採用されるようになるのはいつですか。それらのデータセットはどうなりますか?
私の基本的なポイントは、推論にはそれほどコストがかからないということです。スケーリングの法則の基本ロジックは、計算を n 倍増やす場合は、データを n の平方根倍に増やし、モデルのサイズを n の平方根倍に増やす必要があるというものです。この平方根は基本的に、モデル自体はそれ以上大きくならず、モデルを実行するにつれてハードウェアの速度が向上することを意味します。これらのことは今後 3 ～ 4 年は関連し続けると思います。アーキテクチャの革新がなければ、価格は少し高くなります。アーキテクチャの革新があれば、そして私はそうあることを願っていますが、価格は安くなるでしょう。しかし、たとえ計算コストが一定であっても、特に多くの人材がこの分野に流入している状況では、モデル レベルの効率向上は避けられないようであり、AI 自体が AI の動作方法を改善するための最も強力なツールになる可能性があります。
ダリオ・アモデイ、人類：
AI がより強力になるにつれて、ほとんどの認知タスクのパフォーマンスが向上します。関連する認知タスクの 1 つは、人工知能システムの安全性を判断し、最終的には安全性研究を実施することです。これには自己言及的な要素があります。これは、解釈可能性の領域など、ニューラル ネットワークの内部を読み取ることでわかります。強力な AI システムは、弱い AI システムのニューロン活動を解釈するのに役立ちます。そして、これらの解釈可能性に関する洞察は、多くの場合、モデルがどのように機能するかを教えてくれます。彼らは、モデルがどのように機能するかを私たちに説明するとき、多くの場合、それを改善したり、より効率的にする方法を提案します。最も有望な研究分野の 1 つは、モデル全体を実行せずに、特定のユースケースに合わせて大規模なモデルを微調整することです。
AI に対するチューリング テストの質問があります。1633 年に AI を導入し、その時点で入手可能なすべての情報を学習させた場合、太陽系の中心が地球か太陽かを予測しますか?情報の 99.9% は地球が太陽系の中心だと言いますか? 5 年というのはちょうどぎりぎりだと思いますが、この AI チューリング テストを 10 年後に行ったら、おそらく太陽が沈むでしょう。 ＃＃１５ やはり人間が参加する必要があるのでしょうか？
新しいテクノロジーは人間の仕事の一部を置き換えることがよくありますが、まったく新しい領域を開拓し、生産性を向上させ、より多くの人々がより多くの種類の仕事を利用できるようにもします。 AI が既存の業務を自動化することを想像するのは簡単ですが、AI がもたらす次の問題や可能性を想像するのははるかに困難です。
私はバージニア州中部の田舎で育ちましたが、そこでは主にタバコ栽培、家具製造、繊維産業によって経済が支えられていました。私が高校を卒業したとき、3つの産業はすべて崩壊したばかりでした。これらのコミュニティの人々が信じられないほど強力なツールにアクセスできると、多くの場合、並外れた行動を起こし、自分自身、家族、コミュニティに経済的機会を生み出します。彼らは、私たちには世界全体の問題の状況が見えていないため、あなたや私にはできない問題を解決します。私たちには彼らの視点がありません。これらの AI ツールは、これまでよりも使いやすくなりました。コンピューター サイエンスの博士号や古典的な人工知能の専門知識がなくても、これらのツールを使用して興味深いことを行うことができ、バージニア州の小さな町で起業家になることができます。ただ好奇心と起業家精神を持ち続ける必要があります。ディラン・フィールド、フィグマ:
これまでのあらゆるテクノロジーの変化やプラットフォームの変化を見ると、設計すべきものがさらに増えてきました。印刷機があるので、そのページに何を載せるかを考えなければなりません。最近、モバイル インターネットが登場して、「ピクセルが減り、デザイナーも減った」と思うかもしれませんが、そうではなく、デザイナーの数が最も爆発的に増加したのはこの時でした。 ## 16 AI スタートアップを構築するのにこれほどエキサイティングな時期はありません (特に物理学者や数学者の場合)
a16z 10,000 ワードの記事: 私たちはコンピューティングの第 3 時代に突入しています
この AI 開発の波は、その影響をさまざまな分野に急速に広げ、実際にほとんどの人々の予想を超えています。先週、Sequoia (Sequoia America) は、AI が第 2 章を開いたと考え、アプリケーション シナリオの観点から新しい AI マップと LLM 開発者スタック (スタック) マップを描きました。
しかし、資金の行方を見る限り、現在のAI開発はまだ神と神の戦いの段階にあるようで、このパターンはほぼ形になっているように見える。 OpenAIがMicrosoftなどから約110億ドルを受け取り、その評価額は約290億ドルだったが、競合他社のAnthropicは昨日、Amazonとの提携を発表し、Amazonは最大40億ドルを投資する予定で、AnthropicはOpenAIに次ぐ2位となる。 AIスタートアップの資金調達の面で。
この資金調達以降、Apple を除いて、AI 業界は基本的に次のような神々の戦いのパターンを形成しました。
もちろん、下位レベルのインフラストラクチャのプロバイダーとして、Nvidia の戦略は明らかに誰もがそれを望んでおり、特定の企業に対してそれほど真剣な姿勢はありません。 AIユニコーン15社の概況は以下のとおりですが、評価や資金調達の観点からは大型モデルのLLMが大きな割合を占めており、AIユニコーンの50%は2021年以降に設立されています。
本日、a16z は、私たちが第 3 のコンピューティング時代にいると信じて、いくつかのトップ AI 企業の創設者との会話を共有し、AI の現在、将来、オープン性の観点から 16 の興味深いトピックについて議論しました。この会話の参加者は次のとおりです。
この記事は長すぎて、ほぼ 10,000 ワードなので、AI を使用して簡単にまとめました。一部の用語は正確ではない可能性があります。興味のある友人は、英語の原文を読むことができます。
1 私たちは今、第 3 コンピューティング時代の始まりにいます。
マーティン・カサド、a16z：
私は、おそらく第 3 のコンピューティング時代に突入しているのではないかと考えています。マイクロチップは計算の限界コストをゼロに削減し、インターネットは配布の限界コストをゼロに削減し、そして現在では大型モデルが実際に作成の限界コストをゼロに削減しています。以前の時代が起こったとき、どんな新しい会社が設立されるかわかりませんでした。 Amazon を予測した人はいませんし、Yahoo を予測した人もいませんでした。私たちは象徴的な企業の新たな波に備える必要があります。ノーム・シェイザー、キャラクター AI:
私たちはまさに「ライト兄弟の最初の飛行機」の瞬間にいます。私たちはすでに機能するものを持っており、現在では多数のアプリケーションシナリオに役立ちます。拡張性は非常に優れているようで、さらに良くなるでしょう。しかし、現在、世界中のすべての AI 科学者がこれらを改善するために懸命に取り組んでいるため、さらなるブレークスルーが起こるでしょう。ケビン・スコット、マイクロソフト:
特にここ数年、そしておそらく特にここ 12 か月間では、ChatGPT と GPT-4 のリリースにより、このプラットフォームが PC やスマートフォンと同じになる可能性があることがよくわかりました。さまざまなテクノロジーによって多くの新しいことが可能になり、多くの人がこれらの新しいものの上に何かを構築するでしょう。 ＃＃２ この生成型人工知能の波には市場の変革を促進する経済原理があります。
技術革新が市場変革を引き起こすには、経済的利益が非常に魅力的でなければなりません。これまでの AI サイクルでは多くの技術的進歩がありましたが、変革的な経済的メリットはありませんでした。現在の AI の波では、一部のユースケースではすでに 10,000 倍 (またはそれ以上) の経済的改善の初期の兆候が見られており、その結果としての AI の導入と開発は、これまでのどの変化よりもはるかに迅速に行われているようです。
マーティン・カサド、a16z：
市場の変革は、10倍の経済改善によって起こるものではありません。それらは以前よりも1万倍優れた状態で作成されます。自分自身をピクサーのキャラクターに変身させる画像を作成したいとします。これらの画像モデルのいずれかを使用する場合、推論コストは 10 分の 1 セントで、所要時間は 1 秒だとします。グラフィック アーティストを雇う場合と比較して、時給が 100 ドルだと仮定しましょう。コストと時間の点では、4 ～ 5 桁の大きな違いが見られます。経済学者にとって、実際に市場に大きな混乱が生じたとき、これが彼らが求める転換点のようなものである。 これがどれほどクレイジーになるかを例として挙げたいのなら、3D モデル、キャラクター、サウンド、音楽、ストーリーなど、完全なゲームを生成できない理由がわかりません。スタートアップ企業は現在これらすべてを行っており、数億ドルと数年かかるコストと数ドルのコストを比較すると、現在、インターネットとマイクロチップのレベルで経済性が非対称になっています。
3 初期のアプリケーション シナリオの場合: 創造性 > 正確性
幻覚は、今日の大型モデル LLM に関するよく知られた問題ですが、一部のアプリケーションでは、問題を補う能力はバグではなく機能です。 n レベルの正確性が重要である初期の応用機械学習のユースケース (例: 自動運転車) と比較して、LLM の初期のユースケース (仮想の友人やコンパニオン、コンセプトのブレーンストーミング、またはオンライン ゲームの構築) の多くは次のような特徴があります。正確さよりも創造性が重要な領域に焦点を当てます。
ノーム・シェイザー、Character.AI：
エンターテインメントは年間 2 兆ドル規模の産業です。そして暗い秘密は、エンターテイメントは存在しない仮想の友達のようなものであるということです。これは、一般的な人工知能のクールな最初のユースケースです。たとえば、医師を立ち上げたい場合は、間違った情報を提供しないように非常に細心の注意を払う必要があるため、はるかに時間がかかります。しかし、友達がいれば、すぐにできるし、楽しいし、仲直りするのが特徴になります。 David Baszucki、Roblox:
Roblox の 6,500 万人のユーザーのうち、ほとんどが希望するレベルで創作を行っていません。長い間、私たちはミシンと生地を使用してすべてを 3D でシミュレーションできるプロジェクト ランウェイ シミュレーション ゲームを想像していましたが、ほとんどの人にとってはそれすら少し複雑でした。 Project Runway が Roblox でリリースされるとき、それはテキスト プロンプト、画像プロンプト、または音声プロンプトになるだろうと今は思います。もし私があなたのシャツを作るのを手伝っていたら、こう言うでしょう。「青いデニム シャツ、いくつかのボタン、そしてスリムなフィット感が欲しいです。」実際、創作活動が加速すると思います。ディラン・フィールド、figma:
現時点では、AI が最初の草案を完成させることが可能な段階にありますが、そこから最終製品に仕上げるのはまだ多少難しく、多くの場合、チームがそれを行う必要があります。しかし、AI にインターフェイス要素を人々に提案させ、それを本当に意味のある方法で実行させることができれば、まったく新しいデザインの時代が開かれ、ユーザーの意図に応じたコンテキストに応じたデザインが作成できると思います。すべてのデザイナーにとって、これらの人工知能システムと協力して作業できる魅力的な時代になると私は信じています。 ＃＃４ 他の例としては「副操縦士」のプログラミングの精度は人間が使用することで向上します。
AI は多くの分野で人間の作業を強化する可能性を秘めていますが、「副操縦士」のプログラミングが最初に広く採用された AI アシスタントとなったのには、次のような理由があります。
まず、開発者は新しいテクノロジーを早期に採用することが多いため、2023 年 5 月または 6 月に実施された ChatGPT ヒントの分析では、ChatGPT ヒントの 30% がプログラミング関連であることが判明しました。第 2 に、最大規模の LLM はコードの多いデータセット (インターネットなど) でトレーニングされているため、プログラミング関連のクエリへの応答が特に優れています。最後に、ループ内の人々はユーザーです。したがって、精度は重要ですが、AI 副操縦士がいる人間の開発者は、人間の開発者だけで行うよりも速く反復して正確さを得ることができます。
マーティン・カサド、a16z：
正しく行う必要があり、複雑な使用例が多数ある場合は、すべての技術的な作業を自分で行うか、人を雇う必要があります。通常、私たちは人を雇います。これが変動費です。第 2 に、自動運転で発生する可能性のある多くの異常など、ソリューションのテールは非常に長いことが多いため、先を行くために必要な投資が増加し、価値が減少します。これにより、逆の規模の経済効果が生じます。 以前は中心的な企業にいた人間が現在はユーザーになっているため、ビジネスにとって変動費ではなくなり、作業コストの経済性も低下します。ループ内の担当者が異動したため、コードの開発など、正確性が重要な作業を行うことができます。また、反復的なため、ユーザーから常にフィードバックや修正が得られるため、蓄積されるバグの量が減少します。開発者がコードの作成やトラブルシューティングを支援するために AI チャットボットにクエリを実行できるようになると、開発の方法が 2 つの重要な点で変わります。1) より多くの人々にとって開発が容易になります。自然言語インターフェイスを通じて行われるため、共同作業が可能になります。2) 人間の開発者が必要になります。より多くの製品を生産し、より長く流通させ続けます。
Mira Murati,OpenAI ：
プログラミングはますます抽象的ではなくなります。私たちは実際に、高帯域幅のコンピューターと自然言語で会話することができます。私たちはテクノロジーを使用しており、テクノロジーは、それを「プログラム」するのではなく、その操作方法を理解するのに役立ちます。ケビン・スコット、マイクロソフト:
GitHub は、私たちが構築しようとしているこのコパイロット モデルの最初の例です。これは、誰かが行っているナレッジ ワークをどのように取得し、AI を使用して特定の種類のコグニティブ ワークの生産性を大幅に向上させるかというものです。 ?何よりも、私たちが開発者たちを観察したところによると、AI は開発者が他の方法よりも長くフロー状態に留まるのに役立ちます。 コードの塊を書いていて、「次のことをどうやってやればいいのかわからない。ドキュメントを調べなければならない。取り組んでいるかもしれない別のエンジニアに尋ねなければならない。」と考えて行き詰まってはいけません。何か」 「フロー状態から抜け出す前に、フローから自分を解放できることは非常に価値があります。ソフトウェア開発以外の目的で構築された生成 AI ツールの有用性を検討している人にとって、このフロー状態の概念は考慮すると有益です。ディラン・フィールド、figma:
優れたデザイナーはコードについてさらに考え始め、優れた開発者はデザインについてさらに考え始めます。デザイナーや開発者だけでなく、たとえば製品担当者について考えてみると、以前は仕様の作成に取り組んでいたかもしれませんが、現在はアイデアをより効果的に伝えるためにモックアップの作成に取り組んでいます。基本的に、これにより、組織内の誰もがアイデアから設計、さらには生産に至るまでの作業がより迅速に行えるようになります。しかし、それでもすべてのステップを磨く必要があります。 「さて、どのようなアイデアを検討するか? それらをどのように検討するか?」について真剣に考えてくれる誰かが必要です。デザインを微調整したり、それらを正しく処理したりする必要があります。初稿から最終製品まで。 ＃＃５ AIと生物学を組み合わせることで、病気の新たな治療法が加速し、人間の健康に重大な影響を与える可能性があります。
生物学は信じられないほど複雑で、おそらく人間の精神で完全に理解することはできません。しかし、AI と生物学の交差点は生物学への理解を加速し、現代で最もエキサイティングで革新的な技術の進歩につながる可能性があります。 AI 主導の生物学プラットフォームは、これまで知られていなかった生物学的洞察を解き放ち、新たな医学の進歩、新たな診断方法、疾患の早期発見と治療、さらには発症前に予防する能力につながる可能性を秘めています。
ダフネ・コーラー、会場：
私たちの歴史のある時期には、特定の科学分野が比較的短期間に驚くべき進歩を遂げました。 1950 年代、その分野はコンピューティングであり、私たちはこれらのマシンを使用して、それまで人間しか実行できなかった計算を実行しました。そして 1990 年代に、興味深い相違が生じました。一方で、データサイエンスと統計は最終的に現代の機械学習と人工知能をもたらしました。もう一方の側面は、私が定量的生物学と考えているものです。これは、5 年かかった実験で 3 つの遺伝子を追跡することを超える規模で生物学を測定し始める初めてのことです。 2020 年は、この 2 つの分野が真に融合する最後の時期となり、デジタル生物学の時代が到来し、前例のない忠実度と規模で生物学を測定できるようになり、機械学習とデータ サイエンス ツールを使用して理解できないものを解釈できるようになります。生物学的スケールやさまざまなシステム、そして CRISPR ゲノム編集などのツールを使用して、その理解を工学生物学に戻し、生物学が意図していないことを行うことができるようにします。 現在、私たちはついに生物学を大規模に、細胞（場合によっては細胞内）および生物レベルで測定できるようになりました。これにより、初めて真に有意義な方法で機械学習を導入できるようになります。 私たちは生物学的言語モデルを構築しました。 GPT に似ていますが、細胞用です。私たちは細胞の言語と細胞の様子を知っています。さまざまな状態の何億もの細胞を測定し、自然言語の大規模言語モデルのように、少量のデータを使って「病気はどのようにして病気の原因遺伝子をある細胞から移動させるのか」と考え始めることができます。 「治療によって、うまくいけば病気の状態から健康な状態に戻るにはどうすればよいでしょうか?」 これは非常に強力です。他の言語モデルと同様に、より多くのデータを供給するほど、言語モデルの品質は向上します。 ## 6 モデルをユーザーの手に渡すことは、新しいアプリケーション シナリオを発見するのに役立ちます
これまでの AI モデルの反復は、特定のタスクで人間を超えることを目的としていましたが、Transformer ベースの LLM は一般的な推論に優れています。しかし、優れた一般モデルを作成したからといって、それを特定のユースケースに適用する方法を解明したわけではありません。今日の AI モデルのパフォーマンスを向上させるには、RLHF の形で人間をループに参加させることが重要であるのと同様に、新しいテクノロジーをユーザーの手に渡し、ユーザーがそれをどのように使用するかを理解することが、これらの基盤に基づいてどのアプリケーションを構築するかを決定する鍵となります。モデルのトップへ
ケビン・スコット、マイクロソフト:
モデルは製品ではないことを覚えておく必要があります。起業家としてのあなたの理解は次のとおりです。ユーザーは誰ですか?彼らの問題は何でしょうか？彼らを助けるために何ができるでしょうか？次に、AI が実際にユーザーの問題を解決する有用なインフラストラクチャであるかどうかを判断します。これは常に変わりません。人工知能は、新しいクラスの問題を解決したり、古いクラスの問題をより良い方法で解決したりできる、新しくて興味深いインフラストラクチャのようなものです。ミラ・ムラティ氏、OpenAI:
将来がどうなるかは正確にはわかりません。そのため、私たちはこれらのツールやテクニックを他の多くの人が利用できるようにして、彼らが実験して何が起こるかを確認できるようにしようとしています。これは私たちが当初から使用してきた戦略です。 ChatGPT をリリースする 1 週間前、私たちはそれが十分ではないのではないかと心配していました。私たちは皆、何が起こるかを見てきました。私たちがそれを世に出すと、人々は新しいユースケースを発見するのに十分だと言い、そしてあなたはこれらすべての新たなユースケースを目にします。 ## 7 AI 友達の記憶が良くなります
データ、計算、およびモデル パラメーターが LLM の一般的な推論を強化する一方で、コンテキスト ウィンドウは短期記憶を強化します。コンテキスト ウィンドウは通常、処理できるトークンの数によって測定されます。現在、ほとんどのコンテキスト ウィンドウは約 32K ですが、より大きなコンテキスト ウィンドウが登場し、LLM を介してより多くのコンテキストを含むより大きなドキュメントを実行できるようになります。
ノーム・シェイザー、Character.AI :
現在、私たちが提供するモデルは、数千のトークンのコンテキスト ウィンドウを使用しています。つまり、生涯の友人が過去 30 分に何が起こったかを覚えていることになります。たくさんの情報を捨てられれば、状況は良くなるでしょう。それはあなたについて何十億ものことを学ぶことができるはずです。 HBM の帯域幅はあります。ダリオ・アモデイ、人類：
私がまだ過小評価されていると思うことの 1 つは、より長いコンテキストとそれに付随するものです。チャットボットというと、こんなイメージがあると思います。 「私が質問すると、質問に答えてくれました。しかし、法的契約書をアップロードして、『この法的契約書の中で最も珍しい 5 つの条項は何ですか?』と尋ねることはできます。または、財務諸表をアップロードして、「この会社の概要。このアナリストが 2 週間前に述べたことと比べて何が驚くべきでしょうか? この知識すべてが、人々が数えなければならない膨大な量のデータを操作し、処理します。」と言うのは何時間もかかります。 「人間が行っていることよりもその可能性が高いと思います。私たちはまだ始まったばかりです。」 ## 8 音声チャットボット、ボット、および人工知能と対話するその他の方法は、重要な研究分野です。
現在、ほとんどの人がチャットボットの形で人工知能と対話していますが、それはチャットボットが多くの場合簡単に構築できるためであり、チャットボットがあらゆるユースケースに最適なインターフェイスだからではありません。
多くのビルダーは、マルチモーダル AI を通じてユーザーが AI モデルと対話するための新しい方法の開発に重点を置いています。ユーザーは、画像、テキスト、音声、その他のメディアを通じて、他の世界と対話するのと同じ方法でマルチモーダル モデルと対話できるようになります。さらに一歩前進: 身体性 AI は、自動運転車など、物理世界と対話できる人工知能に焦点を当てています。
Mira Murati,OpenAI:
今日の基本モデルはテキストで世界をよく表現していると思います。画像やビデオなどの他のモダリティを追加しているため、これらのモデルは、私たちが世界を理解し観察する方法と同じように、世界のより完全な全体像を取得できるようになります。ノーム・シェイザー、Character.AI :
声を聞きたい、顔を見たい、あるいは単に複数の人と交流したいと思っているかもしれません。それは、あなたが大統領に選出され、ヘッドフォンと友人やアドバイザーのチーム全体を手に入れるようなものです。あるいは、「楽しいバー」に入ると、誰もがあなたの名前を知っていて、あなたが来たことを喜んでくれるようなものです。ダフネ・コーラー、室内:
AI による影響の次のフロンティアは、AI が物理世界と関わり始めるときです。私たちは皆、それがどれほど難しいかを知っています。チャットボットの構築と比較して、自動運転車の構築がいかに難しいかを誰もが見たことがありますよね?私たちはチャットボットの構築に大きな進歩を遂げていますが、サンフランシスコでは依然として自動運転車が消防車を妨害しています。この複雑さを理解することは重要ですが、影響の規模も理解することが重要です。 ## 9 いくつかの一般的なモデル、多数の特殊なモデル、またはその両方の混合が存在するのでしょうか?
大規模な「高度なインテリジェンス」ベース モデル、または小規模な特殊なモデルおよびデータセットに最適なユースケースはどれですか? 10 年前のクラウドとエッジ アーキテクチャの議論と同様に、その答えは、どれくらいの金額を支払う意思があるか、出力の精度がどの程度必要か、および許容できる遅延の量によって決まります。これらの質問に対する答えは、研究者が特定のユースケースに合わせて大規模な基本モデルを微調整するためのより計算効率の高い方法を開発するにつれて、時間の経過とともに変化する可能性があります。
長期的には、今後の AI アプリケーションの波をサポートするためのインフラストラクチャとアーキテクチャの構築の初期段階にあるため、どのモデルをどのユースケースに使用するかが過度に回転する可能性があります。
Ali Ghodsi、Databricks:
それは 2000 年に似ています。インターネットがすべてを支配しようとしており、重要なのは誰が最高のルーターを構築できるかだけです。シスコの時価総額は2000年に5兆ドルに達し、当時マイクロソフトを上回った。では、最大の LLM (言語モデル) を持っているのは誰でしょうか?明らかに、最大のものを構築し、それを完全に訓練できる人が、すべての AI と将来の人間を制御できるようになります。しかし、インターネットと同じように、ウーバーやタクシー運転のようなアイデアは、後から誰かが思いつくでしょう。 「Facebook の友達が何をしているのか見てみたい」と考える人もいるでしょう。これは大きなビジネス チャンスになる可能性があり、モデルを構築できるのは OpenAI や Databricks、Anthropic などの企業だけではありません。シナリオ。信頼できる医師を作るには多大な努力が必要です。ダリオ・アモデイ、人類：
最大の要因は、より多くの資金を投資することです。現在製造されている最も高価なモデルの価格は約 1 億ドルか、プラスまたはマイナスで 1 桁異なります。来年には、複数のプレーヤーから約 10 億ドル相当のモデルが登場する可能性があり、2025 年までには数十億ドル、さらには 100 億ドル規模のモデルが登場するでしょう。この 100 倍の違いは、H100s の計算自体が高速化するという事実と組み合わされて、精度の低下による特に大きな飛躍となります。これらすべての要素を組み合わせると、スケーリングの法則が適用され続けると、機能が大幅に向上することになります。ミラ・ムラティ氏、OpenAI:
それはあなたが何をしたいかによります。 AI システムが私たちの仕事をますます引き受けるようになることは明らかです。 OpenAI プラットフォームに関しては、現在でも非常に小規模なモデルから最先端のモデルまで、多くのモデルが API を通じて提供されていることがわかります。常に最も強力または有能なモデルを使用する必要はありません。場合によっては、特定のユースケースに適合し、よりコスト効率の高いモデルが必要な場合もあります。私たちは人々に私たちのモデルを構築して、このプロセスを容易にするツールを提供してほしいと考えています。私たちは、ユーザーが独自のデータを持ち込んでこれらのモデルをカスタマイズできるように、アクセスと制御をさらに強化したいと考えています。モデルの範囲を超えて製品を定義することに重点を置く必要があります。デビッド・バスズッキ、ロブロックス:
Roblox のような企業では、おそらく 20 ～ 30 のエンドユーザー向けの非常にカスタマイズされた垂直アプリケーションが存在します。自然言語フィルタリングは 3D の生成とは大きく異なります。エンドユーザーでは、これらのアプリケーションをすべて実行したいと考えています。 [スタック] を下に進むにつれて、私たちのような会社では、2 つまたは 3 つのより大きく、より太いタイプのモデルが自然にクラスタリングされる可能性があります。私たちは、トレーニングできるようにしたい分野を非常に細かく調整し、それらの分野に対して多くの推論を実行しました。 ## 10 AI が企業内で十分に採用されるようになるのはいつですか。それらのデータセットはどうなりますか?
企業に対する生成 AI の影響は、まだ初期段階にあります。その理由の 1 つは、企業は一般に移行が遅いためであり、また、企業が独自のデータセットの価値を認識しており、必ずしもデータを別の企業に引き渡したいわけではないためでもあります。モデルがどれほど強力であっても。ほとんどの企業のユースケースでは高度な精度が必要であり、企業には LLM を選択するための 3 つのオプションがあります。独自の LLM を構築するか、LLM サービス プロバイダーを使用して構築するか、基礎となるモデルを微調整するかです。独自の LLM を構築することは困難です。簡単。
Ali Ghosdi、Databricks：
CEO や取締役会の脳内で起こることの 1 つは、「自分は競争相手に勝てるかもしれない」という認識です。もしかしたら敵を倒すのはクリプトナイトかもしれない。私は生成 AI のデータを持っているので、彼らは「自分で作らなければならない」と考えています。知的財産は私が所有しなければなりません。独自の LLM を最初から構築したいですか?これは簡単なことではなく、依然として大量の GPU が必要で、多額の費用がかかり、データセットとユースケースによって異なります。 当社には、非常に高い精度とパフォーマンスを備えた、より安価で小型の専用モデルを求めているお客様がたくさんいます。彼らは「これが私がやりたいことです。これらの画像から、製造プロセスにおけるこの特定の欠陥を適切に分類したいのです。」そこでは精度が重要です。あなたが私に与えてくれるすべての正確さは重要です。そこでは、トレーニングに適したデータセットがあり、より小規模なモデルをトレーニングできれば、より良い結果が得られます。レイテンシはより速く、より安くなり、そして確かに、本当に大規模なモデルを上回る精度を得ることができます。しかし、あなたが構築したモデルは、週末にあなたを楽しませたり、子供の宿題を手伝ったりするものではありません。 ＃＃１１ スケーリングの法則は私たちをAGIまで連れて行ってくれるでしょうか？
現在、LLM はスケーリングの法則に従っています。つまり、アーキテクチャとアルゴリズムが同じであっても、データと計算を追加するとモデルのパフォーマンスが向上します。しかし、このルールはいつまで続くのでしょうか？それは無限に続くのでしょうか、それともAGIを開発する前に自然の限界に達するのでしょうか?
Mira Murati, OpenAI:
データと計算へのアクセスを拡大し続けるにつれて、より優れた、より強力なモデルが開発されないという証拠はありません。これで AGI に到達できるかどうかは別の問題です。その過程で他にもいくつかのブレークスルーや進歩が必要になるかもしれませんが、スケーリングの法則と、これらのより大きなモデルから実際に多くの利益を得るという点では、まだまだ長い道のりがあると思います。ダリオ・アモデイ、人類：
たとえアルゴリズムの改善がなく、これまでの水準までスケールアップしたとしても、スケーリングの法則は継続します。ノーム・シェイザー、Character.AI:
私たちの目標は、AGI 企業であり、製品第一の会社になることです。そのための方法は、適切な製品を選択し、一般化可能なことを強制し、モデルをよりスマートにし、人々が望むものにし、提供することです。サービスを安価かつ大規模に。スケーリングの法則は私たちを長い道のりに導きます。基本的に、計算はそれほど高価ではありません。現在、運営コストは約 10 ～ 18 ドルです。これらのことを効率的に行うことができれば、コストは時間の価値よりもはるかに小さくなるはずです。これらを桁違いにスケールアップする機能があります。 ## 12 新しい機能とは何ですか?
人工知能を生成する能力をすぐに軽視する人もいますが、人工知能は特定のタスクを実行することにおいてすでに人間よりもはるかに優れており、今後も改善され続けるでしょう。優秀なビルダーは、AI の最も有望な新機能を特定し、これらの機能を信頼できる機能に拡張するモデルと企業を構築することができます。彼らは、スケールが新たな機能の信頼性を高める傾向があることを認識しています。
Mira Murati, OpenAI：
たとえ信頼性が非常に低いとしても、これらの新しい機能に注意を払うことが重要です。特に、現在会社を設立している人にとっては、「今日は何が可能ですか? 今日は何が見えますか?」ということを真剣に考えてください。なぜなら、これらのモデルはすぐに信頼できるものになるからです。ダリオ・アモデイ、人類学者:
GPT-2 をリリースしたとき、当時最も印象的だったことは、「これら 5 つの英語からフランス語への翻訳の例を言語モデルに直接入力し、次に 6 番目の英語の文を入力すると、実際にフランス語に翻訳される」ということでした。 「なんてことだ、このパターンを理解しているんだ」という感じでした。たとえ翻訳が不十分だったとしても、それは私たちにとってはクレイジーでした。しかし、私たちの見解は、「ほら、これは素晴らしい旅の始まりにすぎません。なぜなら、制限はなく、拡張し続けることができるからです。」なぜ、これまで見てきたモデルが存在し続けることができないのでしょうか?次の単語を予測するための目標はたくさんあり、挑戦できることもたくさんあるので、間違いなくうまくいきます。そして、それを見て「本当にひどいロボット翻訳ツールを作ったね」と言った人もいました。 ＃＃１３ これらのモデルを提供するコストは下がりますか？
計算コストは、これらのモデルを拡張する際の主な制限の 1 つであり、現在のチップ不足により供給が制限されることでコストが上昇しています。ただし、来年 Nvidia がさらに多くの H100 を生産すれば、GPU 不足が緩和され、コンピューティング コストが削減される可能性があります。
ノーム・シェイザー、Character.AI：
私たちが現在提供しているモデルは、昨年トレーニングするのに約 200 万ドルのコンピューティング サイクルを要しましたが、おそらく 50 万ドルをかけて再びそれを行うことになるでしょう。そのため、私たちは年末までに数十の IQ ポイントのよりスマートなものを展開する予定です。これらのことが大幅にスケールアップしているのがわかります。ただ、それほど高価ではありません。昨日、Nvidia が来年さらに 1.5M H100、つまり 2M H100 を製造する予定だという記事を見た気がします。 これは、1 人あたり 1 秒あたり約 4 分の 1 兆の操作に相当します。これは、地球上のすべての人にとって、1,000 億のパラメータを持つモデルでは、1 秒あたり 1 単語を処理できることを意味します。しかし、実際には誰もがアクセスできるわけではないため、それほど高価ではありません。これは正しく行えば非常に拡張性があり、私たちはそれを実現するために懸命に取り組んでいます。ダリオ・アモデイ、人類学者:
私の基本的なポイントは、推論にはそれほどコストがかからないということです。スケーリングの法則の基本ロジックは、計算を n 倍増やす場合は、データを n の平方根倍に増やし、モデルのサイズを n の平方根倍に増やす必要があるというものです。この平方根は基本的に、モデル自体はそれ以上大きくならず、モデルを実行するにつれてハードウェアの速度が向上することを意味します。これらのことは今後 3 ～ 4 年は関連し続けると思います。アーキテクチャの革新がなければ、価格は少し高くなります。アーキテクチャの革新があれば、そして私はそうあることを願っていますが、価格は安くなるでしょう。しかし、たとえ計算コストが一定であっても、特に多くの人材がこの分野に流入している状況では、モデル レベルの効率向上は避けられないようであり、AI 自体が AI の動作方法を改善するための最も強力なツールになる可能性があります。
ダリオ・アモデイ、人類：
AI がより強力になるにつれて、ほとんどの認知タスクのパフォーマンスが向上します。関連する認知タスクの 1 つは、人工知能システムの安全性を判断し、最終的には安全性研究を実施することです。これには自己言及的な要素があります。これは、解釈可能性の領域など、ニューラル ネットワークの内部を読み取ることでわかります。強力な AI システムは、弱い AI システムのニューロン活動を解釈するのに役立ちます。そして、これらの解釈可能性に関する洞察は、多くの場合、モデルがどのように機能するかを教えてくれます。彼らは、モデルがどのように機能するかを私たちに説明するとき、多くの場合、それを改善したり、より効率的にする方法を提案します。最も有望な研究分野の 1 つは、モデル全体を実行せずに、特定のユースケースに合わせて大規模なモデルを微調整することです。
Ali Ghodsi、Databricks:
千の異なる機能に優れた LLM の千のバージョンを作成し、それぞれを GPU にロードして提供する必要がある場合、非常にコストがかかります。今、誰もが探している大きなことは、わずかな変更だけで非常に良い結果が得られるテクニックはあるのか、ということです。プレフィックスチューニング、LoRA、CUBE LoRAなどの多くのテクノロジーがあります。しかし、本当に完璧なソリューションが機能することが証明されたわけではありません。でも誰かが見つけてくれるでしょう。 ＃＃１４ 一般的な人工知能への進歩をどのように測定すればよいでしょうか？
これらのモデルを拡張すると、AI が汎用人工知能になる時期をどのようにして知ることができるのでしょうか? AGI という用語をよく聞くと、その定義が難しいと思われることがありますが、その理由の 1 つはおそらく測定が難しいことです。
GLUE や SUPERGLUE などの定量的なベンチマークは、AI モデルのパフォーマンスを測定するための標準化された指標として長い間使用されてきました。しかし、人間に与える標準テストと同様に、AI ベンチマークでも次のような疑問が生じます。LLM の推論能力をどの程度測定しているのか、テストに合格する能力をどの程度測定しているのか?
Ali Ghodsi、Databricks：
すべてのベンチマークがでたらめなような気がします。私たちのすべての大学が、「試験の前夜に答えを見てもらいます。そして翌日、問題に答えてもらい、採点してもらいます。」と突然言ったら想像してみてください。 、誰もが簡単に試験に合格できました。 たとえば、MMLU は、多くの人がこれらのモデルを評価するために使用するベンチマークです。 MMLU はインターネット上の単なる多肢選択式の質問です。質問してください。答えは A、B、C、D、または E ですか?そうすれば正しい答えを教えてくれます。オンラインでトレーニングして、それを超えることができる LLM モデルを作成できます。 AGI の元の定性テストはチューリング テストでしたが、AI が人間であると人間に納得させるのは難しい問題ではありません。現実世界で人間が行っていることを人工知能にやらせるのは難しい問題です。では、これらのシステムの機能を理解するにはどのようなテストを使用できるでしょうか?
ディラン・フィールド、Figma：
これらのシステムから私たちが今分かっているのは、人々に自分が人間であると信じさせるのは簡単だが、実際に良いことを行うのは難しいということです。 GPT-4 にビジネスプランを作成してもらい、それを販売してもらうことはできますが、それは投資してくれるという意味ではありません。実際に競合する 2 つのビジネス (1 つは AI によって運営され、もう 1 つは人間によって運営されている) があり、AI ビジネスへの投資を選択した場合、それが私を心配させます。デビッド・バスズッキ、ロブロックス:
AI に対するチューリング テストの質問があります。1633 年に AI を導入し、その時点で入手可能なすべての情報を学習させた場合、太陽系の中心が地球か太陽かを予測しますか?情報の 99.9% は地球が太陽系の中心だと言いますか? 5 年というのはちょうどぎりぎりだと思いますが、この AI チューリング テストを 10 年後に行ったら、おそらく太陽が沈むでしょう。 ＃＃１５ やはり人間が参加する必要があるのでしょうか？
新しいテクノロジーは人間の仕事の一部を置き換えることがよくありますが、まったく新しい領域を開拓し、生産性を向上させ、より多くの人々がより多くの種類の仕事を利用できるようにもします。 AI が既存の業務を自動化することを想像するのは簡単ですが、AI がもたらす次の問題や可能性を想像するのははるかに困難です。
マーティン・カサド、a16z:
非常に簡単に言うと、ジェボンズのパラドックスは次のように述べています。需要が弾力的で価格が下落すると、需要は補償を超えるでしょう。多くの場合、それは補償をはるかに超えています。これは間違いなくインターネットにも当てはまります。より多くの価値と生産性が得られます。私は個人的に、クリエイティブな資産や仕事の自動化に関しては、需要には柔軟性があると信じています。私たちが作れば作るほど、より多くの人々が消費します。私たちは、マイクロチップとインターネットの時代に見たのと同じように、生産性の大幅な拡大、大量の新しい仕事、そして多くの新しいことを非常に楽しみにしています。ケビン・スコット、マイクロソフト:
私はバージニア州中部の田舎で育ちましたが、そこでは主にタバコ栽培、家具製造、繊維産業によって経済が支えられていました。私が高校を卒業したとき、3つの産業はすべて崩壊したばかりでした。これらのコミュニティの人々が信じられないほど強力なツールにアクセスできると、多くの場合、並外れた行動を起こし、自分自身、家族、コミュニティに経済的機会を生み出します。彼らは、私たちには世界全体の問題の状況が見えていないため、あなたや私にはできない問題を解決します。私たちには彼らの視点がありません。これらの AI ツールは、これまでよりも使いやすくなりました。コンピューター サイエンスの博士号や古典的な人工知能の専門知識がなくても、これらのツールを使用して興味深いことを行うことができ、バージニア州の小さな町で起業家になることができます。ただ好奇心と起業家精神を持ち続ける必要があります。ディラン・フィールド、フィグマ:
これまでのあらゆるテクノロジーの変化やプラットフォームの変化を見ると、設計すべきものがさらに増えてきました。印刷機があるので、そのページに何を載せるかを考えなければなりません。最近、モバイル インターネットが登場して、「ピクセルが減り、デザイナーも減った」と思うかもしれませんが、そうではなく、デザイナーの数が最も爆発的に増加したのはこの時でした。 ## 16 AI スタートアップを構築するのにこれほどエキサイティングな時期はありません (特に物理学者や数学者の場合)
今は、人工知能の構築にとってユニークでエキサイティングな時期です。基盤となるモデルは急速に拡大しており、経済はついにスタートアップに有利に傾きつつあり、解決すべき問題は数多くあります。これらの問題を解決するには多大な忍耐と忍耐力が必要ですが、これまで物理学者と数学者はこれらの問題を解決するのに特に適していました。しかし、AI は新しく急速に成長している分野であり、その可能性は広く、今がそれを構築するのに最適な時期です。
ダリオ・アモデイ、人類：
いつでも、2 種類のレルムが存在します。 1つは経験と知識の蓄積が非常に豊富で、専門家になるまでに長い年月がかかる分野です。生物学はその典型的な例です。生物学の分野で 6 か月間しか働いていない場合、画期的な研究やノーベル賞レベルの研究を行うのは非常に困難です。もう 1 つは、非常に歴史が浅い、または非常に急速に発展している分野です。人工知能は、かつても、そしてある程度は今でもこれらのカテゴリーの 1 つです。本当に才能のあるゼネラリストは、物事が急速に変化するため、その分野に長く携わっている人よりも優れたパフォーマンスを発揮できることがよくあります。むしろ、予備知識が多いと不利になることもあります。ミラ・ムラティ氏、OpenAI:
数学の理論的領域から得られる教訓の 1 つは、問題について考えるには長い時間を費やす必要があるということです。時々、眠りに落ちて新しいアイデアが目覚め、数日または数週間かけて最終的な解決策を徐々に見つけ出すことがあります。これはすぐに結果が得られるプロセスではなく、反復的なものではない場合もあります。それは、問題に直面し、それを解決するために自分を信頼するための直観と規律を構築するという、ほとんど異なる考え方です。時間が経つにつれて、どの問題に本当に取り組む価値があるかについての直感が養われるでしょう。ダフネ・コーラー、室内：
機械学習が時間の経過とともに改善されているだけでなく、私たちが依存している生物学的ツールも改善されています。以前は、CRISPR テクノロジーはなく、siRNA のみでした。その後、CRISPR 遺伝子編集技術が登場し、現在ではゲノム領域全体を置き換えることができる CRISPR プライム技術が登場しています。その結果、私たちが構築しているツールはますます改良されており、より有意義な方法でより多くの病気に対処できる可能性が開かれています。人工知能/機械学習と生物学および医学の分野が交わる部分には、多くの機会が存在します。この収束は、現在は存在するが 5 年前には存在しなかったツールを使用して、私たちが住んでいる世界に大きな影響を与えることができる瞬間です。ケビン・スコット、マイクロソフト:
過去に起こったいくつかの大規模なプラットフォームの移行について考えてみると、それらのプラットフォームで最も価値のあるものは、プラットフォームの変更の最初の 2 年間に導入されたものではありませんでした。スマートフォンで最も多くの時間を費やしている場所を考えてみると、それはメッセージング アプリでも、Web ブラウザーでも、電子メール クライアントでもありません。むしろ、プラットフォームが利用可能になってから数年以内に作成される新しいものです。 以前は不可能だったことが今ではどのようなことが可能になっていますか？これは人々が考えるべきことです。つまらないことを追いかけないでください。