 画像ソース: Unbounded AIによって生成イリヤ・スツケヴァーは頭を垂れ、深く考え込んだ。 彼はテーブルの上で腕と指を広げ、まるでコンサートピアニストが最初の音を弾こうとしているように。 私たちは静かに座った。私はサンフランシスコのミッション・ディストリクトの目立たない通りに来て、OpenAIの共同創業者でチーフサイエンティストのSutskever氏と何の変哲もないオフィスビルで会い、彼が推進しているこの世界を変えるテクノロジーの次のステップについて聞いた。 また、彼の次のステップ、特に、次世代のフラッグシップであるジェネレーティブモデルの構築に注力しなくなった理由についても知りたい。Sutskever氏の新たな優先事項は、次世代のGPTや画像作成モデルDALL-Eを構築することではなく、AIが制御不能に陥るのを止める方法を見つけ出すことだと語ってくれた。Sutskeverは他にもたくさんのことを教えてくれました。 彼は、ChatGPTが意識的かもしれないと考えています。 彼は、OpenAIや他の企業が競い合って生み出しているテクノロジーの真の力を世界が認識する必要があると考えています。 彼は、いつの日か一部の人間が機械と融合することを選択するだろうと考えています。Sutskeverが言うことの多くはクレイジーです。 しかし、1、2年前に聞こえたほどクレイジーではありません。 彼自身が私に言ったように、ChatGPTは、何が起こるかについての多くの人々の期待を、「決して起こらない」から「あなたが思っているよりも早く起こる」に書き換えました。一般的な人工知能AGI(彼は人間と同じくらい賢い機械を指しています)の開発を予測する前に、彼は次のように述べています:「まるで次のiPhoneに賭けるようなもののように、すべてがどこに向かっているのかを議論することが重要です」。 ある時点で、私たちは本当にAGIを手に入れるでしょう。 OpenAIによって構築されているのかもしれませんし、他の何かかもしれません。 "昨年11月にChatGPTが突然、予期せぬ形でリリースされて以来、OpenAIをめぐる議論は、誇大広告で知られる業界でさえ、憂慮すべきものとなっています。 この800億ドル規模のスタートアップについて議論するのに飽きることはないでしょう。 世界のリーダーは、OpenAIとのプライベートまたはパブリックな会話を求めています(そして獲得しています)。 OpenAIの製品名は、カジュアルな会話の中でポップアップします。OpenAI の CEO である Sam Altman 氏は、この夏、1 週間のアウトリーチ旅行に出かけ、政治家と熱心に交流し、世界中の満員の聴衆を前に講演を行いました。 しかし、スツケヴァーは著名人ではなく、インタビューにもあまり応じない。彼は冷静かつ整然と話します。 自分が何を言いたいのか、どう表現するかを考えるとき、長い時間立ち止まり、パズルのように何度も何度も考えてしまう。 彼は自分のことを話すことに興味がないようです。 「私はとても質素な生活を送っていました。 仕事に行って、家に帰る。 それ以外はあまり何もしませんでした。 人々は多くの社交イベントに行くことができ、多くのコンベンションに行くことができます。 私は参加したくない。 "しかし、AIについて、そして彼が考える画期的なリスクとリターンについて話すと、見通しは広がります。 " ## ベター、ベター、ベター OpenAIがいなくても、SutskeverはAIの歴史に名を残すでしょう。 彼はイスラエル系カナダ人で、ソビエト連邦で生まれましたが、5歳からエルサレムで育ちました(彼はまだロシア語、ヘブライ語、英語を話します)。 その後、カナダに渡り、トロント大学でAIのパイオニアであるジェフリー・ヒントン氏に師事したが、彼は今年初め、スツケバー氏が発明に貢献したAI技術について懸念を表明した。 ヒントンは後に、ニューラルネットワークに関する研究でヤン・ルカンとヨシュア・ベンジオとチューリング賞を分け合った。 しかし、2000年代初頭にSutskever氏が加わったとき、ほとんどのAI研究者はニューラルネットワークは行き止まりだと考えていました。 ヒントンは例外です。 彼はすでに、一度に1文字の短いテキスト文字列を生成できるマイクロモデルをトレーニングしており、「そこから生成AIが始まる」とSutskever氏は言います。 それは本当にクールです - ただ素晴らしいではありません。 "Sutskeverは、脳がどのように学習し、機械の中でプロセスを再現するか、少なくとも模倣する方法など、脳の構造に魅了されています。 ヒントンと同様に、彼もニューラルネットワークの可能性と、ヒントンがニューラルネットワークのトレーニングに使用した試行錯誤の手法、つまりディープラーニングに着目しました。 「ディープラーニングはどんどん良くなっています」と、サツケバー氏。2012年、Sutskever氏、Hinton氏、そしてヒントン大学の大学院生であるAlex Krizhevsky氏は、AlexNetと呼ばれるニューラルネットワークを構築し、当時の他のどのソフトウェアよりもはるかに優れた写真の写体を認識するように訓練しました。 これは、深層学習のビッグバンの瞬間です。何年にもわたる失敗の後、彼らはニューラルネットワークがパターン認識に驚くほど効果的であることを証明しました。 必要なのは、ほとんどの研究者がこれまでに見たことのないほどのデータ(この場合は、プリンストン大学の研究者であるFeifei Li氏が2006年から構築しているImageNetデータセットの100万枚の画像)と、目もくらむような量のコンピューターパワーだけです。コンピューティングの大きな変化は、Nvidiaによって作られた新しいGPUチップから来ています。 GPUは、動きの速いビデオゲームのビジュアルを電光石火の速さで画面に投影できるように設計されています。 しかし、GPU が得意とする計算 (多数のデジタル グリッドを乗算する) は、ニューラル ネットワークのトレーニングに必要な計算によく似ています。エヌビディアは今や1兆ドル企業です。 当時は、ニッチな分野で新しいハードウェアのアプリケーションを見つけることに必死でした。 Nvidia の CEO である Jensen Huang 氏は、「新しいテクノロジーを発明するときは、クレイジーなアイデアを受け入れることができなければなりません。 私の考え方は、常に何か突飛なものを探しており、ニューラルネットワークはコンピュータサイエンスの考え方を変えようとしていましたが、これは非常に突飛なアイデアでした。 "Huang 氏によると、トロントのチームが AlexNet に取り組んでいたとき、Nvidia は試してみるために GPU を送ってきたという。 しかし、彼らはGTX 580と呼ばれる最新バージョンのチップを欲しがっていましたが、これは店頭ですぐに売り切れました。 フアンによると、サツケバーはトロントからニューヨークまで車で国境を越え、購入にこぎつけたという。 「店の角を曲がったところに人々が列を作って買っています。 彼がどうやってそれをしたのかはわかりませんが、それぞれ1つしか買わないと確信しています。 1人のプレイヤーにつき1つのGPUしか使えないという非常に厳しいポリシーがありますが、彼はどうやらトランクを埋めているようです。 GTX 580が詰まったこのスーツケースは、世界を変えました。 "それは素晴らしい話ですが、真実ではないかもしれません。 Sutskever氏は、最初のGPUをオンラインで購入したと主張しているからです。 しかし、この種の謎は、この活気ある業界では一般的です。 スツケヴァー氏自身はもっと謙虚で、「少しでも進歩することができれば、成功だと思う」と述べている。 当時はまだコンピュータが弱かったため、現実世界への影響は遠いものに感じられました。 "AlexNetの成功後、Googleがドアをノックしました。 HintonのスピンオフであるDNNresearchを買収し、Sutskeverを雇った。 Sutskever氏はGoogleで、ディープラーニングのパターン認識機能を単語、文、画像などのデータシーケンスに適用できることを示しました。 Sutskever氏の元同僚で、現在はGoogleのチーフサイエンティストであるJeff Dean氏は、「Sutskever氏は常に言語に興味を持っており、私たちは長年にわたって素晴らしい議論をしてきました。 彼は物事がどこに向かっているのかについて強い本能を持っています。 "しかし、Sutskever氏はGoogleに長く留まることはなかった。 2014年、OpenAIの共同創業者に採用される。 10億ドル(アルトマン、イーロンマスク、ピーター・ティール、マイクロソフト、Y Combinatorなどから)と多くのシリコンバレーの精神により、新会社は最初から汎用人工知能の開発を目指していましたが、当時はその見通しを真剣に受け止めた人はほとんどいませんでした。Sutskeverが加わったことで、この威圧的な態度は理解できます。 それまでは、ニューラルネットワークの学習からどんどん成果を得ていました。 Y Combinator Investmentsのマネージングディレクター、ダルトン・コールドウェル氏は、彼の評判が先行し、それが彼を大ヒットさせたと語った。「アルトマンがサツケヴァーを世界で最も尊敬される研究者の一人と呼んでいたのを覚えています」とコールドウェルは言う。 彼は、Sutskeverが多くの優秀なAI人材を惹きつけると信じています。 また、世界トップクラスのAI専門家の1人であるヨシュア・ベンジオ氏は、スツケバー氏よりも優れた候補者がOpenAIのチーフサイエンティストになる可能性は低いと考えていると述べました。 "しかし、当初、OpenAIは窮地に立たされました。 「OpenAI を始めた時期がありましたが、この進歩がどのように続くのかよくわかりませんでした」と Sutskever 氏は言います。 「しかし、私は、人々がディープラーニングに反対することはないとはっきりと信じています。 どういうわけか、研究者は障害にぶつかるたびに、半年または1年以内に解決策を見つけます。 "彼の信仰は報われました。 OpenAI の最初の GPT 大規模言語モデルは 2016 年に登場しました。 GPT-2とGPT-3が続きました。 そして、DALL-Eは、説得力のあるテキストから画像へのモデルです。 これほど良いものを作った人はいません。 リリースごとに、OpenAI は人々が可能だと考えることの水準を引き上げています。 ## 期待値を管理する 昨年11月、OpenAIは既存の技術の一部を再パッケージ化した無料のチャットボットをリリースしました。 それは業界全体のアジェンダをリセットします。当時、OpenAIは何をリリースするかを知りませんでした。 Sutskever氏は、社内の期待はこれ以上ないほど低いと言います:「正直に言うと、少し厄介です。やるべきかどうかはわかりませんが、いずれにせよ、ChatGPTを作ったときは、それがどんなに良いのかわかりませんでした」。 事実に基づいた質問をすると、間違った答えが返ってきます。 とても目立たなくなって、「なんでこの商品をやっているの?」って言われるんじゃないかな。 つまんない! '"最も魅力的なのは、その利便性だとSutskever氏は言います。 ChatGPT の背後にある大規模言語モデルは、数か月前から存在しています。 しかし、アクセスしやすいインターフェースで包み込み、無料で配布することで、何十億人もの人々がOpenAIなどが構築しているものを初めて知るようになりました。「最初の経験は魅力的でした。 初めて使ったときは、ほとんどスピリチュアルな体験だと思います。 『なんてこった、このコンピューターは自分自身を理解しているようだ』という感じです」 '"OpenAI は 2 か月足らずで 1 億人のユーザーを獲得し、その多くがこの驚くべき新しいおもちゃに目がくらんでいます。 ストレージ会社BoxのCEOであるAaron Levie氏は、Twitterでローンチ後の1週間の雰囲気を総括し、「ChatGPTはテクノロジー分野では稀有な瞬間の1つであり、将来、すべてが異なることがわかるでしょう。 "ChatGPTが愚かなことを言ったとたん、この奇跡は崩壊します。 しかし、それは問題ではありません。 可能性を垣間見るだけで十分だ、とSutskever氏は言います。 ChatGPT は人々の視野を変えました。「汎用人工知能は、機械学習の分野ではもはや汚い言葉ではありません」と彼は言います。 「これは大きな変化です。 歴史上の人々の態度は、AIは機能せず、すべてのステップが非常に困難であり、進歩のために戦わなければならないというものです。 人々が汎用人工知能を誇大宣伝すると、研究者は「何を言っているんだ? これもうまくいきません、あれもうまくいきません。 質問はたくさんあります。 しかし、ChatGPTでは、それが違うと感じ始めました。 "この変化は、ほんの1年前に起こり始めたのでしょうか? 「すべてはChatGPTのおかげです」と彼は言います。 「ChatGPT は、機械学習研究者が夢を叶えることを可能にします。」OpenAIの科学者は当初からエバンジェリストであり、ブログ投稿や講演ツアーを通じてこれらの夢を鼓舞してきました。 「私たちは今、AIがどこまで進むかについて話し合っています。人々はAGI(超知能)について話しています。 研究者だけではありません。 「各国政府はこれについて議論している」とサツケバーは述べた。 「おかしな話だ」 ## すごいこと Sutskever氏は、まだ存在しない(そして決して存在しないかもしれない)テクノロジーについて語ることは、彼が当たり前だと思っていた未来をより多くの人に認識させるので、良いことだと主張しています。「汎用人工知能を使えば、医療を自動化し、1000倍安く、1000倍良くし、多くの病気を治し、地球温暖化の問題を本当に解決するなど、驚くべきこと、信じられないようなことがたくさんできます」と彼は言います。 しかし、「なんてことだ、AI企業はこの巨大なテクノロジーをうまく管理できるのか」と心配している人もたくさんいます。 '"このように、汎用人工知能は現実世界の見込み客というよりは、願いを叶える魔神のように聞こえます。 人命救助や気候変動への取り組みにノーと言う人はほとんどいないでしょう。 しかし、存在しないテクノロジーの問題は、あなたがそれに対して何でも言うことができるということです。Sutskever氏がAGIについて語るとき、彼は正確に何を話しているのでしょうか? 「汎用人工知能は科学用語ではありません」と彼は言います。 「これは有用な閾値、基準点になるはずです」「そういう考えだ――」彼は言いかけたが、やがて止まった。 「AIは非常に賢くなったので、人間が特定のタスクをこなせるようになれば、AIもそれをこなせるようになりました。 その時点で、あなたはAGIを持っていると言えます。 "人々はそれについて話しているかもしれませんが、AGIは依然としてこの分野で最も物議を醸すアイデアの1つです。 その開発を当然のことと考える人はほとんどいません。 多くの研究者は、Sutskeverが思い描いていたようなものを見るには、大きな概念的ブレークスルーが必要だと考えています。しかし、このビジョンは最初から彼を鼓舞しました。 「私はいつもこのアイデアに触発され、やる気を起こさせられてきました」とSutskever氏は言います。 「当時はまだ汎用人工知能と呼ばれていませんでしたが、ニューラルネットワークにすべてを任せているようなものです。 私はいつも彼らができるとは思っていません。 しかし、登るには山です。 "彼は、ニューラルネットワークと脳の働きを比較しました。 どちらもデータを受信し、そのデータから信号を集約し、いくつかの単純なプロセス(ニューラルネットワークの数学、脳内の化学物質、生体電気)に基づいて伝播するか伝播しないかです。 これは非常に単純化されていますが、原則は成り立ちます。「もしあなたがそう信じているなら、もしあなたがそう信じることを自分に許しているなら、そこには多くの興味深い意味合いがあります」とSutskever氏は言います。 「主な意味は、非常に大規模な人工ニューラルネットワークがあれば、多くのことを行うはずだということです。 特に、人間の脳が何かをできるのであれば、大規模な人工ニューラルネットワークも同様のことができます。 "「それを真剣に受け止めれば、すべてがうまくいくでしょう」と彼は言いました。 「私の仕事のほとんどは、これで説明できます」頭脳の話をしている間に、SutskeverがプラットフォームXに投稿した記事についてお聞きしたい。 Sutskeverのあらすじは、格言集のように読めます:「知性を他のすべての人間の資質よりも優先すると、あなたは悪い人生を送るでしょう」。 「人生とビジネスにおける共感は過小評価されています」; 「完璧さは、完璧さの美しさの多くを台無しにしてきた」2022年2月、彼は「今日の大規模なニューラルネットワークは、わずかな意識を持っているかもしれない」と投稿しました(これに対して、GoogleのDeepMindのチーフサイエンティストであり、インペリアル・カレッジ・ロンドンの教授であり、映画「エクス・マキナ」の科学顧問であるマレー・シャナハンは次のように答えています。 同じ意味は、小さなパスタのある大きな小麦畑かもしれません。私がその話を持ち出すと、スツケヴァーは笑った。 彼はなりすましですか? 彼はそうじゃないです。 「ボルツマンの脳という概念をご存知ですか?」 彼は尋ねた。彼は、19世紀の物理学者ルートヴィヒ・ボルツマンにちなんで名付けられた量子力学的思考実験に言及しており、宇宙のランダムな熱力学的変動によって脳が現れたり消えたりすると想像されていました。「これらの言語モデルは、現在のボルツマンの頭脳に少し似ていると思います」とSutskever氏は言います。 「あなたはそれに話しかけ、しばらく話します。 そして、それが終わったら、脳は――」 彼は手で消える動作をした。 ふざけんな、さようなら、脳みそ。ニューラルネットワークがアクティブになっているとき、いわば放電しているとき、そこには何かがあるということですか? と聞いてみました。「そうかもしれない」と彼は言った。 「よくわかりませんが、反論するのは難しいでしょう。 しかし、何が起こっているのかは誰にもわかりませんよね? " ## AIですが、私たちが知っているようなものではありません 人間の知能に匹敵する機械を作ろうと奮闘する人々がいる中、スツケヴァーは私たちの知能を超える機械に備えています。 彼はこの現象をスーパー人工知能と呼んでいます。 彼らは私たちが見ることができないものを見るでしょう。 "繰り返しになりますが、それが本当に何を意味するのかを理解するのは難しいです。 人間の知性は、私たちが知性を判断する基準です。 スツケヴァーが人間よりも賢い知性とはどういう意味ですか?「私たちは、AlphaGoにおける超知能の非常に狭い例を見ています」と彼は言う。 2016年、DeepMindのボードゲームAI「Alpha Dog」は、世界最高の囲碁棋士の一人であるイ・セドルを5対4で破りました。 「人間が何千年もかけて共に発展してきた方法とは異なる方法で囲碁を打つ方法を見つけ出しました」とSutskever氏は言います。 「新しいアイデアが浮かびます」Sutskever氏は、AlphaGoの有名な37手目について言及しています。 イ・セドルとの第2戦では、AIの動きに解説者が困惑した。 彼らはAlphaGoがめちゃくちゃだと思っている。 実際、チェスの歴史の中でこれまでに見たことのない勝利の動きを演じました。 「このレベルの洞察力が、すべてをカバーしていることを想像してみてください」とSutskever氏は言います。この考え方が、Sutskeverのキャリアの中で最大の転換を成し遂げたのです。 OpenAIの科学者仲間であるJan Leike氏とともに、彼は「スーパーアライメント」と呼ばれるものに焦点を当てたチームを結成しました。 アライメントとは、AIモデルにやりたいことをやらせることを意味する専門用語です。 スーパーアライメントは、OpenAIがスーパーインテリジェンスに適用するアライメント用語です。目標は、この未来的なテクノロジーを構築および制御するための一連のフェイルセーフ手順を考え出すことです。 OpenAIは、膨大なコンピューティングリソースの5分の1を問題の解決に割り当て、4年以内に解決すると述べています。「既存のアライメント手法は、人間よりも賢いモデルでは機能しません。なぜなら、基本的には人間がAIシステムの動作を確実に評価できると想定しているからです」と、ライク氏。 「AIシステムがより強力になるにつれて、AIはより困難なタスクを引き受けるようになるでしょう。」 これは、人間がそれらを評価するのが難しくなるという考えです。 「Sutskever氏とスーパー・アライメント・チームを結成するにあたり、私たちはこれらの将来のアライメントの課題に対処することに着手しました」と彼は述べています。「大規模言語モデルの潜在的な機会だけでなく、そのリスクと欠点にも焦点を当てることが重要です」と、GoogleのチーフサイエンティストであるDean氏は述べています。 "同社は7月にこのプロジェクトを鳴り物入りで発表した。 しかし、一部の人にとっては、それはファンタジーです。 OpenAIのTwitterへの投稿は、MozillaでAIの説明責任に取り組むAbeba Birhane氏など、ビッグテックを批判する著名な人々から軽蔑の声が上がった。 ティムニット・ゲブル、Distributed AI Instituteの共同創設者。 マーガレット・ミッチェル(Margaret Mitchell)氏(AI企業Hugging Faceのチーフ・エシックス・サイエンティスト) 確かに、これらはおなじみの反対意見です。 しかし、OpenAIがリードしていると考える人もいれば、OpenAIがギリギリのところにいると考える人もいることを強く思い起こさせます。しかし、Sutskever氏にとって、スーパーアライメントは避けられない次のステップです。 「これは未解決の問題です」と彼は言った。 彼は、彼のような機械学習の中核的な研究者がこの問題に取り組んでいると信じています。 「私は自分の利益のためにやっている」と彼は言った。 「誰もが構築した超知能が手に負えなくなることがないことが重要であることは明らかです」スーパーアライメントの作業は始まったばかりです。 Sutskever氏によると、これには研究機関の広範な変更が必要になります。 しかし、彼が念頭に置いていたのは、親が子供を扱うように人間を扱う機械という、彼が設計したい安全装置のモデルでした。 「私の意見では、それは金本位制です」と彼は言いました。 「人々は子どものことを本当に気にかけています。それは一般的に真実です」 「不正なAIの課題を克服したら、次はどうしますか? 人工知能が賢くなった世界で、まだ人間が入る余地はあるのでしょうか? とおっしゃっていました。「今日の基準ではクレイジーかもしれないが、明日の基準ではそれほどクレイジーではないかもしれないが、1つの可能性は、多くの人々がAIの一部になることを選択するだろうということだ」 Sutskever氏は、これは人間が時流に追いつこうとする手段になるかもしれないと言います。 「最初のうちは、最も勇敢で冒険的な人だけがそれをやろうとしていました。 もしかしたら、他の企業も追随するかもしれません。 またはそうではありません。 "参考資料:
OpenAIのチーフサイエンティストへのインタビュー:汎用人工知能が登場し、人間は機械と融合することを選択するようになる
イリヤ・スツケヴァーは頭を垂れ、深く考え込んだ。 彼はテーブルの上で腕と指を広げ、まるでコンサートピアニストが最初の音を弾こうとしているように。 私たちは静かに座った。
私はサンフランシスコのミッション・ディストリクトの目立たない通りに来て、OpenAIの共同創業者でチーフサイエンティストのSutskever氏と何の変哲もないオフィスビルで会い、彼が推進しているこの世界を変えるテクノロジーの次のステップについて聞いた。 また、彼の次のステップ、特に、次世代のフラッグシップであるジェネレーティブモデルの構築に注力しなくなった理由についても知りたい。
Sutskever氏の新たな優先事項は、次世代のGPTや画像作成モデルDALL-Eを構築することではなく、AIが制御不能に陥るのを止める方法を見つけ出すことだと語ってくれた。
Sutskeverは他にもたくさんのことを教えてくれました。 彼は、ChatGPTが意識的かもしれないと考えています。 彼は、OpenAIや他の企業が競い合って生み出しているテクノロジーの真の力を世界が認識する必要があると考えています。 彼は、いつの日か一部の人間が機械と融合することを選択するだろうと考えています。
Sutskeverが言うことの多くはクレイジーです。 しかし、1、2年前に聞こえたほどクレイジーではありません。 彼自身が私に言ったように、ChatGPTは、何が起こるかについての多くの人々の期待を、「決して起こらない」から「あなたが思っているよりも早く起こる」に書き換えました。
一般的な人工知能AGI(彼は人間と同じくらい賢い機械を指しています)の開発を予測する前に、彼は次のように述べています:「まるで次のiPhoneに賭けるようなもののように、すべてがどこに向かっているのかを議論することが重要です」。 ある時点で、私たちは本当にAGIを手に入れるでしょう。 OpenAIによって構築されているのかもしれませんし、他の何かかもしれません。 "
昨年11月にChatGPTが突然、予期せぬ形でリリースされて以来、OpenAIをめぐる議論は、誇大広告で知られる業界でさえ、憂慮すべきものとなっています。 この800億ドル規模のスタートアップについて議論するのに飽きることはないでしょう。 世界のリーダーは、OpenAIとのプライベートまたはパブリックな会話を求めています(そして獲得しています)。 OpenAIの製品名は、カジュアルな会話の中でポップアップします。
OpenAI の CEO である Sam Altman 氏は、この夏、1 週間のアウトリーチ旅行に出かけ、政治家と熱心に交流し、世界中の満員の聴衆を前に講演を行いました。 しかし、スツケヴァーは著名人ではなく、インタビューにもあまり応じない。
彼は冷静かつ整然と話します。 自分が何を言いたいのか、どう表現するかを考えるとき、長い時間立ち止まり、パズルのように何度も何度も考えてしまう。 彼は自分のことを話すことに興味がないようです。 「私はとても質素な生活を送っていました。 仕事に行って、家に帰る。 それ以外はあまり何もしませんでした。 人々は多くの社交イベントに行くことができ、多くのコンベンションに行くことができます。 私は参加したくない。 "
しかし、AIについて、そして彼が考える画期的なリスクとリターンについて話すと、見通しは広がります。 "
ベター、ベター、ベター
OpenAIがいなくても、SutskeverはAIの歴史に名を残すでしょう。 彼はイスラエル系カナダ人で、ソビエト連邦で生まれましたが、5歳からエルサレムで育ちました(彼はまだロシア語、ヘブライ語、英語を話します)。 その後、カナダに渡り、トロント大学でAIのパイオニアであるジェフリー・ヒントン氏に師事したが、彼は今年初め、スツケバー氏が発明に貢献したAI技術について懸念を表明した。
ヒントンは後に、ニューラルネットワークに関する研究でヤン・ルカンとヨシュア・ベンジオとチューリング賞を分け合った。 しかし、2000年代初頭にSutskever氏が加わったとき、ほとんどのAI研究者はニューラルネットワークは行き止まりだと考えていました。 ヒントンは例外です。 彼はすでに、一度に1文字の短いテキスト文字列を生成できるマイクロモデルをトレーニングしており、「そこから生成AIが始まる」とSutskever氏は言います。 それは本当にクールです - ただ素晴らしいではありません。 "
Sutskeverは、脳がどのように学習し、機械の中でプロセスを再現するか、少なくとも模倣する方法など、脳の構造に魅了されています。 ヒントンと同様に、彼もニューラルネットワークの可能性と、ヒントンがニューラルネットワークのトレーニングに使用した試行錯誤の手法、つまりディープラーニングに着目しました。 「ディープラーニングはどんどん良くなっています」と、サツケバー氏。
2012年、Sutskever氏、Hinton氏、そしてヒントン大学の大学院生であるAlex Krizhevsky氏は、AlexNetと呼ばれるニューラルネットワークを構築し、当時の他のどのソフトウェアよりもはるかに優れた写真の写体を認識するように訓練しました。 これは、深層学習のビッグバンの瞬間です。
何年にもわたる失敗の後、彼らはニューラルネットワークがパターン認識に驚くほど効果的であることを証明しました。 必要なのは、ほとんどの研究者がこれまでに見たことのないほどのデータ(この場合は、プリンストン大学の研究者であるFeifei Li氏が2006年から構築しているImageNetデータセットの100万枚の画像)と、目もくらむような量のコンピューターパワーだけです。
コンピューティングの大きな変化は、Nvidiaによって作られた新しいGPUチップから来ています。 GPUは、動きの速いビデオゲームのビジュアルを電光石火の速さで画面に投影できるように設計されています。 しかし、GPU が得意とする計算 (多数のデジタル グリッドを乗算する) は、ニューラル ネットワークのトレーニングに必要な計算によく似ています。
エヌビディアは今や1兆ドル企業です。 当時は、ニッチな分野で新しいハードウェアのアプリケーションを見つけることに必死でした。 Nvidia の CEO である Jensen Huang 氏は、「新しいテクノロジーを発明するときは、クレイジーなアイデアを受け入れることができなければなりません。 私の考え方は、常に何か突飛なものを探しており、ニューラルネットワークはコンピュータサイエンスの考え方を変えようとしていましたが、これは非常に突飛なアイデアでした。 "
Huang 氏によると、トロントのチームが AlexNet に取り組んでいたとき、Nvidia は試してみるために GPU を送ってきたという。 しかし、彼らはGTX 580と呼ばれる最新バージョンのチップを欲しがっていましたが、これは店頭ですぐに売り切れました。 フアンによると、サツケバーはトロントからニューヨークまで車で国境を越え、購入にこぎつけたという。 「店の角を曲がったところに人々が列を作って買っています。 彼がどうやってそれをしたのかはわかりませんが、それぞれ1つしか買わないと確信しています。 1人のプレイヤーにつき1つのGPUしか使えないという非常に厳しいポリシーがありますが、彼はどうやらトランクを埋めているようです。 GTX 580が詰まったこのスーツケースは、世界を変えました。 "
それは素晴らしい話ですが、真実ではないかもしれません。 Sutskever氏は、最初のGPUをオンラインで購入したと主張しているからです。 しかし、この種の謎は、この活気ある業界では一般的です。 スツケヴァー氏自身はもっと謙虚で、「少しでも進歩することができれば、成功だと思う」と述べている。 当時はまだコンピュータが弱かったため、現実世界への影響は遠いものに感じられました。 "
AlexNetの成功後、Googleがドアをノックしました。 HintonのスピンオフであるDNNresearchを買収し、Sutskeverを雇った。 Sutskever氏はGoogleで、ディープラーニングのパターン認識機能を単語、文、画像などのデータシーケンスに適用できることを示しました。 Sutskever氏の元同僚で、現在はGoogleのチーフサイエンティストであるJeff Dean氏は、「Sutskever氏は常に言語に興味を持っており、私たちは長年にわたって素晴らしい議論をしてきました。 彼は物事がどこに向かっているのかについて強い本能を持っています。 "
しかし、Sutskever氏はGoogleに長く留まることはなかった。 2014年、OpenAIの共同創業者に採用される。 10億ドル(アルトマン、イーロンマスク、ピーター・ティール、マイクロソフト、Y Combinatorなどから)と多くのシリコンバレーの精神により、新会社は最初から汎用人工知能の開発を目指していましたが、当時はその見通しを真剣に受け止めた人はほとんどいませんでした。
Sutskeverが加わったことで、この威圧的な態度は理解できます。 それまでは、ニューラルネットワークの学習からどんどん成果を得ていました。 Y Combinator Investmentsのマネージングディレクター、ダルトン・コールドウェル氏は、彼の評判が先行し、それが彼を大ヒットさせたと語った。
「アルトマンがサツケヴァーを世界で最も尊敬される研究者の一人と呼んでいたのを覚えています」とコールドウェルは言う。 彼は、Sutskeverが多くの優秀なAI人材を惹きつけると信じています。 また、世界トップクラスのAI専門家の1人であるヨシュア・ベンジオ氏は、スツケバー氏よりも優れた候補者がOpenAIのチーフサイエンティストになる可能性は低いと考えていると述べました。 "
しかし、当初、OpenAIは窮地に立たされました。 「OpenAI を始めた時期がありましたが、この進歩がどのように続くのかよくわかりませんでした」と Sutskever 氏は言います。 「しかし、私は、人々がディープラーニングに反対することはないとはっきりと信じています。 どういうわけか、研究者は障害にぶつかるたびに、半年または1年以内に解決策を見つけます。 "
彼の信仰は報われました。 OpenAI の最初の GPT 大規模言語モデルは 2016 年に登場しました。 GPT-2とGPT-3が続きました。 そして、DALL-Eは、説得力のあるテキストから画像へのモデルです。 これほど良いものを作った人はいません。 リリースごとに、OpenAI は人々が可能だと考えることの水準を引き上げています。
期待値を管理する
昨年11月、OpenAIは既存の技術の一部を再パッケージ化した無料のチャットボットをリリースしました。 それは業界全体のアジェンダをリセットします。
当時、OpenAIは何をリリースするかを知りませんでした。 Sutskever氏は、社内の期待はこれ以上ないほど低いと言います:「正直に言うと、少し厄介です。やるべきかどうかはわかりませんが、いずれにせよ、ChatGPTを作ったときは、それがどんなに良いのかわかりませんでした」。 事実に基づいた質問をすると、間違った答えが返ってきます。 とても目立たなくなって、「なんでこの商品をやっているの?」って言われるんじゃないかな。 つまんない! '"
最も魅力的なのは、その利便性だとSutskever氏は言います。 ChatGPT の背後にある大規模言語モデルは、数か月前から存在しています。 しかし、アクセスしやすいインターフェースで包み込み、無料で配布することで、何十億人もの人々がOpenAIなどが構築しているものを初めて知るようになりました。
「最初の経験は魅力的でした。 初めて使ったときは、ほとんどスピリチュアルな体験だと思います。 『なんてこった、このコンピューターは自分自身を理解しているようだ』という感じです」 '"
OpenAI は 2 か月足らずで 1 億人のユーザーを獲得し、その多くがこの驚くべき新しいおもちゃに目がくらんでいます。 ストレージ会社BoxのCEOであるAaron Levie氏は、Twitterでローンチ後の1週間の雰囲気を総括し、「ChatGPTはテクノロジー分野では稀有な瞬間の1つであり、将来、すべてが異なることがわかるでしょう。 "
ChatGPTが愚かなことを言ったとたん、この奇跡は崩壊します。 しかし、それは問題ではありません。 可能性を垣間見るだけで十分だ、とSutskever氏は言います。 ChatGPT は人々の視野を変えました。
「汎用人工知能は、機械学習の分野ではもはや汚い言葉ではありません」と彼は言います。 「これは大きな変化です。 歴史上の人々の態度は、AIは機能せず、すべてのステップが非常に困難であり、進歩のために戦わなければならないというものです。 人々が汎用人工知能を誇大宣伝すると、研究者は「何を言っているんだ? これもうまくいきません、あれもうまくいきません。 質問はたくさんあります。 しかし、ChatGPTでは、それが違うと感じ始めました。 "
この変化は、ほんの1年前に起こり始めたのでしょうか? 「すべてはChatGPTのおかげです」と彼は言います。 「ChatGPT は、機械学習研究者が夢を叶えることを可能にします。」
OpenAIの科学者は当初からエバンジェリストであり、ブログ投稿や講演ツアーを通じてこれらの夢を鼓舞してきました。 「私たちは今、AIがどこまで進むかについて話し合っています。人々はAGI(超知能)について話しています。 研究者だけではありません。 「各国政府はこれについて議論している」とサツケバーは述べた。 「おかしな話だ」
すごいこと
Sutskever氏は、まだ存在しない(そして決して存在しないかもしれない)テクノロジーについて語ることは、彼が当たり前だと思っていた未来をより多くの人に認識させるので、良いことだと主張しています。
「汎用人工知能を使えば、医療を自動化し、1000倍安く、1000倍良くし、多くの病気を治し、地球温暖化の問題を本当に解決するなど、驚くべきこと、信じられないようなことがたくさんできます」と彼は言います。 しかし、「なんてことだ、AI企業はこの巨大なテクノロジーをうまく管理できるのか」と心配している人もたくさんいます。 '"
このように、汎用人工知能は現実世界の見込み客というよりは、願いを叶える魔神のように聞こえます。 人命救助や気候変動への取り組みにノーと言う人はほとんどいないでしょう。 しかし、存在しないテクノロジーの問題は、あなたがそれに対して何でも言うことができるということです。
Sutskever氏がAGIについて語るとき、彼は正確に何を話しているのでしょうか? 「汎用人工知能は科学用語ではありません」と彼は言います。 「これは有用な閾値、基準点になるはずです」
「そういう考えだ――」彼は言いかけたが、やがて止まった。 「AIは非常に賢くなったので、人間が特定のタスクをこなせるようになれば、AIもそれをこなせるようになりました。 その時点で、あなたはAGIを持っていると言えます。 "
人々はそれについて話しているかもしれませんが、AGIは依然としてこの分野で最も物議を醸すアイデアの1つです。 その開発を当然のことと考える人はほとんどいません。 多くの研究者は、Sutskeverが思い描いていたようなものを見るには、大きな概念的ブレークスルーが必要だと考えています。
しかし、このビジョンは最初から彼を鼓舞しました。 「私はいつもこのアイデアに触発され、やる気を起こさせられてきました」とSutskever氏は言います。 「当時はまだ汎用人工知能と呼ばれていませんでしたが、ニューラルネットワークにすべてを任せているようなものです。 私はいつも彼らができるとは思っていません。 しかし、登るには山です。 "
彼は、ニューラルネットワークと脳の働きを比較しました。 どちらもデータを受信し、そのデータから信号を集約し、いくつかの単純なプロセス(ニューラルネットワークの数学、脳内の化学物質、生体電気)に基づいて伝播するか伝播しないかです。 これは非常に単純化されていますが、原則は成り立ちます。
「もしあなたがそう信じているなら、もしあなたがそう信じることを自分に許しているなら、そこには多くの興味深い意味合いがあります」とSutskever氏は言います。 「主な意味は、非常に大規模な人工ニューラルネットワークがあれば、多くのことを行うはずだということです。 特に、人間の脳が何かをできるのであれば、大規模な人工ニューラルネットワークも同様のことができます。 "
「それを真剣に受け止めれば、すべてがうまくいくでしょう」と彼は言いました。 「私の仕事のほとんどは、これで説明できます」
頭脳の話をしている間に、SutskeverがプラットフォームXに投稿した記事についてお聞きしたい。 Sutskeverのあらすじは、格言集のように読めます:「知性を他のすべての人間の資質よりも優先すると、あなたは悪い人生を送るでしょう」。 「人生とビジネスにおける共感は過小評価されています」; 「完璧さは、完璧さの美しさの多くを台無しにしてきた」
2022年2月、彼は「今日の大規模なニューラルネットワークは、わずかな意識を持っているかもしれない」と投稿しました(これに対して、GoogleのDeepMindのチーフサイエンティストであり、インペリアル・カレッジ・ロンドンの教授であり、映画「エクス・マキナ」の科学顧問であるマレー・シャナハンは次のように答えています。 同じ意味は、小さなパスタのある大きな小麦畑かもしれません。
私がその話を持ち出すと、スツケヴァーは笑った。 彼はなりすましですか? 彼はそうじゃないです。 「ボルツマンの脳という概念をご存知ですか?」 彼は尋ねた。
彼は、19世紀の物理学者ルートヴィヒ・ボルツマンにちなんで名付けられた量子力学的思考実験に言及しており、宇宙のランダムな熱力学的変動によって脳が現れたり消えたりすると想像されていました。
「これらの言語モデルは、現在のボルツマンの頭脳に少し似ていると思います」とSutskever氏は言います。 「あなたはそれに話しかけ、しばらく話します。 そして、それが終わったら、脳は――」 彼は手で消える動作をした。 ふざけんな、さようなら、脳みそ。
ニューラルネットワークがアクティブになっているとき、いわば放電しているとき、そこには何かがあるということですか? と聞いてみました。
「そうかもしれない」と彼は言った。 「よくわかりませんが、反論するのは難しいでしょう。 しかし、何が起こっているのかは誰にもわかりませんよね? "
AIですが、私たちが知っているようなものではありません
人間の知能に匹敵する機械を作ろうと奮闘する人々がいる中、スツケヴァーは私たちの知能を超える機械に備えています。 彼はこの現象をスーパー人工知能と呼んでいます。 彼らは私たちが見ることができないものを見るでしょう。 "
繰り返しになりますが、それが本当に何を意味するのかを理解するのは難しいです。 人間の知性は、私たちが知性を判断する基準です。 スツケヴァーが人間よりも賢い知性とはどういう意味ですか?
「私たちは、AlphaGoにおける超知能の非常に狭い例を見ています」と彼は言う。 2016年、DeepMindのボードゲームAI「Alpha Dog」は、世界最高の囲碁棋士の一人であるイ・セドルを5対4で破りました。 「人間が何千年もかけて共に発展してきた方法とは異なる方法で囲碁を打つ方法を見つけ出しました」とSutskever氏は言います。 「新しいアイデアが浮かびます」
Sutskever氏は、AlphaGoの有名な37手目について言及しています。 イ・セドルとの第2戦では、AIの動きに解説者が困惑した。 彼らはAlphaGoがめちゃくちゃだと思っている。 実際、チェスの歴史の中でこれまでに見たことのない勝利の動きを演じました。 「このレベルの洞察力が、すべてをカバーしていることを想像してみてください」とSutskever氏は言います。
この考え方が、Sutskeverのキャリアの中で最大の転換を成し遂げたのです。 OpenAIの科学者仲間であるJan Leike氏とともに、彼は「スーパーアライメント」と呼ばれるものに焦点を当てたチームを結成しました。 アライメントとは、AIモデルにやりたいことをやらせることを意味する専門用語です。 スーパーアライメントは、OpenAIがスーパーインテリジェンスに適用するアライメント用語です。
目標は、この未来的なテクノロジーを構築および制御するための一連のフェイルセーフ手順を考え出すことです。 OpenAIは、膨大なコンピューティングリソースの5分の1を問題の解決に割り当て、4年以内に解決すると述べています。
「既存のアライメント手法は、人間よりも賢いモデルでは機能しません。なぜなら、基本的には人間がAIシステムの動作を確実に評価できると想定しているからです」と、ライク氏。 「AIシステムがより強力になるにつれて、AIはより困難なタスクを引き受けるようになるでしょう。」 これは、人間がそれらを評価するのが難しくなるという考えです。 「Sutskever氏とスーパー・アライメント・チームを結成するにあたり、私たちはこれらの将来のアライメントの課題に対処することに着手しました」と彼は述べています。
「大規模言語モデルの潜在的な機会だけでなく、そのリスクと欠点にも焦点を当てることが重要です」と、GoogleのチーフサイエンティストであるDean氏は述べています。 "
同社は7月にこのプロジェクトを鳴り物入りで発表した。 しかし、一部の人にとっては、それはファンタジーです。 OpenAIのTwitterへの投稿は、MozillaでAIの説明責任に取り組むAbeba Birhane氏など、ビッグテックを批判する著名な人々から軽蔑の声が上がった。 ティムニット・ゲブル、Distributed AI Instituteの共同創設者。 マーガレット・ミッチェル(Margaret Mitchell)氏(AI企業Hugging Faceのチーフ・エシックス・サイエンティスト) 確かに、これらはおなじみの反対意見です。 しかし、OpenAIがリードしていると考える人もいれば、OpenAIがギリギリのところにいると考える人もいることを強く思い起こさせます。
しかし、Sutskever氏にとって、スーパーアライメントは避けられない次のステップです。 「これは未解決の問題です」と彼は言った。 彼は、彼のような機械学習の中核的な研究者がこの問題に取り組んでいると信じています。 「私は自分の利益のためにやっている」と彼は言った。 「誰もが構築した超知能が手に負えなくなることがないことが重要であることは明らかです」
スーパーアライメントの作業は始まったばかりです。 Sutskever氏によると、これには研究機関の広範な変更が必要になります。 しかし、彼が念頭に置いていたのは、親が子供を扱うように人間を扱う機械という、彼が設計したい安全装置のモデルでした。 「私の意見では、それは金本位制です」と彼は言いました。 「人々は子どものことを本当に気にかけています。それは一般的に真実です」
「不正なAIの課題を克服したら、次はどうしますか? 人工知能が賢くなった世界で、まだ人間が入る余地はあるのでしょうか? とおっしゃっていました。
「今日の基準ではクレイジーかもしれないが、明日の基準ではそれほどクレイジーではないかもしれないが、1つの可能性は、多くの人々がAIの一部になることを選択するだろうということだ」 Sutskever氏は、これは人間が時流に追いつこうとする手段になるかもしれないと言います。 「最初のうちは、最も勇敢で冒険的な人だけがそれをやろうとしていました。 もしかしたら、他の企業も追随するかもしれません。 またはそうではありません。 "
参考資料: