出典: Geek Park著者: 連蘭 画像ソース: Unbounded AIによって生成近日公開予定のハリウッドSF映画「AIの創始者」では、人類に奉仕するはずの人工知能がロサンゼルスで核爆弾を爆発させます。映画以上にSF的なのは、現実には、AI企業がそのようなシナリオが実際に現実世界に現れるのではないかと心配し始めていることです。**最近、OpenAIは、AIシステムのセキュリティに対する懸念から、核の脅威を含む最先端のAIが直面する可能性のある「壊滅的なリスク」に対処するための専門チームを設立していると述べました。 **実際、CEOのサム・アルトマン氏は、AIが人類にもたらす「絶滅」の脅威を以前から懸念しており、米国議会との協議を含め、これまでも何度かAIの規制強化を求めてきました。 しかし、メタサイエンティストのヤン・ルカン氏を含む科学者グループは、AIの規制について異なる見方をしており、AIの能力はまだ限られており、時期尚早な規制は大企業に利益をもたらすだけでなく、イノベーションを阻害すると主張しています。これは、最先端のAI規制をめぐる業界の意見の相違が続いていることを浮き彫りにしています。 時期尚早な規制は技術開発を制約する可能性があるが、規制の欠如はリスクに対処することを困難にする。 AIを効率的かつ安全に開発するために、テクノロジーと予防・規制のバランスをどのように取るかは、業界では依然として難しい問題です。 ## **01 AI、フロンティア、デンジャー** 最近、OpenAIは最新情報の中で、AIシステムのセキュリティに対する懸念から、サイバーセキュリティの問題や化学、核、生物学的脅威などのいわゆる「壊滅的なリスク」を防ぐための「最先端モデル」**の開発を追跡、評価、予測するための新しいチーム「Preparedness」を結成すると発表しました。 ** 画像出典:OpenAIの公式サイトチームを率いるのは、現在MIT Deployable Machine Learning Centerのディレクターを務めているAleksander Madry氏です。さらに、このチームは、AIモデルの評価および監視ツールを構築するためのOpenAIのアプローチ、同社のリスク軽減アクション、およびモデル開発プロセス全体を監督するガバナンス構造を詳述する「リスク情報に基づいた開発ポリシー」の策定と維持を任務としています。 このポリシーは、AI セキュリティの分野における OpenAI の取り組みを補完し、デプロイ前後のセキュリティと一貫性を維持することを目的としています。OpenAIは、最先端のAIモデルで起こりうる壊滅的なリスクを管理するには、次の重要な質問に答える必要があると提案しています。最先端のAIモデルが悪用される危険性は? **最先端のAIモデルの危険性を監視、評価、予測、防止するための堅牢なフレームワークを確立するにはどうすればよいでしょうか? **最先端のAIモデルが侵害された場合、悪意のあるアクターはそれらをどのように悪用する可能性がありますか? **アップデートで、OpenAIは次のように書いています。 現在の最先端モデルを凌駕する最先端のAIモデルは、全人類に利益をもたらす可能性を秘めています... しかし、リスクはますます深刻化しています」**近年、OpenAIはAIのセキュリティを継続的に強調し、企業レベル、世論レベル、さらには政治レベルで一連の行動を実行してきました。 **これに先立ち、OpenAIは7月7日、OpenAIの共同創業者兼チーフサイエンティストのIlya Sutskever氏とAlignmentの責任者であるJan Leike氏が共同で率いる「スーパーAI」を誘導・制御する方法を模索する新しいチームの結成を発表しました。Sutskever氏とLeike氏は、10年以内に人間の知能を超えたAIが出現すると予測しており、そのようなAIは必ずしも良いものではないため、制御や制限の方法を検討する必要があると述べています。当時の報道によると、チームは最優先事項を与えられ、同社のコンピューティングリソースの20%によってサポートされており、彼らの目標は、今後4年以内にスーパー「スーパーAI」を制御するという中核的な技術的課題を解決することでした。「Ready」チームの発足に合わせて、Open AIは、AIがどのように悪用され、現実の世界で害を及ぼす可能性があるかについて、部外者がアイデアを思いつくための課題も開催し、上位10人の応募者には25,000ドルの賞金と「準備完了」の仕事が与えられます。 ## **02 「AIが人類絶滅につながるかもしれない」懸念** OpenAIのCEOであるサム・アルトマンは、AIが人類の絶滅につながる可能性があることを懸念しています。5月に開催されたAIをテーマにした議会公聴会で、アルトマン氏は、AIは規制される必要があり、スーパーAIに対する厳格な規制基準がなければ、今後20年間でさらなる危険が生じるだろうと述べた。5月末、アルトマンはグーグル傘下のディープマインド、アンソロピックの最高経営責任者(CEO)、そして多くの著名なAI研究者と短い声明に署名し、「パンデミックや核戦争の場合と同様に、AIが引き起こす絶滅のリスクを軽減することは世界的な優先事項の1つであるべきだ」と述べた。6月に開催されたSan Francisco Tech Summitで、Sam Altman氏は、AI技術に関して「企業を信用すべきではないし、もちろん一人の人間を信用すべきではない」と述べ、技術そのもの、その利点、アクセス、ガバナンスは全人類のものであると主張した。しかし、OpenAIのリーダーシップを守るためだけにアルトマンが「規制を求めている」と非難する人々(イーロンマスクに代表される)もいます。 サム・アルトマンは当時、「私たちは、特定の高い能力の閾値を超える大企業やプロプライエタリなモデルに対する規制を強化し、小規模なスタートアップやオープンソースモデルに対する規制を減らすべきだと考えています」と答えました。 テクノロジーを過剰に規制しようとする国々が直面している問題を目の当たりにしてきましたが、それは私たちが予想していたものではありませんでした」「人々は、現在あるどのモデルよりも遥かに大きいモデルをトレーニングしていますが、特定の能力のしきい値を超えた場合は、外部監査やセキュリティテストとともに、認証プロセスが必要だと思います」と彼は付け加えました。 さらに、そのようなモデルは政府に報告する必要があり、政府の精査を受けるべきである」と述べた。アルトマン氏の見解に反して、10月19日、メタサイエンティストのヤン・ルカン氏は、フィナンシャル・タイムズ紙とのインタビューで、AIの時期尚早な規制に反対を表明した。Yann LeCunは、全米科学アカデミー、全米工学アカデミー、フランス科学アカデミーの会員であり、畳み込みネットワーク、畳み込みニューラルネットワーク(CNN)を使用した光学式文字認識とコンピュータービジョンの研究でも知られています。2018年、ヤン・ルカンは、「人工知能のゴッドファーザー」や「ディープラーニングのゴッドファーザー」と呼ばれることが多いヨシュア・ベンジオ氏やジェフリー・ヒントン氏とともに、チューリング賞(「コンピューティングのノーベル賞」と呼ばれることが多い)を受賞しました。インタビューの中で、ヤン・ルカンはAI規制全般についてより否定的な見方をしており、現在のAIモデルの規制は、1925年(ジェット機が発明される前)のジェット機を規制するようなものであり、AIの時期尚早な規制は大手ハイテク企業の支配を強化し、競争を抑圧するだけだと主張しています。「AIの研究開発を規制することは、信じられないほど逆効果です」とYann LeCun氏は述べ、AIを規制する必要性は、AIを安全に開発するには自分たちだけが信頼できると信じている一部の大手テクノロジー企業の「傲慢さ」や「優越性」に起因しており、「AIセキュリティを装って規制したい」と付け加えました。「しかし、実際のところ、猫の学習能力に匹敵するシステムを設計できるようになるまでは、AIがもたらすリスクについて議論するのは時期尚早です」とYann LeCun氏は述べ、現世代のAIモデルは、一部の研究者が主張するほど強力ではないと付け加え、「彼らは世界の仕組みを理解しておらず、計画を立てる能力も、実際の推論を行う能力もありません」と付け加えています。同氏の意見では、OpenAIとGoogleのDeepMindは問題の複雑さについて「過度に楽観的」であり、実際、AIが人間の知能のレベルに達するまでには、いくつかの「概念的なブレークスルー」が必要になるだろう。 しかし、その場合でも、法律が人間の行動を規制するために使用できるようになったのと同じように、AIはシステムに「道徳的資質」をコード化することで制御できます。
AIが人間に核爆弾を落とすことを懸念、OpenAIは本気
出典: Geek Park
著者: 連蘭
近日公開予定のハリウッドSF映画「AIの創始者」では、人類に奉仕するはずの人工知能がロサンゼルスで核爆弾を爆発させます。
映画以上にSF的なのは、現実には、AI企業がそのようなシナリオが実際に現実世界に現れるのではないかと心配し始めていることです。
**最近、OpenAIは、AIシステムのセキュリティに対する懸念から、核の脅威を含む最先端のAIが直面する可能性のある「壊滅的なリスク」に対処するための専門チームを設立していると述べました。 **
実際、CEOのサム・アルトマン氏は、AIが人類にもたらす「絶滅」の脅威を以前から懸念しており、米国議会との協議を含め、これまでも何度かAIの規制強化を求めてきました。 しかし、メタサイエンティストのヤン・ルカン氏を含む科学者グループは、AIの規制について異なる見方をしており、AIの能力はまだ限られており、時期尚早な規制は大企業に利益をもたらすだけでなく、イノベーションを阻害すると主張しています。
これは、最先端のAI規制をめぐる業界の意見の相違が続いていることを浮き彫りにしています。 時期尚早な規制は技術開発を制約する可能性があるが、規制の欠如はリスクに対処することを困難にする。 AIを効率的かつ安全に開発するために、テクノロジーと予防・規制のバランスをどのように取るかは、業界では依然として難しい問題です。
01 AI、フロンティア、デンジャー
最近、OpenAIは最新情報の中で、AIシステムのセキュリティに対する懸念から、サイバーセキュリティの問題や化学、核、生物学的脅威などのいわゆる「壊滅的なリスク」を防ぐための「最先端モデル」**の開発を追跡、評価、予測するための新しいチーム「Preparedness」を結成すると発表しました。 **
チームを率いるのは、現在MIT Deployable Machine Learning Centerのディレクターを務めているAleksander Madry氏です。
さらに、このチームは、AIモデルの評価および監視ツールを構築するためのOpenAIのアプローチ、同社のリスク軽減アクション、およびモデル開発プロセス全体を監督するガバナンス構造を詳述する「リスク情報に基づいた開発ポリシー」の策定と維持を任務としています。 このポリシーは、AI セキュリティの分野における OpenAI の取り組みを補完し、デプロイ前後のセキュリティと一貫性を維持することを目的としています。
OpenAIは、最先端のAIモデルで起こりうる壊滅的なリスクを管理するには、次の重要な質問に答える必要があると提案しています。
最先端のAIモデルが悪用される危険性は? ** 最先端のAIモデルの危険性を監視、評価、予測、防止するための堅牢なフレームワークを確立するにはどうすればよいでしょうか? ** 最先端のAIモデルが侵害された場合、悪意のあるアクターはそれらをどのように悪用する可能性がありますか? **
アップデートで、OpenAIは次のように書いています。 現在の最先端モデルを凌駕する最先端のAIモデルは、全人類に利益をもたらす可能性を秘めています... しかし、リスクはますます深刻化しています」
**近年、OpenAIはAIのセキュリティを継続的に強調し、企業レベル、世論レベル、さらには政治レベルで一連の行動を実行してきました。 **
これに先立ち、OpenAIは7月7日、OpenAIの共同創業者兼チーフサイエンティストのIlya Sutskever氏とAlignmentの責任者であるJan Leike氏が共同で率いる「スーパーAI」を誘導・制御する方法を模索する新しいチームの結成を発表しました。
Sutskever氏とLeike氏は、10年以内に人間の知能を超えたAIが出現すると予測しており、そのようなAIは必ずしも良いものではないため、制御や制限の方法を検討する必要があると述べています。
当時の報道によると、チームは最優先事項を与えられ、同社のコンピューティングリソースの20%によってサポートされており、彼らの目標は、今後4年以内にスーパー「スーパーAI」を制御するという中核的な技術的課題を解決することでした。
「Ready」チームの発足に合わせて、Open AIは、AIがどのように悪用され、現実の世界で害を及ぼす可能性があるかについて、部外者がアイデアを思いつくための課題も開催し、上位10人の応募者には25,000ドルの賞金と「準備完了」の仕事が与えられます。
02 「AIが人類絶滅につながるかもしれない」懸念
OpenAIのCEOであるサム・アルトマンは、AIが人類の絶滅につながる可能性があることを懸念しています。
5月に開催されたAIをテーマにした議会公聴会で、アルトマン氏は、AIは規制される必要があり、スーパーAIに対する厳格な規制基準がなければ、今後20年間でさらなる危険が生じるだろうと述べた。
5月末、アルトマンはグーグル傘下のディープマインド、アンソロピックの最高経営責任者(CEO)、そして多くの著名なAI研究者と短い声明に署名し、「パンデミックや核戦争の場合と同様に、AIが引き起こす絶滅のリスクを軽減することは世界的な優先事項の1つであるべきだ」と述べた。
6月に開催されたSan Francisco Tech Summitで、Sam Altman氏は、AI技術に関して「企業を信用すべきではないし、もちろん一人の人間を信用すべきではない」と述べ、技術そのもの、その利点、アクセス、ガバナンスは全人類のものであると主張した。
しかし、OpenAIのリーダーシップを守るためだけにアルトマンが「規制を求めている」と非難する人々(イーロンマスクに代表される)もいます。 サム・アルトマンは当時、「私たちは、特定の高い能力の閾値を超える大企業やプロプライエタリなモデルに対する規制を強化し、小規模なスタートアップやオープンソースモデルに対する規制を減らすべきだと考えています」と答えました。 テクノロジーを過剰に規制しようとする国々が直面している問題を目の当たりにしてきましたが、それは私たちが予想していたものではありませんでした」
「人々は、現在あるどのモデルよりも遥かに大きいモデルをトレーニングしていますが、特定の能力のしきい値を超えた場合は、外部監査やセキュリティテストとともに、認証プロセスが必要だと思います」と彼は付け加えました。 さらに、そのようなモデルは政府に報告する必要があり、政府の精査を受けるべきである」と述べた。
アルトマン氏の見解に反して、10月19日、メタサイエンティストのヤン・ルカン氏は、フィナンシャル・タイムズ紙とのインタビューで、AIの時期尚早な規制に反対を表明した。
Yann LeCunは、全米科学アカデミー、全米工学アカデミー、フランス科学アカデミーの会員であり、畳み込みネットワーク、畳み込みニューラルネットワーク(CNN)を使用した光学式文字認識とコンピュータービジョンの研究でも知られています。
2018年、ヤン・ルカンは、「人工知能のゴッドファーザー」や「ディープラーニングのゴッドファーザー」と呼ばれることが多いヨシュア・ベンジオ氏やジェフリー・ヒントン氏とともに、チューリング賞(「コンピューティングのノーベル賞」と呼ばれることが多い)を受賞しました。
インタビューの中で、ヤン・ルカンはAI規制全般についてより否定的な見方をしており、現在のAIモデルの規制は、1925年(ジェット機が発明される前)のジェット機を規制するようなものであり、AIの時期尚早な規制は大手ハイテク企業の支配を強化し、競争を抑圧するだけだと主張しています。
「AIの研究開発を規制することは、信じられないほど逆効果です」とYann LeCun氏は述べ、AIを規制する必要性は、AIを安全に開発するには自分たちだけが信頼できると信じている一部の大手テクノロジー企業の「傲慢さ」や「優越性」に起因しており、「AIセキュリティを装って規制したい」と付け加えました。
「しかし、実際のところ、猫の学習能力に匹敵するシステムを設計できるようになるまでは、AIがもたらすリスクについて議論するのは時期尚早です」とYann LeCun氏は述べ、現世代のAIモデルは、一部の研究者が主張するほど強力ではないと付け加え、「彼らは世界の仕組みを理解しておらず、計画を立てる能力も、実際の推論を行う能力もありません」と付け加えています。
同氏の意見では、OpenAIとGoogleのDeepMindは問題の複雑さについて「過度に楽観的」であり、実際、AIが人間の知能のレベルに達するまでには、いくつかの「概念的なブレークスルー」が必要になるだろう。 しかし、その場合でも、法律が人間の行動を規制するために使用できるようになったのと同じように、AIはシステムに「道徳的資質」をコード化することで制御できます。