清華大学人工知能研究所のZhu Jun氏との対話: 人気のAIモデルにはどのようなセキュリティリスクが隠されているのか?

文: Li Haidan、Tencent Technology

画像ソース: Unbounded AI によって生成

人間は AI を生み出しましたが、AI は私たちが住む世界を再構築しつつあります。大規模言語モデル技術の爆発的な普及により、AI は私たちの生活にさらに統合され始めており、人間は潜在的なリスクを回避するために、開発の初期段階で必要なセキュリティ対策を検討し、実装する必要があります。

AI が遭遇するサイバーセキュリティの問題はどこでも見られます。 Tencent Technology が清華大学人工知能研究所の副所長であり、北京知源人工知能研究所および瑞来知能研究所の主任研究員である朱軍氏にインタビューしたとき、彼は次のように述べています**「実際には、常に安全で安全なネットワーク システムなどありません。 「世界中で壊れない。コストを考慮しないと、犯罪者はさまざまな方法でシステムを攻撃し、防御することは不可能です。」 **

10 年以上にわたり、Zhu Jun は人工知能のセキュリティ問題の解決に取り組んできました。彼は古典的なベイズ基礎理論と主要なテクノロジーを突破し、普及モデルの効率的なアルゴリズムを提案し、国家レベルの専門的で新しい「小さな巨人」企業の成果の変革を通じて、安全で信頼できる人工知能の開発のための強固な基盤を築きます。

AIそのもののリスクも無視できません。人工知能には強力な学習機能と推論機能が備わっていますが、この機能は AI システムのデータへの高い依存にもつながり、意思決定や推奨事項にデータ ソースのバイアスが反映される可能性があります。 AIの倫理と正義。

AI が信頼のセキュリティ危機に陥ったとき、私たちはどう対応すべきでしょうか? AI と人間のインタラクティブな応用がますます普及する中、潜在的な安全上の危険をどのように防ぐべきでしょうか?この対談では、Zhu Jun氏がAIの安全性と信頼性を向上させるための具体的な防御方法について語った。私たちは、AI の安全性の道徳的および社会的影響を探ることに細心の注意を払い、未知の制御不能な未来に導かれることを避ける必要があります。

以下は本文の要旨であり、ご希望を変えないことを前提に削除・修正を加えております。

常に安全なネットワーク システムがあるわけではありません

**Tencent Technology: セキュリティに対する人工知能の分野で研究を推進されていますが、現在の AI 技術の適用はどのようなセキュリティ上の問題を引き起こすでしょうか?これらのセキュリティ問題をどのように特定すればよいでしょうか? **

**Zhu Jun:**人工知能には、データ、アルゴリズム モデル、アプリケーション層など、いくつかの重要な要素が含まれています。それぞれの要素において、さまざまなセキュリティ問題に対処する必要があります。

データ レベルでは、データ ポイズニング、データ漏洩、ユーザーのプライバシー、重要な機密データの保護などのセキュリティ問題に注意を払う必要があり、モデル レベルでは対立アルゴリズムなどのセキュリティ問題に対処する必要があります。たとえば、ロック解除に顔認証が使用される場合、攻撃者は特別に作られた保護メガネ (つまり、「敵対的サンプル」) を通じてターゲットの携帯電話の認証システムのロックを解除する可能性があり、リスクが生じます。さらに、モデルに悪意を持ってバックドアが埋め込まれた場合、モデルのセキュリティも脅かされることになり、アプリケーションレベルでは、人工知能のセキュリティ問題もますます顕著になってきています。たとえば、深層合成、AIGC、その他のツールは、犯罪者によって虚偽のコンテンツを作成し、詐欺や詐欺などの違法な目的に使用されます。これらはすべて、実際の使用または開発において人工知能が直面するセキュリティ問題です。

解決策と対策には、これらのコンテンツを自動的に識別するためのより高度なアルゴリズムを使用する必要があります。これは、人工知能の分野におけるホットで難しい問題です。しかし、この技術は「槍と盾」のような関係であり、生成技術の発展により、それに対応する探知技術や防御技術の出現が促進される。同時に、生成側と攻撃側のテクノロジーも常に進化しています。テクノロジー自体の性質上、常に安全で突破不可能なシステムはありません。コストを考慮しない場合、犯罪者はさまざまな方法を使用してシステムを攻撃するため、防御するのは困難です。

したがって、テクノロジーの観点からは、**「AIがAIを認識する」という形で対応する必要があります。しかし、実際には攻撃よりも防御のほうが難しいのです。現在、モデルの防御能力を向上させるためのさまざまなメカニズムを模索し、モデルの使用および展開時にさまざまな保護措置を講じています。たとえば、顔認識システムでは、システムを保護するという目的を達成するために、顔認識ファイアウォールを導入して、疑わしいサンプルや攻撃対策サンプルを最終的な認識リンクに入る前に検出して除外します。現在、このようなテクノロジーは銀行やその他の業界で導入されています。

**Tencent Technology: どのようなネットワーク システムにもセキュリティの抜け穴があるとおっしゃいましたが、現在 ChatGPT は海外のアプリケーションで急増しており、良好な相互作用を実現していますが、どのようなリスクがありますか? **

Zhu Jun: 現在、ChatGPT のような大規模な言語モデルは急速な開発過程にありますが、同時に潜在的なリスクももたらします。たとえば、いくつかの「インジェクション攻撃」が存在します。アルゴリズムの観点から見ると、誰かが不純な動機を持って特定の単語や記号を挿入すると、論理の混乱を引き起こし、大規模なモデルでエラーが出力される可能性があります。

マルチラウンド対話システムでは、インジェクション攻撃を防御するのは困難です。ハッカーはさまざまな方法でインジェクション攻撃を実行する可能性があり、大規模モデルのコンテキスト理解技術により攻撃の効果が遅れるため、アルゴリズムの検出と防御における新たな課題となっています。この点において、強化学習と同様の方法を使用してアルゴリズムを逆転させ、悪意を持って挿入された可能性のある単語を検出して防御する必要があります。 **システムは、トレーニング プロセス中にシステムに悪意が注入されていないこと、またはバックドアやその他の脆弱性が埋め込まれていないことが保証されている場合にのみ、安心して使用できます。

アプリケーション レベルの観点から見ると、ハッカーがインジェクション防止対策を回避して、ポルノや暴力に関連する違法情報などの低品質または不良コンテンツを生成しようとするなど、対話システムの悪意のある使用のリスクもいくつかある可能性があります。独立した検出と解決が必要な問題。

**Tencent Technology: GPT のセキュリティ問題についてお話しましたが、詳しく見てみましょう。GPT や他の大規模モデルのサーバーのセキュリティ防御能力はどのようなものでしょうか。また、ハッカーによって攻撃される可能性がありますか? **

Zhu Jun: 理論的には、それは完全に可能です。大規模な情報システムであるため、どのようなシステムにも抜け穴が存在するため、システム構築の際には、可能な限り事前にさまざまな防御手段を導入し、システムのセキュリティを向上させる必要があります。最近では、これに関連する事例も確認されています。一部の攻撃者は、ChatGPT を使用して自動攻撃コードを生成し、ターゲット システムの脆弱性をより効率的に発見し、さらに脆弱性を悪用して攻撃を開始するため、セキュリティ上の問題は引き続き存在します。

人間は AI の知能レベルを正確に定義して測定することはできません

**Tencent Technology: ハッカー攻撃の隠れた危険に加えて、AI 自体のセキュリティ リスクも懸念しています。まず最初に、現在誰もが議論しているトピックに焦点を当てましょう。AI は意識を生み出すと思いますか? **

** Zhu Jun: 私の個人的な見解は、人工知能における「意識」の現在のパフォーマンスはあまり明確ではないと考える傾向があります。なぜなら、私たちは意識を正確に定義して測定することができないからです。 ** したがって、言語モデルのパフォーマンスを観察すると、大規模なモデルには依然として事実誤認などの問題が存在することがわかります。一部の誤りは流暢に読めますが、よく見てみると、事実に基づくものでも論理的なものでもありません。これは、モデルが持つ意識の特異性のレベルが完全に定量的に評価されていないという、このモデルの多くの問題のうちの 1 つです。

言語モデルは、コーパスとテキストについて世界中のどの人間よりも詳しいため、強力な学習者となります。たとえば、私たち一人一人がアクセスできる情報リソースは限られているのに対し、モデルはインターネット上で入手可能なほぼすべての情報にアクセスできる可能性があります。

汎用性の観点から見ると、AI は間違いなく、どの人間よりも優れています。ただし、モデルの性能は人間のレベルに到達できない部分があります。したがって、皆さんが議論されているAGIなども含めて、現実的な技術開発の観点からモデルを考える必要があると思います。個人的には、現在のテクノロジーのレベルは、制御不能になる、あるいはロボット自体の制御下でのみ進化するという状況には至っていないのではないかと考えています。

大規模な機械学習モデルは、ディープラーニングなどの複雑なネットワークを使用してデータを処理し、アーキテクチャと設計の観点から人間の認知の一部を活用できると言えます。しかし全体として、これらの人工ニューラル ネットワーク モデルと実際の生物学的システムの間には、規模から構造に至るまで大きな違いがあります。したがって、実際には、人工知能システムの知能レベルを明確に評価したり、心などの認知能力を備えているかどうかを評価したりすることは現時点ではできません。

**Tencent Technology: 最近、一部の販売業者が「AI コンパニオン」というコンセプトを打ち出しました。人々は AI に夢中になることができ、お金を払う必要があります。 AIは人間の感情を理解できると思いますか?仮想パートナーと対話するプロセスにはどのようなセキュリティ リスクが存在しますか? **

Zhu Jun: 感情コンピューティングは、人工知能の分野では常に古典的なトピックであり、感情の面では、人工知能テクノロジーはキャラクターをシミュレートし、その感情的または心理的状態を設定できます。しかし、技術的な観点から見ると、この分野にはまだ多くの問題と課題があります。

真の人間コミュニケーションのレベルに到達することは非常に困難です。たとえば、面と向かってチャットしたり、対話に同じ言語を使用したりしたとしても、各個人が同じ入力に対して何千もの方法で反応するため、互いの感情や精神活動を真に理解することは困難です。私たちが現在使用しているこれらの大規模なモデルは、基本的にこのプロセスをモデル化していますが、すべてのモデル化には単純化され、理想化された仮定が必要です。これらの仮定がすべての人に当てはまるかどうか、あるいは各個人の現実にうまく適合するかどうかは疑問です。すべての人の複雑な感情を単純なモデルで正確に表現することは困難です。

このモデルには、社会問題、倫理、道徳などのさまざまな側面が含まれる可能性があり、解決する必要がある潜在的な問題が数多くあります。技術的な実装の敷居はそれほど高くありませんが、このモデルはすでに海外で登場しています。しかし、私たちはこのモデルの影響について深く考える必要があります。たとえば、一部の若者は本当の愛や結婚などにエネルギーを費やすことに消極的になる可能性があります。これらは社会の安定に潜在的な問題を引き起こす可能性があります。

また、このような人工知能製品が特定の個人に対して偏ったり、意図的に誘導されたりすることが大きなリスクをもたらす可能性があることに注意する必要があります。私たちが毎日ロボットと触れ合っていると、得られる情報は自然とロボットによって導かれ、個人の価値観に影響を与えたり、個人の感情や行動をコントロールしたりする可能性があります。長期的には、これは人々間の社会関係に影響を与え、社会全体の行動の変化を引き起こす可能性があります。しかし、これらはテクノロジーによって完全に解決できる問題ではありません。一般的に言えば、我が国は他国に比べて新しい技術を使用する際にはより慎重であり、起こり得るリスクについては早期に警告し、何らかの予防措置を講じます。

安全な AI の形成: 最良のモデルを「メンター」として扱う

**Tencent Technology: AI にエラーがあった場合、技術的な観点から、大規模モデルのエラーを修正するためにどのような作業ができるでしょうか? **

**Zhu Jun:**トレーニング データと技術レベルが異なるため、たとえば、同じ質問を使用して異なる大規模モデルを尋ねると、得られる結果が異なる可能性があり、良い結果もあれば、悪意のある結果や悪い結果も出ます。結果。したがって、これらのモデルの品質と制御性を標準化し、向上させる必要があります。

一部の大規模なモデルは、通常、多くの調整と敵対的トレーニングを実行します。たとえば、GPT-4が登場する前は、さまざまな分野の専門家がさまざまな角度から質問をして、システムが非準拠または悪意のある結果を生成するかどうかを確認するためにモデルの精度を確認し、規制や調整を試みていました。ただし、そのような厳密なテストや敵対的トレーニングが受けられていないモデル (多くのオープンソース モデルを含む) がまだ多くあるため、さまざまなセキュリティ リスクが存在します。

試す価値のある技術的な方法の 1 つは、最良のモデルの 1 つを「指導者」として扱い、その後、効率的かつ経済的な方法で他のモデルにこのモデルの動作を強制的に模倣させることです。もちろん、さまざまな国の規範要件に従った特定のモデルごとの規範や調整作業など、作業には他にも多くの側面があります。

これらのモデルを使用すると常に仕様に準拠した結果が得られることが期待されますが、リスクの可能性がゼロになることはありません。 **さらに、モデルを使用する場合は、倫理や法的ルールなども考慮する必要があり、モデルが人間により役立つように、異なる業界や分野が共同で管理および規制する必要があります。

**Tencent Technology: 継続的なトレーニングを通じて大規模モデルのエラー率を修正し、削減することについて先ほど触れましたが、その信頼性をどのように測定すればよいでしょうか?あなたはベイジアンディープラーニングの分野に深く関わってきましたが、予測の精度と信頼性を向上させるためにモデルを構築および最適化する方法についてどう思いますか? **

**Zhu Jun: **業界は基本的に精度に関して同じ目標を持っており、通常は客観的な指標によって測定され、特定の指標は実行される特定のタスクに関連しています。分類と認識に関しては、最終的な認識精度がモデルのトレーニングのガイドとして使用されます。

ニューラル ネットワークなどの不確実性のある問題の場合、多くの場合、その予測は自信過剰で楽観的になることがわかりました。たとえば、ある結果の出力は、本来は曖昧または不確かな予測ですが、過信して予測結果を伝えることになります。これを「過信」と呼びます。

この現象や問題については、ベイジアン手法を使用した深層学習技術を使用すると、不確実性をより適切に特徴付けることができます。主に入力側に存在する可能性のある不確実要素やモデル側に存在する可能性のある不確実要素など多方面から考慮することができ、より実態に即した信頼度を与えることができます。このベイジアン アプローチは、ニューラル ネットワークよりも信頼性が高くなります。

**Tencent Technology: 現実世界のネットワーク構造は、多層、多次元、動的な変化やその他の特性を含む非常に複雑なことが多く、拡散確率モデルの確立と最適化に大きな課題をもたらします。あなたが率いるチームは、拡散確率モデルの理論とアルゴリズムの研究に世界で最も早くから取り組んでいるチームの 1 つです。あなたのチームは、モデル構築におけるノイズとデータの不確実性をどのように排除して、モデルの堅牢性と信頼性を向上させていますか? **

Zhu Jun: 拡散モデルは生成モデルであり、順拡散と逆拡散の 2 つのプロセスがあります。順拡散は、ノイズを徐々に追加することによって、画像を完全にランダムなガウス ノイズ画像に変換します。逆拡散は、ほとんど構造のない分布から始まり、徐々にノイズが除去され、実際のデータを記述できる分布に収束します。このディストリビューションから、テキスト、画像、ビデオの生成など、現在広く研究されている新しいサンプルを生成できます。

拡散モデルは、生成分野で最も重要な技術の 1 つです。堅牢性の点では、拡散モデルの考え方は敵対的な例と似ています。敵対的な例は、生成プロセスでアルゴリズムに最適化されたノイズを追加することで攻撃の目的を達成します。逆拡散プロセスで分布を徐々に見つけてモデルのロバスト性を向上させることで、ノイズの大きさと方向を最適化できます。この方法は、ノイズを含むデータの生成にも適用して、モデルの信頼性と精度を向上させることができます。

**Tencent Technology: Vincent を別の方向に応用する場合、AI の精度をどのように向上させることができますか?あなたのチームが最近提案した、新しい Wensheng 3D アルゴリズム ProlificDreamer が気になります。これは、3D データがなくても超高品質の 3D コンテンツを生成できます。あなたのチームは、より正確なコンテンツを生成するために、セマンティックの多様性と曖昧さにどのように対処していますか? 3D モデル? **

Zhu Jun: 従来の 3D 手法と比較して、業界では通常、事前にトレーニングされた 2D 生成モデル (拡散モデルなど) を使用して画像データベースでトレーニングします。 3D 生成を行う場合、生成された 2D 画像を 3D モデルにマッピングする必要があり、これには「蒸留」と呼ばれる中間ステップが必要です。 3D モデルは空間構造を持っているため、オブジェクトの 3D プロパティを考慮する必要があります。したがって、3D アセットを生成できるように、オブジェクトをさまざまな角度から観察し、対応する 2D 画像をレンダリングし、事前にトレーニングされたモデルに位置合わせする必要があります。ただし、このアプローチにはいくつかの制限もあります。たとえば、生成される結果は通常、彩度が高すぎるか滑らかすぎて、詳細やテクスチャなどの情報が不足しています。

この問題を解決するには、下位レベルのテクノロジーを探索する必要があります。単一の 3D モデルを見つけるために蒸留アルゴリズムを使用する場合には、基本原理から克服する必要があるいくつかの固有の困難があることがわかりました。既存のアルゴリズムは、「貪欲アルゴリズム (Greedy アルゴリズム)」と同様に、目的関数に何らかの極値を探します。最適解のみを見つけます。この目的を達成するために、既存のアルゴリズムは目的関数を変更してより高くします。一部の領域では、他の領域ではより平均的ですが、この目的関数調整方法により、最終的な解決策を迅速に見つけることができます。

上記の方法の困難を克服するために、**テキストから 3D への生成問題を、3D モデルが従う可能性のある分布からのサンプリングとして再定式化し、それをレンダリングして、事前トレーニングされた 2D モデルと位置合わせします。 **このサンプリング手法の利点は、2D モデル自体が確率モデルであり、貪欲な最適化よりも記述情報が豊富であることです。このため、新しい変分蒸留アルゴリズムを導出し、それを基本的に同じアルゴリズムで使用しました。高解像度のアセットを含む複雑な 3D シーンがほんのわずかな時間で生成されました。

私たちの方法の重要な点は、3D トレーニング データへの依存を軽減または完全に排除し、生成の品質を大幅に向上させることです。最近、グラフィックをやっている実務家の方たちとも交流しましたが、彼らもこの効果はかなりすごいと感じています。高品質の 3D 画像を生成できるという大きな可能性を見てみましょう。

曖昧さの処理用。同じテキスト入力でも、人によって理解が異なる場合があります。たとえば、「Apple」という単語は Apple、Apple Inc.、またはその製品を指す場合があります。私たちのモデルでは、確率ベースのサンプリング アプローチを使用して複数の可能な結果を生成することにより、曖昧性が解決されます。 ** 長期的には、曖昧さを解消するには、テキストと画像、またはその他のモーダル データの位置合わせなど、制御性と精度を向上させるために、より多くの手がかりと位置合わせが必要になります。 **言語およびマルチモーダル領域では、最終的な意味は関連するコンテキストに関連します。

現在、当社はさまざまな業界のお客様と協力して、3D 生成テクノロジーをさらに改善し、より成熟させることに取り組んでいます。 3D 分野では、高品質の 3D アセットの価値が高くなります。たとえば、ゲーム アセット作成シナリオでは、従来の企業は通常、ジオメトリやグラフィックスなどの従来の方法を使用して 3D アセット ライブラリを構築および維持しており、これには多大な時間の投資が必要です。当社のテクノロジー クリエイティブ効率を大幅に向上させ、時間コストを削減します。