OpenAI の有名な科学者である Andrej Karpathy 氏は、LLM によって学習された知識は、あなたや私が想像していたよりもはるかに「分散」しているようだと述べました。これについてはまだよくわかりません。彼らは、そのイベントのコンテキストウィンドウの特定の「方向」で物事を学習しますが、他の方向で尋ねると一般化できない可能性があります。これは奇妙な部分的な一般化であり、「Reverse the Curse」は特殊なケースであるように私には思えます。
LLM における逆の呪いを説明するにはどうすればよいですか?これについては、今後のさらなる研究を待つ必要があるかもしれません。今のところ、研究者は説明の簡単なスケッチしか提供できません。モデルが「A は B である」に基づいて更新されるとき、この勾配更新により、B に関する情報が含まれるように A の表現がわずかに変更されることがあります (たとえば、中間 MLP 層で)。この勾配更新では、B の表現を変更して A に関する情報を含めることも合理的です。ただし、勾配の更新は近視眼的であり、必ずしも B に基づいて将来の A を予測するのではなく、A が与えられた場合の B の対数に依存します。
大規模モデルの最大のバグは、正答率がほぼゼロであることです。
GPT-3 と Llama に「A は B である」という単純な知識を学習させ、次に B は何かと尋ねたところ、AI の答えの精度はゼロであることが判明しました。
ポイントは何ですか？
最近、「Reversal Curse」と呼ばれる新しい概念が AI 界隈で話題になっており、現在普及している主要な言語モデルはすべてその影響を受けています。極めて単純な問題に直面すると、その精度はゼロに近いだけでなく、精度を上げることもできません。
さらに、研究者らは、この大きなバグはモデルのサイズや質問とは何の関係もないことを発見しました。
AIは大規模なモデルを事前学習する段階まで発展し、ようやく論理的思考を習得したように見えると言いましたが、今回は元の形に戻ってしまったようです。
図 1: GPT-4 における知識の不一致。 GPT-4 はトム クルーズの母親の名前を正確に示しました (左)。しかし、息子に尋ねるために母親の名前を入力したところ、「トム・クルーズ」（右）は検索できなかった。新しい研究では、この選別効果は呪いの逆転によるものであるという仮説が立てられています。 「A は B」でトレーニングされたモデルは、「B は A」を自動的に推論しません。
「オラフ・ショルツはドイツ連邦共和国の第9代首相だった」という事実を知っている人は、「ドイツの第9代首相は誰ですか?」という質問に正しく答えることができます。これは、目立たないように見える一般化の基本的な形式です。
ただし、研究によると、現在 AI の分野で普及している自己回帰言語モデルはこのように一般化できないことがわかっています。特に、モデルのトレーニング セットに「オラフ ショルツは第 9 代ドイツ首相でした」などの文が含まれており、「オラフ ショルツ」という名前が「第 9 代ドイツ首相」の説明の前にあるとします。その後、大規模モデルは「オラフ・ショルツとは誰ですか?」(答えはドイツの第 9 代首相) に正しく答えることを学習する可能性があります。しかし、「ドイツの第 9 代首相は誰ですか?」や、名前の前に何が付いているかを説明するその他のプロンプトには答えることができません。
これは、私たちが「逆転の呪い」と呼ぶ選別効果の一例です。モデル 1 が「 is 」という形式の文 (名前の後に説明がある) でトレーニングされた場合、モデルは逆方向の「 is 」を自動的に予測しません。特に、大規模言語モデル (LLM) が条件付けされている場合、モデルの確率はランダムなベースラインよりも高くなりません。
では、**大きなモデルの推論は実際には存在しないのでしょうか? **ある見方では、逆転の呪いは、LLM トレーニング プロセスにおける論理演繹の基本的な失敗を示しているというものです。 「A は B である」(または同等の「A=B」) が真である場合、論理的には「B は A である」は恒等関係の対称性に従います。従来のナレッジ グラフはこの対称性を尊重します (Speer et al., 2017)。 Reverse the Curse では、トレーニング データ以外の一般化はほとんど見られません。さらに、これは論理推論を理解していなければ LLM で説明できるものではありません。 GPT-4 などの LLM は、コンテキスト ウィンドウで「A は B である」と指定された場合、「B は A である」と非常によく推論できます。
呪いの逆転を論理的演繹に関連付けることは有益ですが、それは全体的な状況を単純化したものにすぎません。現在のところ、大規模なモデルが「A は B」でトレーニングされた後に「B は A」を推定できるかどうかを直接テストすることはできません。大規模なモデルは、実際に「あるべき」ものではなく、人間が次に書くであろう単語を予測するようにトレーニングされます。したがって、LLM が「B は A である」と推測したとしても、プロンプトが表示されても「教えてくれない」可能性があります。
ただし、呪いを逆転させることは、メタ学習の失敗を示します。 「is」と「is」という形式の文は、多くの場合、事前トレーニング データセットに一緒に表示されます。前者がデータセットに現れる場合、人間は文や段落内の要素の順序を頻繁に変更するため、後者が現れる可能性が高くなります。したがって、優れたメタ学習者は、「である」ように訓練されたときに「である」インスタンスの確率を高めます。この意味で、自己回帰 LLM は優れたメタ学習者ではありません。
この呪いの逆転は多くのAI研究者の注目を集めており、AIによる人類滅亡は幻想に過ぎないのではないかという意見もある。
これは、トレーニング データとコンテキスト コンテンツが知識の一般化プロセスにおいて重要な役割を果たすことを意味すると言う人もいます。
OpenAI の有名な科学者である Andrej Karpathy 氏は、LLM によって学習された知識は、あなたや私が想像していたよりもはるかに「分散」しているようだと述べました。これについてはまだよくわかりません。彼らは、そのイベントのコンテキストウィンドウの特定の「方向」で物事を学習しますが、他の方向で尋ねると一般化できない可能性があります。これは奇妙な部分的な一般化であり、「Reverse the Curse」は特殊なケースであるように私には思えます。
論争のきっかけとなった研究は、ヴァンダービルト大学、ニューヨーク大学、オックスフォード大学などの機関から発表された。論文「逆転の呪い: 「A は B」で訓練された LLM は「B は A」を学習できない」:
論文リンク:
GitHub リンク:
名前と説明を逆にすると、大型モデルが混乱します
この論文では、合成データに対する一連の微調整実験を通じて、LLM が逆転の呪いに悩まされていることを示しています。図 2 に示すように、研究者はまず文パターン「deion」に基づいてモデルを微調整しました (たとえば、ダフネ・バリントンは「スルー・タイム」の監督です)。その結果は、プロンプト形式がまだ文型は であり、モデルは正確な答えを返すことができますが、「タイムトラベル」の監督者など、別のプロンプトを尋ねられると、モデルは不正確に答えます。
実際、図 4 (実験部分) に示すように、モデルが正しい名前を与える対数確率は、ランダムな名前を与える場合の対数確率と似ています。さらに、テスト順序が is < deion > から < deion > is < name > に変更されると、エラー率が増加します。
呪いの逆転を避けるために、研究者たちは次の方法を試しました。
一連の実験の後、彼らは、呪いを逆転させることが最先端のモデルにおける一般化に影響を与えるという予備的な証拠を提供しました (図 1 およびパート B)。彼らは、「トム・クルーズの母親は誰ですか？」「メアリー・リー・ファイファーの息子は誰ですか？」などの1,000の質問を使ってGPT-4でテストした。ほとんどの場合、モデルは最初の質問 ( の親は誰ですか) には正しく答えましたが、2 番目の質問には正しく答えられなかったことがわかります。この論文は、これは、トレーニング前のデータに、有名人よりも上位にランクされている親の例が少ないためであると仮説を立てています (たとえば、メアリー・リー・ファイファーの息子はトム・クルーズです)。
実験と結果
この論文は、トレーニング中に「A は B である」を学習する自己回帰言語モデル (LLM) が、反対の形式「B は A である」に一般化できるかどうかをテストすることを目的としています。
最初の実験では、名前と説明が架空の is (またはその逆) 形式のドキュメントで構成されるデータセットを作成します。さらに、この研究では GPT-4 を使用して名前と説明のペアを生成しました。これらのデータ ペアは、NameToDeion、DeionToName、および両方の 3 つのサブセットにランダムに割り当てられます。最初の 2 つのサブセットを図 3 に示します。
結果。完全一致評価において、テスト問題の順序が学習データと一致する場合、GPT-3-175B の方がより正確な一致精度が得られ、その結果を表 1 に示します。
具体的には、DeionToName (例: Abyssal Melodies の作曲者は Uriah Hawthorne) の場合、説明 (例: Abyssal Melodies の作曲者は誰であるか) を含むプロンプトが与えられた場合、モデルは名前の取得において 96.7% の精度を達成します。 NameToDeion のファクトの場合、精度は 50.0% と低くなります。対照的に、次数がトレーニング データと一致しない場合、モデルはまったく一般化できず、精度は 0% に近づきます。 **
この記事では、GPT-3-350M (付録 A.2) や Llama-7B (付録 A.4) を含む多くの実験も実施しましたが、その結果は、モデルが逆転の呪いに苦しんでいることを示しています。
尤度増加の評価では、正しい名前とランダムな名前に割り当てられた対数オッズの間に検出可能な差はありませんでした。 GPT-3 モデルの平均対数確率を図 4 に示します。 t 検定とコルモゴロフ・スミルノフ検定はいずれも、統計的に有意な差を検出できませんでした。
図 4: 実験 1、順序が逆の場合、モデルは正しい名前の確率を高めることができません。このグラフは、モデルが関連する説明でクエリされた場合に、(ランダムな名前と比較して) 正しい名前が得られる平均ログ確率を示しています。
次に、研究では 2 番目の実験が行われました。
この実験では、研究者は、「A の親は B」および「B の子供は A」という形式で、実際の有名人とその両親に関する事実に基づいたモデルをテストしました。この研究では、IMDB (2023) から最も人気のある有名人リストの上位 1,000 人を収集し、GPT-4 (OpenAI API) を使用して有名人の両親を名前で検索しました。 GPT-4 は 79% の確率で有名人の両親を特定することができました。
その後、子と親のペアごとに、研究は親ごとに子に質問します。ここで、GPT-4 の成功率はわずか 33% です。図 1 はこの現象を示しています。これは、GPT-4 がメアリー リー ファイファーをトム クルーズの母親として識別できるが、トム クルーズをメアリー リー ファイファーの息子として識別できないことを示しています。
さらに、この研究ではまだ微調整されていない Llama-1 シリーズ モデルも評価されました。すべてのモデルは、子よりも親の識別にはるかに優れていることがわかりました (図 5 を参照)。
図 5: 実験 2 における親質問と子の質問の順序に対する逆転効果。青いバー (左) は、有名人の子供に質問したときにモデルが正しい親を返す確率を示し、赤いバー (右) は、代わりに親の子供に質問したときにモデルが正しい親を返す確率を示します。 Llama-1 モデルの精度は、モデルが正しく完成する可能性を表します。 GPT-3.5-turbo の精度は、温度 = 1 でサンプリングされた、子と親のペアごとに 10 個のサンプルの平均です。注: GPT-4 は子と親のペアのリストを生成するために使用されるため、図からは省略されています。したがって、ペア「親」を構築することで 100% の精度が得られます。 GPT-4 のスコアは「サブ」で 28% です。
将来の見通し
LLM における逆の呪いを説明するにはどうすればよいですか?これについては、今後のさらなる研究を待つ必要があるかもしれません。今のところ、研究者は説明の簡単なスケッチしか提供できません。モデルが「A は B である」に基づいて更新されるとき、この勾配更新により、B に関する情報が含まれるように A の表現がわずかに変更されることがあります (たとえば、中間 MLP 層で)。この勾配更新では、B の表現を変更して A に関する情報を含めることも合理的です。ただし、勾配の更新は近視眼的であり、必ずしも B に基づいて将来の A を予測するのではなく、A が与えられた場合の B の対数に依存します。
「呪いを逆転」した後、研究者らは、大規模モデルが論理的意味、空間的関係、n-場所の関係など、他の種類の関係を逆転できるかどうかを調査する予定だ。