なぜ大規模なモデルはこんなに遅いのでしょうか? それは私が考えすぎていることが判明しました: 新しい方向性は人間と同じ思考アルゴリズムです

画像ソース: Unbounded AI によって生成

人間の直感は、AI 研究者によって見落とされがちな能力ですが、非常に微妙なため、私たち自身でも完全には理解していません。バージニア工科大学とマイクロソフトの研究チームは、最近の論文で、アルゴリズム手法の直感と秩序性を組み合わせて、LLM のパフォーマンスを確保しながらコストを大幅に節約する思考アルゴリズム (AoT) を提案しました。

大規模な言語モデルは最近急速に開発されており、一般的な問題の解決、コードの生成、および指示に従う際に顕著な能力を実証しています。

初期のモデルは直接回答戦略に依存していましたが、現在の研究では、問題をサブタスクに分解して解決策を発見したり、コンテキストを変更して外部メカニズムを利用してトークン生成を変更したりすることで、線形推論パスに移行しています。

人間の認知と同様に、初期の LLM 戦略は、衝動的な意思決定を特徴とする即時 1 (素早い反応) を模倣しているように見えました。対照的に、思考の連鎖 (CoT) や最小から最大への変換 (L2M) などの新しい方法は、2 (遅い思考) の内省的な性質を反映しています。 LLM の算術推論能力は、中間推論ステップを統合することによって向上できることは注目に値します。

ただし、タスクにより深い計画と広範な頭の探求が必要な場合、これらの方法の限界が明らかになります。統合された自己一貫性のある CoT (CoT-SC) は複数の LLM 出力を使用してコンセンサス結果を達成できますが、詳細な評価が欠如しているため、モデルが間違った方向に進む可能性があります。 2023 年に登場する Tree of Thinking (ToT) は注目すべきソリューションです。 1 つの LLM はアイデアの生成に使用され、もう 1 つの LLM はこれらのアイデアの利点を評価するために使用され、その後「一時停止、評価、継続」のサイクルが続きます。ツリー検索に基づくこの反復プロセスは、特に長時間継続するタスクの場合に明らかに効果的です。研究者らは、この開発は、人間が自身の作業記憶の制限を回避するためにツールを使用するのと同様に、LLM を強化するための外部ツールの使用であると考えています。

一方で、この強化された LLM 手法には欠点がないわけではありません。明らかな欠点の 1 つは、クエリの数と計算要件が急増する可能性があることです。 GPT-4 などのオンライン LLM API へのクエリごとにかなりの金銭的費用が発生し、遅延が増加します。これはリアルタイム アプリケーションにとって特に重大な制限です。これらのクエリの待ち時間が蓄積すると、シナリオの全体的な効率が損なわれる可能性があります。インフラストラクチャ的には、継続的な対話によりシステムにストレスがかかり、帯域幅が制限され、モデルの可用性が低下する可能性があります。さらに、環境への影響も無視できず、継続的なクエリにより、すでにエネルギー集約型のデータセンターのエネルギー消費が増加し、二酸化炭素排出量がさらに増加します。

これらの考慮事項に基づいて、研究者の最適化目標は、モデルが世界の知識の熟練した使用を必要とするタスクに対処できるように十分なパフォーマンスを維持しながら、現在のマルチクエリ推論方法で使用されるクエリの数を大幅に削減することです。より責任感と熟練度を高め、AI リソースを効率的に使用します。

LLM の 1 から 2 への進化を考えると、アルゴリズムという重要な要素が浮かび上がってくることがわかります。アルゴリズムは構造化されており、人々が問題領域を探索し、戦略を開発し、解決策を構築するのに役立つ方法を提供します。主流の文献の多くはアルゴリズムを LLM の外部ツールとして扱っていますが、LLM の固有の生成的再現性を考慮すると、アルゴリズムを LLM に内部化するようにこの反復ロジックを導くことができるでしょうか?

バージニア工科大学とマイクロソフトの研究チームは、人間の推論の高度さとアルゴリズム手法の系統的精度を統合し、この 2 つの側面を統合することで LLM 内の推論を強化することを試みました。

既存の研究では、人間は複雑な問題を解決するときに本能的に過去の経験を活用し、1つの細部に狭く焦点を当てるのではなく全体的に考えるようになることが強調されています。 LLM 生成の範囲はトークンの制限によってのみ制限されており、人間の作業記憶の障害を突破する運命にあるようです。

この観察に触発されて、研究者らは、LLM が同様のアイデアの階層的な探索を可能にし、以前の中間ステップを参照することで実現不可能な選択肢を除外できるかどうかを検討しました。すべては LLM の生成サイクル内です。人間は直観力と鋭敏さに優れていますが、アルゴリズムは組織的かつ体系的な探索が得意です。 CoT などの現在のテクノロジーは、この相乗効果の可能性を避け、LLM のフィールド精度に重点を置きすぎる傾向があります。 LLM の再帰機能を活用することで、研究者らは人間とアルゴリズムのハイブリッド アプローチを構築しました。これは、最初の候補から実証済みのソリューションに至るまで、探索の本質を捉えるアルゴリズムの例を使用して行われます。

これらの観察に基づいて、研究者たちは思考のアルゴリズム (AoT) を提案しました。

紙：

より広範なスケールでは、この新しいアプローチは文脈学習の新しいパラダイムの先駆けとなることが期待されています。 [質問、回答] または [質問、回答を取得するためのその後のステップ] という従来の教師あり学習モデルを使用する代わりに、この新しいアプローチでは、新しいモデル [質問、検索プロセス、回答] が採用されています。当然のことながら、LLM に命令を通じてアルゴリズムを使用するように指示すると、通常、LLM は単にアルゴリズムの反復思考を模倣するだけであると予想されます。ただし、興味深いのは、LLM には独自の「直感」を注入する機能があり、その検索がアルゴリズム自体よりも効率的になることさえあるということです。

思考アルゴリズム

研究者らは、研究戦略の中核は、現在の文脈学習パラダイムの主要な欠点を認識することであると述べている。 CoT は精神的なつながりの一貫性を向上させることができますが、場合によっては問題が発生し、間違った中間ステップが発生する可能性があります。

この現象を説明するために、研究者たちは実験を計画しました。算術タスク (11 − 2 = など) で text-davinci-003 をクエリする場合、研究者は同じ出力結果 (15 − 5 = 10、8 + 2 = 10 など) を取得する複数のコンテキスト方程式を前に追加します。 ）。

精度が急激に低下することが判明し、文脈の中で正しい推論を行うだけで、LLM の基礎となる算術能力が誤って損なわれる可能性があることを示唆しています。

この偏りを軽減するには、例をより多様にすることが実行可能な解決策になる可能性がありますが、これにより出力の分布がわずかに変化する可能性があります。失敗した試行 (ランダム検索など) をいくつか追加するだけでは、実際には問題を解決せずにモデルが再試行するよう意図せずに誘導される可能性があります。アルゴリズムの動作の本質 (失敗した検索とその後の回復が重要であり、これらの試みから学ぶことも重要です) を理解して、研究者が状況に応じた例を組み込む方法は、検索アルゴリズム、特に深さ優先検索 (DFS) のパターンに従うことです。幅優先検索 (BFS)。図 1 に例を示します。

このペーパーでは、ツリー探索問題に似た大きなクラスのタスクに焦点を当てます。

このタイプのタスクでは、主要な問題を分解し、各部分に対して実行可能な解決策を構築し、より可能性の高い部分を再評価するオプションを使用して、特定のパスを採用するか放棄するかを決定する必要があります。

研究者らは、サブセットごとに個別のクエリを与える代わりに、LLM の反復機能を利用して、統合された生成スキャンでクエリを解決しました。このアプローチは、LLM インタラクションを 1 つまたは 2 つだけに限定することで、以前のコンテキスト上の候補からの洞察を自然に統合し、ソリューション ドメインの深い探索を必要とする複雑な問題を解決できます。研究者らはまた、トークンの効率を向上させるために、これらの考えをどれくらいの大きさにすべきか、LLM にどのような種類のコンテキスト例を提供する必要があるかについて独自の洞察を与えています。ツリー検索アルゴリズムの主要なコンポーネントと新しいフレームワークでのそれらの表現を以下に示します。

**1. サブ問題に分解します。 **問題が与えられた場合、実際の問題解決の側面を考慮しなくても、実行可能な推論パスを記述する検索ツリーを構築することは、すでに困難な作業です。どのような分解でも、サブタスク間の相互関係だけでなく、各問題の解決のしやすさも考慮する必要があります。

たとえば、単純な複数桁の加算を考えてみましょう。コンピュータにとって数値を 2 進数に変換するのは効率的ですが、人間は 10 進数の方が直感的であると感じることがよくあります。また、部分問題が同じであっても、実行方法が異なる場合もある。直感があれば、解決策へのステップ間の近道を見つけることができますが、直感がなければ、より詳細なステップが必要になる場合があります。

正しい (つまり、コンテキストに応じたアルゴリズムの例) を作成するには、これらの微妙な点が重要であり、信頼性の高いパフォーマンスのために LLM に必要なトークンの最小数を決定します。これは、コンテキストに関する LLM の制約を満たすだけでなく、LLM の能力にとっても重要です。なぜなら、LLM がコンテキストに共鳴する問題を解決するために同量のトークンを使用できることを期待しているからです。

**2. 副次的な問題の解決策を提案します。 **現在の主流の方法の 1 つは、LLM トークンの出力確率を直接サンプリングすることです。この方法は (一定の制限はありますが) 1 回限りの回答には有効ですが、サンプル シーケンスを追跡調査に統合する必要がある場合や追跡調査で評価する必要がある場合など、一部のシナリオには対応できません。モデルのクエリを最小限に抑えるために、研究者らはノンストップのソリューション作成プロセスを使用しました。つまり、生成を一時停止することなく、主要な副問題に対する解決策を直接かつ継続的に生成します。

このアプローチには多くの利点があります。まず、生成されたすべてのソリューションは同じ共有コンテキスト内にあるため、各ソリューションを評価するために個別のモデル クエリを生成する必要がなくなります。第 2 に、最初は直観に反しているように思えるかもしれませんが、孤立したトークンやトークンのグループ化の確率が必ずしも意味のある選択につながるとは限りません。図 4 に簡単な概略図を示します。

**3. 部分問題の見通しを測定します。 **上で述べたように、既存の手法は追加の手がかりに依存してツリー ノードの可能性を特定し、探索方向の決定に役立てます。私たちの観察によれば、LLM は本質的に、文脈上の例にカプセル化できる場合、有望な候補を優先する傾向があることが示唆されています。これにより、複雑なエンジニアリングの必要性が減り、直感的であろうと知識主導型であろうと、高度なヒューリスティックの統合が可能になります。同様に、新しいアプローチには切断点がなく、生成された同じ結果内で候補の実現可能性を即座に評価できます。

**4. より良いノードに戻ります。 **次にどのノードを探索するか (前のノードへの遡行を含む) の決定は、基本的に、選択したツリー検索アルゴリズムに依存します。これまでの研究では、検索プロセスにコーディング メカニズムなどの外部手法を採用していましたが、これでは広範な魅力が制限され、追加のカスタマイズが必要になります。この論文で提案する新しい設計は主に DFS 法を採用し、枝刈りによって補完されます。目標は、同じ親ノードを持つ子ノード間の近接性を維持し、それによって LLM がリモート機能よりもローカル機能を優先するように促すことです。さらに、研究者らは、BFS ベースの AoT 手法のパフォーマンス指標も提案しました。研究者らは、状況に応じた例から洞察を収集するモデル本来の機能を活用することで、追加のカスタマイズ メカニズムの必要性を排除できると述べています。

実験

研究者らは 24 ポイントおよび 5x5 のミニ クロスワード ゲームで実験を行い、その結果は AoT 手法の優位性を示しました。そのパフォーマンスは単一の手法 (標準手法、CoT、CoT-SC など) によるものであり、また、AoT 手法の優位性を示しました。外部メカニズムのメソッド (ToT など) を使用するのと同等です。

表 1 から、CoT/CoT-SC を組み込んだ標準設計手法は、LLM を使用したツリー検索手法より明らかに遅れていることがわかります。

表 3 は、ミニ単語埋め込みタスクにおける AoT の有効性を示しており、さまざまな手法を使用した単語埋め込みの成功率は以前の方法を上回っています。

ただし、ToTよりも悪いです。重要な観察は、ToT で使用されるクエリの量が膨大で、AoT の 100 倍以上であることです。 AoT を ToT より劣らせるもう 1 つの要因は、アルゴリズムの例に固有のバックトラッキング機能が完全にはアクティブになっていないことです。この能力が完全にロック解除できれば、生成フェーズは大幅に長くなるでしょう。対照的に、ToT にはバックトラッキングに外部メモリを使用できるという利点があります。

話し合う

AoT はエミュレートする DFS を超えることができますか?

図 5 に示すように、AoT は DFS バージョンよりも全体的に使用するノードの数が少なくなります。 DFS は、後で探索するサブツリーを選択するときに統一された戦略を採用しますが、AoT の LLM は固有のヒューリスティックを統合します。基本アルゴリズムのこの拡張は、LLM の再帰的推論機能の利点を反映しています。

アルゴリズムの選択は AoT のパフォーマンスにどのような影響を与えますか?

表 5 は実験結果を示しており、3 つの AoT バリアントすべてが単一クエリ CoT よりも優れていることがわかります。

アルゴリズムが何であれ、ランダム検索バリアントでのランダムな試行、または DFS または BFS 構成でのバックトラッキングを通じて、潜在的なエラーを検索して再検討するため、この結果は予想されます。構造化検索の AoT (DFS) と AoT (BFS) の両方のバージョンが AoT (ランダム) よりも効率的であることは注目に値します。これは、ソリューション発見におけるアルゴリズムの洞察の利点を強調しています。ただし、AoT (BFS) は AoT (DFS) に比べて遅れています。 AoT (BFS) のエラーをさらに分析することで、研究者らは、AoT (DFS) と比較して、AoT (BFS) が最適な操作を特定するのがより難しいことを発見しました。

では、アルゴリズム例の検索ステップの数は、AoT の動作をどのように調整するのでしょうか?

図 6 は、検索ステップの合計数の影響を示しています。このうち、AoT (Long) と AoT (Short) は、それぞれ元の AoT に対して生成された結果の長いバージョンと短いバージョンです。

結果は、検索ステップの数が LLM の検索速度に暗黙的なバイアスを導入することを示しています。たとえ間違ったステップを踏んだとしても、可能性のある方向性を模索することを重視することが重要であることに注意することが重要です。