IOSG Ventures: LLM はブロックチェーンに力を与え、オンチェーンエクスペリエンスの新時代を開く

金色财经_

2023-08-08 05:08:57

執筆者: Yiping、IOSG Ventures

前に書きます

大規模言語モデル (LLM) がますます繁栄するにつれて、多くのプロジェクトが人工知能 (AI) とブロックチェーンを統合していることがわかります。 LLM とブロックチェーンの組み合わせは増加しており、人工知能がブロックチェーンと再統合される機会も見られます。言及する価値があるのは、ゼロ知識機械学習 (ZKML) です。
人工知能とブロックチェーンは、根本的に異なる特性を持つ 2 つの革新的なテクノロジーです。人工知能には強力なコンピューティング能力が必要ですが、これは通常、集中型データセンターによって提供されます。ブロックチェーンは分散コンピューティングとプライバシー保護を提供しますが、大規模なコンピューティングやストレージのタスクではうまく機能しません。弊社では現在も人工知能とブロックチェーン統合のベストプラクティスを模索・研究しており、今後「AI+ブロックチェーン」を組み合わせた現在のプロジェクト事例をいくつか紹介していきます。

出典: IOSG ベンチャーズ

この調査レポートは 2 部に分かれており、この記事は上部で、暗号化分野における LLM の応用に焦点を当て、アプリケーションのランディング戦略について説明します。

LLM とは何ですか?

LLM (Large Language Model) は、多数のパラメーター (通常は数十億) を持つ人工ニューラルネットワークで構成されるコンピューター化された言語モデルです。これらのモデルは、大量のラベルのないテキストでトレーニングされます。

2018 年頃、LLM の誕生により自然言語処理の研究に革命が起こりました。特定のタスクに対して特定の教師ありモデルをトレーニングする必要がある以前の方法とは異なり、LLM は一般的なモデルとして、さまざまなタスクで適切に実行されます。その機能と用途は次のとおりです。

テキストの理解と要約: LLM は、大量の人間の言語とテキストデータを理解して要約することができます。重要な情報を抽出し、簡潔な要約を生成できます。
新しいコンテンツの生成: LLM には、テキストベースのコンテンツを生成する機能があります。それをモデルにフィードすることで、質問、新しく生成されたテキスト、要約、感情分析に答えることができます。
翻訳: LLM は、異なる言語間の翻訳に使用できます。深層学習アルゴリズムとニューラルネットワークを利用して、単語間の文脈と関係を理解します。
テキストの予測と生成: LLM は、歌、詩、物語、マーケティング資料など、人間が生成したコンテンツと同様に、コンテキストに基づいてテキストを予測して生成できます。
さまざまな分野での応用: 大規模な言語モデルは、自然言語処理タスクに広く適用可能です。これらは、会話型人工知能、チャットボット、ヘルスケア、ソフトウェア開発、検索エンジン、家庭教師、執筆ツールなどで使用されています。

LLM の強みには、大量のデータを理解する能力、複数の言語関連のタスクを実行する能力、およびユーザーのニーズに合わせて結果を調整できる可能性が含まれます。

一般的な大規模言語モデルのアプリケーション

LLM はその卓越した自然言語理解能力により大きな可能性を秘めており、開発者は主に次の 2 つの側面に焦点を当てています。

大量のコンテキストデータとコンテンツに基づいて、正確かつ最新の回答をユーザーに提供します
さまざまなエージェントとツールを使用して、ユーザーによって割り当てられた特定のタスクを完了します

これら 2 つの側面により、XX とチャットする LLM アプリケーションが雨後の筍のように爆発的に成長します。たとえば、PDF とのチャット、ドキュメントとのチャット、学術論文とのチャットなどです。

その後、LLM をさまざまなデータソースと融合する試みが行われました。開発者は、Github、Notion、一部のメモ作成ソフトウェアなどのプラットフォームを LLM と統合することに成功しました。

LLM 固有の制限を克服するために、さまざまなツールがシステムに組み込まれました。最初のそのようなツールは検索エンジンで、LLM に最新の知識へのアクセスを提供しました。さらなる進歩により、WolframAlpha、Google Suites、Etherscanなどのツールが大規模な言語モデルと統合される予定です。

LLM アプリのアーキテクチャ

以下の図は、ユーザーのクエリに応答するときの LLM アプリケーションのフローの概要を示しています。まず、関連するデータソースが埋め込みベクトルに変換され、ベクトルデータベースに保存されます。 LLM アダプターは、ユーザークエリと類似性検索を使用して、ベクターデータベースから関連するコンテキストを見つけます。関連するコンテキストが入力され、LLM に送信されます。 LLM はこれらを実行し、ツールを使用して回答を生成します。精度を向上させ、コストを削減するために、LLM が特定のデータセットに合わせて調整されることがあります。

LLM アプリケーションのワークフローは、次の 3 つの主要なフェーズに大まかに分割できます。

データの準備と埋め込み: このフェーズには、プロジェクトのメモなどの機密情報を将来のアクセスに備えて保管することが含まれます。通常、ファイルはセグメント化され、埋め込みモデルによって処理され、ベクトルデータベースと呼ばれる特殊なタイプのデータベースに保存されます。
定式化と抽出: ユーザーが検索リクエスト (この場合は商品情報を検索するため) を送信すると、ソフトウェアはシリーズを作成し、それが言語モデルに入力されます。最後のファイルには、通常、ソフトウェア開発者によってハードコーディングされたプロンプトテンプレート、数ショットの例としての有効な出力の例、外部 API から取得した必要なデータ、およびベクターデータベースから抽出された関連ファイルが含まれています。
実行と推論: 完了したら、推論用の既存の言語モデルにフィードします。これには、独自のモデル API、オープンソース、または個別に微調整されたモデルが含まれる場合があります。この段階で、開発者によっては、ログ記録、キャッシュ、検証などのオペレーティングシステムをシステムに組み込むこともあります。

LLM を暗号空間に持ち込む

暗号化分野 (Web3) と Web2 には同様のアプリケーションがいくつかありますが、暗号化分野で優れた LLM アプリケーションを開発するには特別な注意が必要です。

暗号通貨エコシステムは独自の文化、データ、収束を備えたユニークなものです。これらの暗号的に制限されたデータセットに基づいて微調整された LLM は、比較的低コストで優れた結果を提供できます。データは豊富に入手可能ですが、HuggingFace のようなプラットフォームにはオープンなデータセットが明らかに不足しています。現在、スマートコントラクトに関連するデータセットは 1 つだけあり、113,000 のスマートコントラクトが含まれています。

開発者は、さまざまなツールを LLM に統合するという課題にも直面しています。これらのツールは、LLM にトランザクション関連データへのアクセス、分散型アプリケーション (Dapps) との対話、およびトランザクションの実行機能を提供する点で、Web2 で使用されるツールとは異なります。これまでのところ、Langchain に Dapp 統合は見つかっていません。

高品質の暗号 LLM アプリケーションを開発するには追加の投資が必要になる場合がありますが、LLM は暗号空間に自然に適合します。このドメインは、豊富でクリーンな構造化データを提供します。これに、Solidity コードが簡潔であることが多いという事実と組み合わせると、LLM による関数コードの生成が容易になります。

パート 2 では、LLM がブロックチェーン空間に役立つ 8 つの潜在的な方向性について説明します。