大規模なモデル開発スタックの準備が整いました。

著者 | リチャード・マクマナス

企画 | コメント

出典丨51CTO テクノロジー スタック

Web3 は Web2 を破壊することはできませんでしたが、新たに出現した大規模モデル開発スタックにより、開発者は「クラウド ネイティブ」時代から新しい AI テクノロジー スタックに移行できるようになりました。

敏速なエンジニアは大規模なモデルに急ぐ開発者の神経には触れられないかもしれませんが、プロダクト マネージャーやリーダーの言葉は次のとおりです。「エージェント」は開発できるか、「チェーン」は実装できるか、「どのベクトル データベースを使用するか」 ?」 主要な主流の大規模モデル アプリケーション企業のドライバー テクノロジーの学生は、AI 開発の生成における困難を克服しています。

では、新たなテクノロジースタックの層は何でしょうか?最も難しい部分はどこですか?この記事では、それを知ることができます。

テクノロジー スタックを更新する必要があり、開発者は AI エンジニアの時代を迎えています。

過去 1 年で、LangChain や LlamaIndex などのツールの登場により、AI アプリケーションの開発者エコシステムが成熟しました。現在では、人工知能に焦点を当てた開発者を表す「AI エンジニア」という用語さえあります。AI の提唱者である Shawn @swyx Wang 氏によると、これは「チップ エンジニア」の次のステップです。彼はまた、AI エンジニアがより広範な AI エコシステムのどこに当てはまるかを視覚化するグラフも作成しました。

画像ソース: スウィックス

大規模言語モデル (LLM) は、AI エンジニアの中核となるテクノロジーです。 LangChain と LlamaIndex の両方が LLM を拡張および補完するツールであることは偶然ではありません。しかし、この新しい種類の開発者が利用できる他のツールは何でしょうか?

これまでのところ、私が見た LLM スタックの最も優れた図は、ベンチャー キャピタル会社 Andreessen Horowitz (a16z) のものです。 「LLM アプリスタック」については次のように説明されています。

画像ソース: a16z

そうです、最上位は依然としてデータです。

LLM テクノロジー スタックで最も重要なのはデータであることは明らかです。 a16z の図では、これが最上層です。 「組み込みモデル」では LLM が登場します。OpenAI、Cohere、Hugging Face、または人気が高まっているオープンソース LLM を含むその他の数十の LLM オプションから選択できます。

ただし、LLM を使用する前でも、「データ パイプライン」をセットアップする必要があります。これには、Databricks と Airflow が 2 つの例としてリストされています。そうしないと、データが「非構造化」で処理される可能性があります。これはデータ サイクルにも適合し、企業がカスタム LLM にデータを入力する前にデータを「クリーンアップ」または単に整理するのに役立ちます。 Alation のような「データ インテリジェンス」企業は、この種のサービスを提供しています。これは、IT テクノロジ スタックでよく知られている「ビジネス インテリジェンス」などのツールに似ています。

データ層の最後の部分は、LLM データを保存および処理するための最近有名なベクトル データベースです。 Microsoft の定義によれば、これは「特徴や属性の数学的表現である高次元ベクトルとしてデータを格納するデータベース」であり、データは「埋め込み」と呼ばれる技術を通じてベクトルとして格納されます。

大手ベクター データベース ベンダーの Pinecone は、メディア チャットで、Pinecone のツールが Databricks などのデータ パイプライン ツールと併用されることが多いと指摘しました。この場合、データは通常、他の場所 (データ レイクなど) に存在し、機械学習モデルを介して埋め込みに変換されます。データが処理されてチャンク化された後、結果のベクトルが Pinecone に送信されます。

ヒントと質問

次の 2 つの層は、プロンプトとクエリとして要約できます。これは、AI アプリケーションが LLM および (オプションで) 他のデータ ツールと連携する場所です。 A16z は、LangChain と LlamaIndex を「オーケストレーション フレームワーク」として位置づけています。つまり、開発者は、使用している LLM がわかれば、これらのツールを使用できることになります。

a16z 氏によると、LangChain や LlamaIndex などのオーケストレーション フレームワークは、「プロンプト リンクの詳細の多くを抽象化」しています。これは、アプリケーションと LLM 間のデータのクエリと管理を意味します。このオーケストレーション プロセスには、外部 API とのインターフェイス、ベクトル データベースからのコンテキスト データの取得、複数の LLM 呼び出しにわたるメモリの維持が含まれます。 a16z のチャートで最も興味深いボックスは、OpenAI、nat.dev、Humanloop を含む「Playground」です。

A16z はブログ投稿でそれを正確に定義していませんでしたが、「プレイグラウンド」ツールは、開発者が A16z が「キュー柔術」と呼ぶものを実行するのに役立つと推測できます。これらの場所では、開発者はさまざまなプロンプト手法を試すことができます。

Humanloop は英国の企業で、そのプラットフォームは「共同プロンプト ワークスペース」を特徴としています。さらに、それ自体を「本番 LLM 機能のための完全な開発ツールキット」であると説明しています。したがって、基本的には LLM のものを試し、それが機能する場合はアプリケーションにデプロイすることができます。

パイプライン操作: LLMOps

大型模型製作の組立ラインが徐々に明らかになりつつあります。オーケストレーション ボックスの右側には、LLM キャッシュや検証などのいくつかの操作ボックスがあります。また、Hugging Face などのオープン API リポジトリや OpenAI などの独自の API プロバイダーを含む、LLM 関連のクラウドおよび API サービスも幅広く提供されています。

これはおそらく、「クラウド ネイティブ」時代に私たちが慣れ親しんでいた開発者テクノロジー スタックの中で最も類似した場所であり、多くの DevOps 企業が自社の製品リストに人工知能を追加しているのは偶然ではありません。 5月に私はハーネスのCEO、ジョティ・バンサル氏と話をした。 Harness は、CI/CD プロセスの「CD」部分に焦点を当てた「ソフトウェア配信プラットフォーム」を実行しています。

Bansai 氏は、既存の機能に基づいた仕様の生成からコードの記述に至るまで、ソフトウェア配信ライフサイクルに関わる退屈で反復的なタスクを AI が軽減できると教えてくれました。さらに同氏は、AIはコードレビュー、脆弱性テスト、バグ修正を自動化し、さらにはビルドやデプロイのためのCI/CDパイプラインの作成も可能だと述べた。 5 月に私が行った別の会話によると、AI は開発者の生産性も変化させています。ビルド自動化ツール Gradle の Trisha Gee 氏は、AI はボイラープレート コードの作成などの反復的なタスクの時間を削減し、開発者がコードがビジネス ニーズを満たしているかどうかを確認するなどの全体像に集中できるようにすることで、開発をスピードアップできると語った。

Web3 は廃止され、大規模なモデル開発スタックが登場します

新興の LLM 開発テクノロジ スタックでは、オーケストレーション フレームワーク (LangChain および LlamaIndex)、ベクトル データベース、Humanloop などの「プレイグラウンド」プラットフォームなど、一連の新しい製品タイプが見られます。これらはすべて、この時代の基礎となるコアテクノロジーである大規模言語モデルを拡張および/または補完します。

前年に Spring Cloud や Kubernetes などのクラウドネイティブ時代のツールが台頭したのと同じです。ただし、現在、クラウド ネイティブ時代の大企業、中小企業、トップ企業のほぼすべてが、自社のツールを AI エンジニアリングに適応させるために最善を尽くしており、これは LLM テクノロジー スタックの将来の開発に非常に有益です。

はい、今回の大きなモデルは「巨人の肩の上に立っている」ようです。コンピューター技術における最高のイノベーションは常に以前の基盤の上に構築されます。おそらくそれが、「Web3」革命が失敗した理由です。それは前世代を基礎にして構築するというよりも、それを横取りしようとしたのです。

LLM テクノロジー スタックがそれを実現したことは明らかであり、クラウド開発時代から新しい AI ベースの開発者エコシステムへの架け橋となっています。

参考リンク: