プラットフォームの格闘、クラウドデータ生成AIの戦いで数百億ドル

著者: Vivek Sabrina、出典: Silicon Rabbit Race

画像の出典: Unbounded AI ツールによって生成

Snowflake と Databricks はデータベース分野で常に注目を集めている 2 社であり、同じ敷地内にありながらもそれぞれに特徴があり、競争の俎上に上っていませんでした。

この生成 AI の波において、両社は買収を通じて非常に積極的であり、Snowflake は Neeva (エンタープライズレベルの AI 検索エンジン) の買収を完了し、Databricks は MosaicML (ML モデル展開) を 13 億米ドルで買収し、2016 年に買収を発表しました。 OmniML (Model Compression) の取得。

両社は、表面上は調和し、水面下ではライバル関係にあったこれまでの状況を変え、同社にとって最も重要な年次総会を同日開催することを選択し、自社の生成AIレイアウトを強調しており、その野心は隠すことができない。

Snowflake は 2020 年に上場予定で、現在の市場価値は 579 億 2000 万米ドル (2023.8.1)、Databricks はまだ上場されていませんが、最後の資金調達ラウンドによると、その評価額は 380 億米ドルに達しています。生成 AI の恩恵により、Databricks の評価額/将来の上場市場価値は Snowflake に追いつくことができるでしょうか? Snowflake は次のレベルに進むことができるでしょうか?

Madrona 氏のパートナーである Vivek 氏と、Snowflake に投資した投資家 Sabrina 氏は、生成 AI の分野で争っている両社について意見を共有しました。

先週は、データと人工知能の分野の実務者にとって重要な週でした。最も重要な 2 つのプレーヤーである Databricks と Snowflake が、それぞれサンフランシスコとラスベガスで年次カンファレンスを開催しました (Databricks のデータと AI サミットとスノーフレークのサミット)。 。

この 2 つの巨人が同じ週に大きなイベントを開催することを決定したのは偶然ではありません。 **Snowflake と Databricks は過去 10 年間友人でありライバルでしたが、今週明らかになったのは、彼らが今ではお互いの最大のライバルであり、新たな戦場は人工知能であるということです。 ** 当然のことながら、両方のカンファレンスでの議論と発表の多くは生成 AI を中心に展開されました。重要なメッセージは、生成型 AI 戦略を構築するには、すべての企業がデータ戦略から始める必要があるということです。

当然のことながら、Databricks と Snowflake の両方が、なぜこの取り組みにおいて顧客を最大限にサポートできるのかを主張しました。

バリュー チェーンの異なる部分でスタートし、かつては戦略的パートナーシップでさえあった 2 つの企業が、この人工知能の新時代において、どのようにしてこれほど激しい競争相手に進化したのでしょうか?

さらに深く掘り下げてみましょう。

[簡単な免責事項: マドロナはスノーフレークのシリーズ C ラウンドに投資しており、現在も同社の株式の一部を所有しています。 】

01Snowflake: データ ウェアハウスからデータ クラウドへ

Snowflake は、Benoit Dageville と Thierry Cruanes によって 2012 年に設立されました。彼ら 2 人は Oracle で長年働いてきたデータベースの専門家で、ほとんどのデータ ウェアハウスが「強化されており、高価で、使いにくい」ことを痛感しています。 Dageville と Cruanes は、Vectorwise の元 CEO である Marcin Zukowski と提携して、次の 3 つの重要な前提に基づいて未来のデータ ウェアハウスを構築しました。

1. 完全にクラウドベースのアーキテクチャ。

2. コンピューティングとストレージを分離して、ほぼ無制限の拡張を実現します。

3. コンピューティング リソースの使用に柔軟性があり、前例のないクエリ処理の速度と柔軟性が可能になります。 現在、Snowflake は、「単なる」クラウド データ ウェアハウスから、データにアクセスし、構築し、共同作業し、収益化するための単一のプラットフォームを顧客に提供する「データ クラウド」に成長しました。わずか 10 年余りで、Snowflake は 550 億ドルの上場企業に成長し、6,000 を超える顧客と多くのフォーチュン 500 企業にサービスを提供しています。 Snowflake は、主要なハイパースケール クラウド プロバイダー (Azure、AWS、GCP) と提携し、AI にさらに注目を集めるようになりました。

この目標を達成するために、同社は人工知能と機械学習の分野で次のような一連の買収と製品の発売を行ってきました。

1. Snowpark を使用すると、データ サイエンティストはエンドツーエンドの機械学習ワークロードの開発、展開、オーケストレーションに好みのプログラミング言語を使用できます。 Snowpark を使用すると、顧客はデータを取り込み、分析、変換して、機械学習モデルをトレーニングし、より予測的な分析を実行できます。

2. Streamlit は、Snowflake が 2022 年 3 月に 8 億ドルで買収したデータ駆動型アプリケーション構築ツールです。 Streamlit を使用すると、顧客はわずか数行のコードでデータ集約型アプリケーションを開発できます。 Streamlit は、フロントエンド Web アプリケーションを通じてデータ分析タスクと機械学習モデルの出力をコンテキスト化するプロセスを簡素化します。

3. Neeva は、Snowflake が今年初めに買収した会社で、特により会話的な方法で、企業の対話とデータ検索を加速することを目指しています。

02Databricks: レイクハウスを構築

Databricks は、Snowflake のわずか 1 年後の 2013 年に設立されました。業界の実務家である Benoit 氏と Theirry 氏とは異なり、Databricks は学界やオープンソース コミュニティと深いつながりを持つ人々のグループによって設立されました。

現在の CEO Ali Ghodsi を含む 7 人の創設者は、カリフォルニア大学バークレー校の AMPLab 研究者であり、大規模データ処理用のオープンソース統合分析エンジンである Apache Spark を考案しました。 Spark は、最も大規模で最も使用されているデータ処理フレームワークの 1 つとして成長し、大規模なデータ エンジニアリング、データ サイエンス、機械学習で重要な役割を果たしています。

Databricks の当初の目標は、Spark を商用化し、大規模組織に必要なすべての機能 (ガバナンス、サポート、ホスティングなど) を提供するエンタープライズ グレードの Spark をリリースすることでした。その後、Databricks は、データ、分析、人工知能を統合する革新的な「レイクハウス プラットフォーム」に進化しました。統一された Lakehouse のコンセプトは、「統合、ストレージ、処理、ガバナンス、共有、分析、人工知能」を単一のプラットフォーム上に組み合わせたものです。

過去 10 年間で、Databricks は世界で最も評価の高い非公開企業の 1 つとなり、2021 年の評価額は 380 億ドルとなり、最近では収益マイルストーン 10 億ドルを達成しました。これらは数万の法人顧客やオープンソース ユーザーにサービスを提供しており、最も注目度の高い IPO の 1 つと考えられています。このような成長の中で、同社は最近の注目すべき買収や製品発売により、AI 分野のリーダーとしての地位をますます高めています。これには、13 億ドルでの MosaicML の買収 (詳細は後述) や、命令調整された LLM である Dolly のオープンソース化などが含まれます。 30 ドル未満でトレーニングを受けることができます。

03 AI の衝突

Snowflake と Databricks はどちらも、企業が生成 AI への移行に備える中、長期的な構造トレンドを活用し続ける有利な立場にあります。両社は、生成 AI アプリケーションがより広く利用可能になるにつれて、自社を戦略的なマルチ製品データ プラットフォームとして位置づけようとしています。ここでは、それぞれのカンファレンスでの重要な発表と、各社の AI 戦略全体に対する当社の見解をいくつか紹介します。

Snowflake の重大なお知らせ:

開発者の発表

1. Snowflake のネイティブ アプリケーション フレームワーク: 開発者が新しい方法でデータを利用するアプリケーションを作成、配布、収益化できるようにすることで、Snowflake のデータ クラウドに基づいて拡張できます。

2. Snowpark Container Service: データ プログラマビリティとコンピューティング インフラストラクチャを拡張して、プログラミング言語をサポートし、サードパーティ ソフトウェアにアクセスし、フルスタック アプリケーションと LLM をホストするための強化されたセキュリティとガバナンスを提供します。 Snowflake のコンピューティング プラットフォームを汎用化することでさらなる柔軟性が提供され、顧客は最下層 (データ層) から UI 層に至るまで完全なエンドツーエンドのアプリケーションを実行できるようになります。

3. その他の重要な発表: Snowpipe ストリーミング機能、Dynamic Tables (マテリアライズド テーブルとも呼ばれる)、Document AI (ドキュメントから非構造化データを抽出する新しいサービス)、および Iceberg Tables。

パートナーの発表Snowflake は、NVIDIA、Microsoft、Weights & Biases を含むいくつかの主要パートナーを発表しました。

1. NVIDIA との提携により、同社の NeMo エンタープライズ開発フレームワークを Snowflake のデータ クラウドに組み込むことが計画されており、これにより、Snowflake の顧客は、Snowflake に保存されている独自のデータを利用して LLM および AI ベースのアプリケーションを構築および展開できるようになります。

2. Microsoft との提携により、Microsoft Azure の OpenAI および Azure AI/ML サービスを中心とした新製品の統合に重点を置き、Azure とのパートナーシップが拡大します。このコラボレーションにより、ワークロードと顧客をデータ クラウドに取り込む可能性があります。

3. 主要な MLOps プラットフォームである Weights & Biases と連携することで、Snowflake のコンテナ サービスにより、Weights & Biases は Snowflake データ クラウドでの ML モデル、LLM、および LLM 駆動型アプリケーションの反復開発を加速できます。最終的には、このコラボレーションにより、企業とユーザーが生成 AI をより簡単に構築して活用できるようになります。

4. これら 2 社に加えて、Snowflake は Alteryx、Hex、Dataiku、RelationalAI、Pinecone などとの他の多くのパートナーシップを発表しました。

私たちの意見

最近まで、Snowflake は既存の機能に生成 AI を追加する計画を明らかにしておらず、多くの投資家が、特に Databricks と比較して、この分野での Snowflake の競争能力について懸念を表明しました。しかし、2023 年のサミットで、Snowflake は、信頼できるデータ クラウド プロバイダーとしての地位を確立するという強力なビジョンを提示し、それによって生成 AI に関する強力なストーリーを構築しました。

Snowflake と Nvidia とのパートナーシップ、および Snowpark コンテナー サービスの発表により、Snowflake は AI データ スタックにおいてより実行可能なプレーヤーになりました。彼らが伝えたい核心点は、Nvidia GPU と AI ソフトウェアによる高速コンピューティングを提供しながら、顧客が Snowflake データ クラウド内の LLM と AI ベースのアプリケーションに安全にアクセス、開発、デプロイできるようにできるということです。

彼らのストーリーとメッセージは印象的ですが、AI 分野では Databricks に比べてまだ弱者であると考えられます...

Databricks の主な発表:

開発者の発表

1. LakehouseIQ: データの検索とクエリを実行するための LLM ベースの自然言語インターフェイス。また、顧客のデータ、社内専門用語、使用パターンを強力に理解して、顧客のアーキテクチャ、ドキュメント、クエリ、システムなどを理解します。

2. **LakehouseAI: **Databricks は、データの統合、機械学習用のデータセットの準備、機械学習モデルの微調整とキュレーション、モデル自体のデプロイなどの LLMOps 機能を含む、Databricks ML の多数の新機能を発表しました。 。 Databricks は、Vector Search、Feature Services、MLFlow Gateway に関する多くの機能も発表しました。

3. MosaicML: サミットの直前に、Databricks は MosaicML を 13 億ドルで買収すると発表しました。これはサミット中に「GenAI モデルを構築するためのマシン」として位置づけられていました。

4. **その他の注目すべき発表: **Delta Lake 3.0、MLFlow 2.5 は、さまざまなバックエンド LLM、Lakehouse Apps、および Databricks Lakehouse Monitoring のインテリジェントな監視をサポートします。

私たちの意見

Databricks は、データ、AI モデル、モニタリング、ガバナンス機能を Lakehouse プラットフォームに統合することで、AI に対する統一的なアプローチを採用しています。その結果、Databricks を使用すると、顧客は GenAI ソリューションをより効率的に開発できるようになり、顧客は Databricks を、機械学習開発において平均してより高速でコスト効率が高く、使いやすい信頼できるパートナーとして認識しています。

Databricks はすでに AI スタックの主要プレーヤーとみなされていますが、オープンソースの命令追従 LLM である Dolly などのモデルへの投資や、MosaicML の大規模買収を通じて、GenAI におけるリーダーシップを確固たるものにしました。 Databricks はさらに、GenAI スタートアップ企業が大手テクノロジー企業に束縛されることなく、コスト効率の高い方法で独自のデータを活用し、独自の AI モデルをトレーニングおよびデプロイするための最良の方法として、レイクハウスを強調しました。

**04 将来を見据えて、何が期待できるでしょうか? **

生成 AI のブームは 8 か月以上続いていますが、この 1 週間で、Snowflake と Databricks がこの分野で頭脳と市場シェアを争っていることが明らかになりました。では、この激化する競争から何が期待できるのでしょうか?

1. 買収は継続します → Snowflake と Databricks はどちらも、全体的な戦略を補完する中小企業の買収を継続する比較的有利な立場にあります。 Snowflake の貸借対照表には約 40 億ドルの現金があり、Databricks は取引可能な高い評価額を持っています。その一方で、何百ものAIおよびデータツールのスタートアップ企業が、枯渇したIPO市場に販路を見つけようと熱望している。 Neeva と MosaicML がこれらの巨人による最後の買収になるとは考えておらず、市場では統合が起こるだろう。

2. 顧客が利益を得る → Snowflake と Databricks の間で激化する競争では、明らかに勝者は顧客であるはずです。この 2 つの巨人は、自社のプラットフォームに新しい製品とサービスを急速に追加し、顧客がデータ アプリケーションを構築し、LLM を活用するための「ワンストップ ショップ」を構築しています。このプラットフォームの強化により、AI へのアクセスが民主化され、データ サイエンティスト、データ エンジニア、AI 実践者がより有意義にコラボレーションできるようになります。

3. Azure と AWS はより多くの利益を得る → Snowflake と Databricks が AI 市場でさらに拡大し続けると、主に Azure と AWS によって提供される多くのコンピューティング パワーが必要になります。データ エンジニアのアナント パックドゥラリ氏は、これを鋭く観察しています。 Nvidia が AI で利益を得るのと同じように、Snowflake と Databricks のコンピューティングのインフラストラクチャを提供するハイパースケール クラウド サービス プロバイダーは、AI レースでどちらが勝者になるかに関係なく、利益を得る立場にある必要があります。

企業が生成 AI 戦略をサポートするためにデータへの依存を強めているため、Snowflake と Databricks の両方がこの世代交代を活用するのに有利な立場にあると考えています。彼らはバリューチェーンの異なる部分に属しており、その関係は過去 10 年間で進化してきましたが、現在では莫大な報酬を賭けた競争に参加しています。