設立から4週間で1億500万ユーロを調達し、欧州言語モデルmistral.aiの資金調達覚書の全文を入手した。

出典: Empower Labs

画像の出典: Unbounded AI ツールによって生成

設立されてから数週間しか経っていないチームが、製品もユーザーも運用経験もない状態で、1億500万ユーロの資金調達を完了しました。このメモ（メモ）は、Light Speed氏や元Google CEOのエリック・シュミット氏らを説得するのに役立った。メモでは欧州市場、AIセキュリティ、コンプライアンスなどを強調しており、ミストラル氏はOpenAIとは全く異なるオープンソース路線を活用することで、最終的には優位性を確立し、超えることが可能になると考えている。読む限り、このメモは明らかに非常に巧みに書かれており、ハッタリの要素も含まれています。資金調達を完了するために、ヨーロッパ社会の現在のFOMO精神を大きな言語モデルにうまく利用しました。

ミストラルとは、フランス南部の乾燥した強い北西の寒風を指し、フランス製強襲揚陸艦の名前でもあります。これは世界有数の強襲揚陸艦です。この名前にはフランスの誇りが込められています。創業チームの6名は全員フランス人なので、ヨーロッパの大きな言語モデルというよりは、フランス語の大きなモデル会社という感じだと思います。彼はヨーロッパの良い物語を語りますが、それがヨーロッパの唯一の物語ではありません。

ディスカッショングループでメモを拝見し、メモの内容が秘密にする必要がなくなったことを確認した上で、ChatGPTを使用して全文翻訳し、内容の一部を校正し再翻訳しました。

mistral.ai 戦略メモ

作者: ミストラル.ai

翻訳: ChatGPT、王超

生成 AI は革新的なテクノロジーです

昨年、生成 AI (テキストと画像からテキスト/画像を生成できるシステム) の驚異的な加速が見られました。これらのシステムは人間を助けることができます:

● 優れた革新的なコンテンツ (テキスト、コード、グラフィックス) を作成します。

● 人間の数千倍の速さでコンテンツの非構造化ストリームを読み取り、処理し、要約します。

● 自然言語または API を通じて世界と対話し、これまでよりも迅速にワークフローを実行します。

ChatGPT のリリース後、生成 AI の強力な機能が突然一般に公開されました。このような製品は世界中でほんの少数の小規模チームによって生産されており、これらのチームの研究者の数が限られていることが、この分野での新しい経済の創出を妨げるボトルネックとなっています。

生成 AI は、人間の心の機械の能力をシームレスに拡張することで、あらゆる業界の生産性を向上させ、新しい産業を創出しようとしています (2022 年の市場規模は 100 億ドル、2030 年までに 1,100 億ドルに達すると予測され、年間成長率は 35% と予測されています)。これは、仕事の性質を変え、社会に前向きな変化をもたらす、世界経済に変革をもたらすテクノロジーです。

寡占が進行中

生成 AI 技術は、産業界と学術界での長年の研究に基づいています。トレーニングをインターネット規模のデータにスケールアップし、人間のフィードバックでモデルを修正することにより、テクノロジーを大衆が利用できるようにする画期的な進歩は、一握りの業界関係者によって達成されました。そのうちの最大手 (OpenAI) は、覇権的な意図を持っているようです。市場。

これらの少数のプレーヤーは、生成モデルをトレーニングして資産として使用し、生産性向上のための製品を作成する何千ものサードパーティにサービスを提供しているだけでなく、チャットボットなどの自社製品を通じて一般大衆にもサービスを提供しています。これらの生成モデルに基づいてさまざまなサービスを構築するために、多数のサードパーティのスタートアップが今も設立されています。

**私たちは、新興の生成 AI 市場の価値のほとんどは、製造が困難なテクノロジーである生成モデル自体から得られると信じています。 **これらのモデルは、高品質のソースからの何兆ものデータを処理する何千もの強力なマシンでトレーニングする必要があり、これが最初の高いハードルとなります。 2 番目の重要な障壁は、経験豊富なチームを構築することの難しさですが、mistral.ai はこれを実現するのに適した立場にあります。

現在 (GLM) 主要企業はすべて米国にあります。ヨーロッパにはまだ本格的な競合他社がありません。この新しいテクノロジーがどれほど強力であるか (そして危険であるか) を考えると、これは大きな地政学的問題です。 misstral.ai は、生産性と創造性を向上させ、来たるべき新たな産業革命を導く AI のヨーロッパのリーダーとなるでしょう。

現在の生成 AI は市場のニーズを満たしていません

OpenAI とその現在の競合他社は、クローズドなテクノロジーの道を選択しているため、市場範囲が大幅に制限されることになります。このアプローチでは、モデルは非公開に保たれ、テキスト間 API を通じてのみ提供されます。これにより、ビジネスにとって次の重要な疑問が生じます。

● 生成 AI 技術の使用を希望する組織は、貴重なビジネス データと機密性の高いユーザー データを、多くの場合パブリック クラウドに展開されるブラック ボックス モデルに提供する必要があります。これは、セキュリティ上の問題を引き起こします。機密に保たれたモデルは、その出力が安全であることを確認するためにチェックすることができず、そのようなモデルをセキュリティ クリティカルなアプリケーションにデプロイすることはできません。この状況は、特に企業が個人データをその法的境界線の外に転送する場合、治外法権が適用される可能性があるため、法的問題も引き起こします。

● モデル全体ではなく、モデルの出力のみを公開すると、他のコンポーネント (検索データベース、構造化入力、画像と音声) とのインターフェースが難しくなります。現在、モデルの出力と入力を相互接続することによって複合機能 (メモリ、ビジョンなど) を作成する製品が何百も存在します。 これらの製品は、モデルをホワイト ボックス (透明なモデル) として提供できれば、より良く、より高速に動作します (The Flamingo は、ホワイト ボックスのビジュアル モデルとテキスト モデルをテキスト + ビジュアル モデルに統合するなど)。

● モデルのトレーニングに使用されるデータは機密です。つまり、起源が不確かなシステムに依存しており、制御不能な出力が生成される可能性があります。この問題に対処するためのフィルタリングの取り組みでは、モデルがトレーニングされた可能性のある機密コンテンツを出力しないという弱くて脆弱な保証しか提供されません。この問題により、ChatGPT は 2023 年 4 月にイタリアで禁止されました。

ヨーロッパの市場パターンを打ち破る

私たちはmistral.aiを設立することで、これまでのクローズドモデルとは真逆のスタンスで、先進的なモデルを育成していきたいと考えています。 **私たちのビジョンは、これらのモデルをヨーロッパおよびより広範な業界で統合し、高価値のビジネスを開発しながら、この分野のリーダーになることです。 **

**mistral.ai は生成 AI の研究リーダーとなり、4 年以内に市場における AI テクノロジーの主要プロバイダーとなるでしょう。 **この目標を達成するために、私たちはまずいくつかの重要な差別化特性に焦点を当て、次に包括的な研究開発の取り組みを実施して、人間にとって実用的な価値のある人工知能に向けて進むための最も効果的な戦略を選択します。

まずは欧州市場に注力することで守備面での優位性が得られ、技術路線に対するオープンな姿勢が当社の魅力をさらに高めることになる。大規模言語モデリング (LLM) の分野で最も優秀な人材の多くはヨーロッパ人であり、私たちの豊富な経験から、彼らの多くが私たちのプロジェクトへの参加を希望していることがわかります。

技術的な位置付けが反対

当社の初期の差別化要因、つまり競合他社の戦略の盲点は次のとおりでした。

● **モデル開発に対してよりオープンなアプローチを採用します。 私たちはこのモデルを寛容なオープンソース ソフトウェア ライセンスの下でリリースする予定であり、競合他社よりも大幅に優れたパフォーマンスを発揮します。これらのホワイトボックス モデルの力を活用し、ブランドを中心とした開発者コミュニティを構築するためのツールをリリースします。このアプローチはイデオロギー的に OpenAI とは大きく異なります。これにより、トップの研究者が集まりやすくなり、多くの下流の熱心な開発者に門戸が開かれるため、プロジェクトの開発が強力に加速されます。これにより、当社の事業展開範囲が拡大します。私たちはオープンソース戦略と経済的利益のバランスをとり、*最も強力でプロフェッショナルなモデルを有料ユーザー向けに確保します。

○ 資金の 1% をオープンソース コミュニティ開発を担当する非営利財団に寄付します。

● オープンソースかライセンスかにかかわらず、モデルの内部 (アーキテクチャと訓練された重み) は常にお客様に公開されています。 **これにより、クライアントのワークフローとのより緊密な統合が可能になり、すべてを入力テキストとしてシリアル化し、ブラック ボックス API にフィードするのではなく、クライアントのコンテンツをディープ モデルのさまざまな部分にフィードできます。 **

● **データの出所とデータ管理にさらに重点が置かれています。 **当社のモデルは、ライセンス契約を交渉する高品質のデータ コンテンツ (スクレイピングされたコンテンツを除く) でトレーニングされます。これにより、Llama などの現在利用可能なモデルよりも優れたモデルをトレーニングできるようになります。ディープ エンゲージメント テクニック (ハイブリッド エキスパートと検索拡張モデル) を使用して、オプションのデータ ソース アクセスを備えたモデルを提供します。有料プレミアム ユーザーの場合、特定のモデルを財務/法務などに特化させることができます (これにより、パフォーマンスが大幅に向上します)。同様の手法を使用することで、私たちのモデルは、さまざまな企業の知的財産権を持つ従業員に差別化されたデータ アクセスを即座に提供できるようになります。

● **比類のないセキュリティとプライバシーの保証を提供します。 **私たちのモデルはプライベート クラウドに展開可能であり、オプションでデバイス上に直接展開できるため、問題の可能性があるプロセスを排除することでプライバシーの懸念を効果的に最小限に抑えることができます。この目的を達成するために、当社は小型でありながら超効率的なモデルのトレーニングに研究開発の取り組みを集中させ、市場で最高の品質/コスト比を備えたモデルを効果的に提案していきます。当社のオープンソース戦略により、主要な業界、特にデュアルおよびヘルスケアに導入された際のモデルの監査可能性も確保されます。

事業開発

ビジネスの面では、新興のサービスとしての AI 業界に最も価値のある技術モジュールを提供し、生成 AI を使用してビジネス ワークフローを完全に変えます。私たちは、ヨーロッパのインテグレーターや産業界の顧客と統合ソリューションを共同構築し、ヨーロッパで AI の活用を検討しているすべての企業にとっての主要ツールとなる非常に貴重なフィードバックを得ていきます。

業種との統合には、モデルへのフルアクセス ライセンス (トレーニングされた重みを含む)、需要に基づくモデルの特殊化、完全に統合されたソリューションを構築するためのインテグレーター/コンサルティング会社との商用契約など、さまざまな市場形式を取ることができます。ロードマップで詳しく説明されているように、テクノロジーの進化に応じて最適なアプローチを探索し、特定していきます。

AI 分野のリーダーになる方法

トップチーム

創設チームは、DeepMind や Meta で働いたこの分野のトップ研究者に加え、経験豊富なフランスの連続起業家や影響力のある公共指導者で構成されています。

● Arthur Mensch — CEO — DeepMind の元主任研究員、LLM へのいくつかの主要な貢献の主著者: Chinchilla、Retro、Flamingo

● Guillaume Lample — 主任研究員 — 元メタ上級研究員。 Llama プロジェクトを主導し、大規模言語モデルの分野に対する Meta の大きな貢献

● Timothée Lacroix – CTO – 元 Meta のソフトウェア エンジニア、Llama の技術リーダー

● ジャン・シャルル・サミュリアン、アラン CEO

● Charles Gorintin、Alan CTO

●セドリック・O氏、元フランス国務長官デジタル問題担当

すでに特定されている最初の5人の従業員は、大手テクノロジー企業の経験豊富な研究者となる。ヨーロッパとオープンソースの概念に対する彼らの熱意、および生成 AI の急速な発展による一部の企業の継続的な組織再編も、彼らがこれらの企業を離れるのに適切な時期となります。

インフラストラクチャとデータソース

競合モデルをトレーニングするには、エクサスケールのクラスターを少なくとも数か月間使用する必要があります。私たちはそのようなコンピューティング リソースを 1 年間レンタルして、さまざまな機能のオープンソース モデルや商用モデルを開発する予定です。

当社はすでに、コンピューティング リソースのレンタルに関してトップ クラウド サービス プロバイダーとの競争交渉を行っています (夏に開始し、9 月までに 1536 H100 のコンピューティング予約を形成する予定です)。 misstral.ai はヨーロッパに強力な基盤を持っているため、ディープラーニング コンピューティング サービスを積極的に拡大しているヨーロッパの新興クラウド サービス プロバイダーとも協力していきます。

私たちは以前に大規模なモデルをトレーニングしたことがあり、そのおかげで公的に利用可能な方法よりも 10 ～ 100 倍速くトレーニングできる専門知識が得られました。当社の創設者と初期の従業員は、与えられた計算予算で最強のモデルをトレーニングする方法を明確に知っていました。

私たちの初期の投資家もヨーロッパのコンテンツプロバイダーであり、私たちがモデルのトレーニングや微調整に使用できる高品質のデータセットを取得するために必要なすべての扉を開いてくれます。

主要顧客と一緒にシナリオを検討する

創設チームはすでにフランスおよびヨーロッパの主要な商業機関と商業探査を組織しています。小規模な製品指向チーム (年末までに 6 人) がビジネスの成長を開始し、一方、技術チームが貴重な技術モジュールをトレーニングします。

モデリング チームは、気が散ることを避けるために、引き続きテクノロジー開発に 100% 集中していきます。

ビジネス開発は、次の戦略を使用して、第 1 世代モデルファミリーの開発と同時に開始されます。

● 当社の最高の (非オープンソース) モデルへの完全なアクセスを許可されるサードパーティ インテグレータによって促進される、大手産業プレーヤーのニーズの集中的な調査

● 生成 AI 製品に焦点を当てたいくつかの小規模な新興パートナーと製品を共同設計します。

ビジネスベースの探査は、第 2 世代モデルの設計を推進するために使用されます。

＃＃ 路線図

最初の年

2世代のモデルをトレーニングし、モデル開発と商用統合を同時に進めます。第一世代は部分的にオープンソースとなり、チームが習得したテクノロジーに依存します。これにより、クライアント、投資家、機関のニーズを満たす当社の能力が検証されます。第 2 世代モデルは、現行モデルの重大な欠点を解決し、企業が安全かつ経済的に使用できるようにします。

最高のオープンソース標準モデルをトレーニングします

2023 年末までに、ChatGPT 3.5 および Bard の 2023 年 3 月バージョン、およびすべてのオープンソース ソリューションを大幅に上回るパフォーマンスを発揮できる一連のテキスト生成モデルをトレーニングする予定です。

このシリーズはオープン ソースとなり、コミュニティに参加してその上に構築し、オープン スタンダードにする予定です。

当社は競合他社と同じサービス インターフェースを提供し、サードパーティの使用状況データを収集するために料金を請求します。また、ブランドの影響力を拡大し、ファーストパーティのユーザー データを取得するためにいくつかの無料の消費者向けアプリケーションを作成します。

ビジネスニーズに合わせてカスタマイズおよび差別化

今後 6 か月間で、これらのモデルには、コンテンツ検索用のセマンティック埋め込みモデルと、ビジュアル入力を処理するためのマルチモーダル プラグインが装備される予定です。市販の高品質データソースを使用して再トレーニングされたアドホックモデルも用意されます。

商用開発は、第 1 世代モデル シリーズの開発と同時に開始され、2024 年の第 1 四半期の終わりまでに統合の概念実証を行う予定です。

テクノロジーに関しては、2024 年の第 1 四半期と第 2 四半期に、既存企業によって過小評価されている 2 つの主要分野に焦点を当てます。

● 便利な AI アシスタントとして機能しながら、16 GB ラップトップ上で実行できるほど十分小さなモデルをトレーニング

● ホットスワップ可能な追加コンテキストを使用してモデルをトレーニング**し、最大数百万の追加コンテキストを可能にし、言語モデルと検索システムを効果的に統合します。

同時に、トレーニングと微調整データセットは、パートナーシップとデータ取得を通じて引き続き強化されます。

2024 年第 2 四半期の終わりまでに、次のことを行う予定です。

● テキストとビジュアル出力を備えた最高のオープンソース テキスト生成モデルを配布する

● 最高の価値/コスト比を備えた汎用モデルとエキスパート モデルを備えています。

● スケーラブルで多様な利用可能な API を通じて、サードパーティ インテグレータにモデル機能を提供します。

● 当社のテクノロジーの使用を約束した 1 社または 2 社の大手業界プレーヤーとライセンスを取得した商業関係を確立する

＃＃ 次のステージ

OpenAI などのプレーヤーと競争し、それを超えるには、後の段階で多額の投資が必要になります (GPT-4 の費用は数億ドルです)。私たちの初年度の目標は、私たちが世界規模の AI 競争において最も強力なチームの 1 つであり、最大のプレーヤーと競争できるモデルを開発して発売できることを証明することです。大規模言語モデル (LLM) 研究者としての私たちの経験により、この分野を発見したり参入したりしている企業よりも、初期段階で資本効率を高めることができます。

mistral.ai の北の星の 1 つはセキュリティです。私たちは、モデルが私たちの価値観と一致する目的にのみ使用されることを確認しながら、適切に段階的にモデルをリリースします。このために、「レッド チーム」のベータ版へのアクセスを提供します。不適切な行動を見つけて修正します。

そうすることで、私たちは、人類がこの科学的進歩から恩恵を受けることを可能にする、安全で制御可能で効率的な技術を構築できることを主要な官民機関に説得していきます。そしてこれにより、シリーズ A 資金調達に参加する機関や国が集まります。シリーズ A (2024 年第 3 四半期) では、GPT-4 の機能を超えてモデルをトレーニングするために 2 億ドルを調達する必要があると予想されます。

強力な財政的支援により、当社ははるかに大規模なインフラストラクチャ上でモデルをトレーニングできるようになり、AI 研究のリーダーとしての当社の地位と、ヨーロッパの産業分野で選ばれるサプライヤーとしての地位が強化されます。

（全文）