光速美國：AI基礎設施層的未來在哪

原創：SenseAI

“自OpenAI 今年四月份推出GPT-4 以來，越來越多的模型開源，AI 信徒們的關注點也正在從模型轉移到應用。Lightspeed 最新文章對AI 模型的發展趨勢進行了推演，提出未來的大模型將分為三類模型，並結構化給出模型層面的可能機會梳理。本期內容帶給大家模型基礎設施層包括AI Ops 中間層的發展趨勢與機會思考。“

Sense 思考

我們嘗試基於文章內容，提出更多發散性的推演和深思，歡迎交流。

根據模型能力和成本，AI 模型將分為“大腦模型”、“挑戰者模型”和“長尾模型”。長尾模型小而靈活，更適合訓練針對細分領域的專家模型。疊加摩爾定律的周期性，未來算力封鎖並不存在，大腦模型的應用場景很難通殺，市場很可能還是根據應用場景的空間大小和價值鏈分配規則，選擇適合的模型。

模型側的新興系統機會：1）模型評估框架；2）運行和維護模型；3）增強系統。需要考慮的是中美不同市場、原本企業服務生態的差異性和資本偏好。

企業級RAG（檢索增強） 平台機會：模型複雜性和多樣性帶來的機會，1）操作工具：可觀察性，安全性，合規性；2）數據：在差異化商業價值和提供整體社會價值間，技術將帶來數據貨幣化的機會。

本篇正文共2426 字，仔細閱讀約7 分鐘

在過去的十年裡，美國老牌基金Lightspeed 一直在AI/ML 領域與傑出的公司、他們建立的平台以及他們服務的客戶合作，以更好地了解企業是如何思考Gen-AI 的。具體來說， Lightspeed 研究了基礎模型生態系統，並提出瞭如“最好的模型會有贏者通吃的動態嗎？”和“企業的使用案例都默認調用OpenAI 的API，還是實際使用會更多樣化？”等問題。這些答案將決定這個生態系統的未來增長方向，以及能源、人才和資金的流動方向。

01.模型生態系統分類

根據我們的學習，我們相信AI 中即將出現一場模型的寒武紀大爆發。開發者和企業會選擇最適合“要完成的任務”的模型，儘管在探索階段的使用可能看起來更為集中。企業採納的可能路徑是使用大型模型進行探索，隨著他們對使用案例的了解逐漸增加，逐漸轉移到生產時使用的較小的專用（調整+提煉）模型。下圖概述了我們如何看待基礎模型生態系統的演變。

AI 模型版圖可分為3 個主要、可能會有重疊的類別：

類別一：“大腦”模型

這些是最好的模型，代表著模型的最前沿。這是那些令人興奮的神奇演示的來源。開發者在嘗試探索AI 為他們的應用程序所能做到的極限時，通常首先考慮的是這些模型。這些模型的訓練成本高，維護和擴展複雜。但是同一個模型可以參加LSAT、MCAT、為您寫高中論文，並作為聊天機器人與您互動。開發者目前正在這些模型上進行實驗，並評估AI 在企業應用程序中的使用。

但是，通用模型使用起來昂貴、且推理延遲高，並且對於定義明確的有約束的使用案例可能是過度的。第二個問題是這些模型是通才，可能在專業任務上不太準確。 (可參考這篇Cornell 的論文) 最後，在幾乎所有情況下，它們也是黑盒子，對於正努力利用這些模型而不放棄其數據資產的企業來說，這可能會帶來隱私和安全挑戰。 OpenAI、Anthropic、Cohere 是一些公司實例。

類別二：“挑戰者”模型

這些也是高能力的模型，其技能和能力僅次於前面的通用大模型。 Llama 2 和Falcon 是這一類別中的最佳代表。它們通常與從訓練通用模型的公司出來的Gen“N-1” 或“N-2” 模型一樣好。例如，根據某些基準，Llama2 與GPT-3.5-turbo 一樣好。在企業數據上調整這些模型可以使它們在特定任務上與第一類通用大模型一樣好。

其中許多模型是開源的（或接近），一旦發布，便立即帶來了開源社區的改進和優化。

類別三：“長尾”模型

這些是“專家”模型。它們被建造用來為一個具體的目的服務，比如分類文檔、識別圖像或視頻中的特定屬性、識別業務數據中的模式等。這些模型靈活，訓練和使用成本低，可以在數據中心或邊緣運行。

簡單瀏覽Hugging Face 就足以了解這個生態系統現在和未來的龐大規模，因為它服務的使用案例範圍非常廣泛。

02.基礎適配與實用案例

儘管仍然處於早期階段，但我們已經看到一些領先的開發團隊和企業已經以這種細緻的方式思考生態系統。人們希望將使用與最佳可能的模型相匹配。甚至使用多個模型來服務一個更複雜的使用案例。

評估哪個模型/模型用於使用的因素通常包括以下內容：

1. 數據隱私和合規性要求：這影響了模型是否需要在企業基礎設施中運行，或者數據是否可以發送到外部託管的推理端點

2. 模型是否允許微調

3. 所需的推理“性能”級別（延遲、精度、費用等）

然而，實際上要考慮的因素往往比上面列出的要長得多，反映了開發者希望用AI 實現的使用案例的巨大多樣性。

03.機會在哪裡？

1. 模型評估框架：企業將需要獲得工具和專業知識，以幫助評估針對哪種用例使用哪種模型。開發人員需要決定如何以最佳方式評估特定模型是否適合"待完成的工作"。評估需要考慮多個因素，不僅包括模型的性能，還包括成本、可實施的控制水平等。

2. 運行和維護模型：幫助企業訓練、微調和運行模型（尤其是第三類長尾模型）的平台將會出現。傳統上，這些平台被廣泛稱為ML Ops 平台，我們預計這一定義也將擴展到生成式人工智能。諸如Databricks、Weights and Biases、Tecton 等平台都在迅速朝這個方向發展。

3. 增強系統：模型，尤其是託管的LLM，需要檢索增強生成以提供理想的結果。這就需要做出一系列輔助決策，包括

數據和元數據提取：如何連接到結構化和非結構化的企業數據源，然後提取數據以及訪問策略等元數據。

數據生成和存儲嵌入：使用哪種模型為數據生成嵌入。然後如何存儲它們：使用哪種矢量數據庫，特別是基於所需的性能、規模和功能？

現在有機會建立企業級RAG 平台，從而消除選擇和拼接這些平台的複雜性：

1. 操作工具： 企業IT 將需要為工程團隊建立防護欄、管理成本等；他們現在處理的所有軟件開發任務現在都需要擴展到人工智能的使用。 IT 部門感興趣的方麵包括

可觀察性：模型在生產中的表現如何？它們的性能是否隨著時間的推移而提高/降低？是否存在可能影響未來版本應用程序模型選擇的使用模式？

安全性：如何保證人工智能本地應用程序的安全。這些應用程序是否容易受到需要新平台的新型攻擊載體的攻擊？

合規性：我們預計人工智能原生應用和LLM 的使用將需要符合相關管理機構已經開始製定的框架。這是對現有的隱私、安全、消費者保護、公平等合規制度的補充。企業將需要能夠幫助他們保持合規、進行審計、生成合規證明及相關任務的平台。

2. 數據： 幫助了解企業擁有的數據資產以及如何利用這些資產從新的人工智能模型中獲取最大價值的平台將得到迅速採用。全球最大的軟件公司之一曾對我們說過："我們的數據是我們的護城河，是我們的核心知識產權，是我們的競爭優勢。利用人工智能將這些數據貨幣化，並以一種"在不削弱可防禦性的情況下促進差異化"的方式，將是關鍵所在。Snorkel 等平台在這方面發揮著至關重要的作用。

現在是構建人工智能基礎設施平台的極好時機。人工智能的應用將繼續改變整個行業，但它需要配套的基礎設施、中間件、安全性、可觀察性和操作平台，才能讓地球上的每個企業都能採用這項強大的技術。

參考材料

作者：Vela，Yihao，Leo

編輯與排版：Zoey，Vela