NGC Ventures：9月了，現在的AI還值得創業嗎？

Question

原文作者：Cherry, NGC Ventures## 前言本文初稿於八月底休息日摸魚之餘完成，草率發布後受到了諸多指教，筆者遂增改刪了一部分內容，以免貽笑大方。本文的內容主要是站在投資視角對AI 行業的現狀進行評價、對不同公司的技術/產品路線進行反思和猜想、對AI 行業公司的戰略進行抽象總結。因此，涉及到具體技術的部分，難免有疏漏，還請多包涵。不過說到底，能發論文的幾家大公司還撕的不可開交，似乎也沒人能評價本文內容的正誤。就像用GPT-4 給GPT-3.5 打分一樣，看起來合理，仔細想想是有點抽象的。因此筆者建議，將本文視為對不確定性行業的信息蒐集後形成的“判斷”。既然是判斷，立場必須鮮明，必須言之有物。至於判斷到底對不對，就留給時間檢驗吧。筆者始終認為：新行業噪音大，多動腦、敢於下判斷總是沒錯的。對於判斷題，盲猜的正確率是50% ，而連續猜錯三次的概率是12.5% ，哪怕是扔硬幣級別的下判斷，也是有意義的。下判斷並不可怕，判斷準確率低於扔硬幣才是最可怕的。在正式開啟本文之前，需要感謝以下工作，為本文提供了寶貴的靈感和數據源。當然，由於本文有許多推論都是基於這些工作，如果其中包含錯誤、或筆者理解有誤，本文的推論也將不再穩健，請讀者自行甄別。本文不構成投資建議，也很難構成投資建議。* Chain-of-Thought Hub：衡量大型語言模型推理性能的持續努力（* LIMA：對齊少即是多（* 2023年6月，指令調優的階段性回顧（* GPT-4架構、基礎設施、訓練數據集、成本、願景、MoE（好了，讓我們正式開始本文。## 大模型：發射賽博火箭2023 年討論AI 的第一步，就是討論大模型創業到底還能不能做。大模型（的預訓練）目前已經轉化成了發射火箭問題，只要燒的起、方向對，誰都能做。可以說，訓練大模型就是在發射賽博火箭。一個反常識的事情是，投資人對大模型訓練的難度是低估的，而對發射真火箭的難度是高估的。同樣是6000 萬美元的成本，投資人會覺得火箭升空失敗還可以有第二次機會，而訓練大模型失敗則被認為是浪費資金。GPT-4 在OpenAI 的GPU 利用效率（爆料稱約等於30% ）上，仍然消耗了6000 萬美元。這是一個{性能=效率×成本}的問題，而性能是道牆，如果其他的初創公司不能實現大於30% × 6000 萬= 1800 萬美元的性能效果，則用戶不如直接用GPT-4 。目前，許多號稱訓練大模型的公司的融資輪次在100 萬到500 萬美元這個區間。也就是說，即使是最大融資額的公司，其彈藥量也只足夠支持一次發射。而這次發射的GPU 利用率即使達到了100% ，也很難超過GPT-4 。從這個角度來說，發射火箭是更好做的，因為目前大部分火箭都是運載火箭，帶著衛星上天，而單次負載量有限，所以小的火箭公司可以接別人來不及發射的衛星單。大模型則不同，大模型的橫向擴展的邊際成本只有算力成本，而算力成本可以是彈性擴張的，也就意味著對於大模型公司來說，每一單的利潤都是白撿的利潤，幾乎不用付出額外成本，承接能力非常大。對於新成立的、質量差的大模型公司來說，很難接到溢出的需求。除非訓練成本大幅度下降，否則即使知道了GPT-4 的全部架構，許多公司短期也很難做出可投入市場的大模型。## 定制化：直面“贏家通吃”問題在硬件行業，一種常見的現像是通過定制化需求來實現早期的利潤，再通過早期利潤實現技術突破（或者追平）。然而大模型行業的定制化很難成為新進者的出路。關於這個判斷，解釋起來非常簡單：絕大多數微調後的模型追不上GPT-4 ，即使追上了，直接使用GPT-4 泛化的成本更低、人員需求更少、運氣需求更少、數據需求更少。只要GPT-4 和其他模型的斷檔級性能差距還存在，定制化就不能成為大模型公司的出路。一個非常典型的例子是Jasper，使用微調的GPT-3 服務企業客戶，然而在OpenAI 公開了ChatGPT（GPT-3.5）之後，其用戶迅速流失。因為Jasper 的產出物可以通過為GPT-3.5 輸入簡單的來得到，而無需使用一個泛化能力差和僅限企業內部使用的“落後版本”。相比於新公司，Jasper 至少還有一個GPT-3 到GPT-3.5 的空窗期用來發展。然而現在的新公司需要同時面對低成本高速度的GPT-3.5 和高性能的GPT-4 的擠壓。因此，寄希望於通過定制化積累利潤從而實現技術突破的路線，生存概率很低。## 微調：必要，別迷信目前的AI 行業對微調有一種不合實際的期待，這種期待從具體的技術實現和從宏觀的技術節奏來說，都是過於高估的。行業目前所討論的微調，絕大多數指“在預訓練模型的基礎上，使其生成符合人類意圖的回答”。這種微調可以稱為“對齊”，也就是讓回答對齊人類意圖，而不是為大模型增智慧。根據多篇論文的研究結果，大模型的知識應該主要來自預訓練，而微調更多用在對齊上。簡單解釋就是，預訓練決定腦容量，微調決定母語。為預訓練模型進行微調，是一個“掃除文盲”的過程。然而，目前行業中經常將微調視為一種為模型“增智慧”的方法，也就是通過微調提高模型性能、增加模型知識，認為這樣就可以抵達“人工智能的聖杯”。這種思路是有些偏頗的。首先，模型本身的性能並沒有提高，只是能更好地對齊人類意圖，如果任務的複雜度超過了模型的性能，微調並不能收穫如期的結果。就像是讓人腦進行量子運算一樣，做不到不是教育的問題。其次，在“意圖對齊”的部分進行“知識補充”，效果更類似於“鸚鵡學舌”。即：模型只是模仿專家說話，而並沒有理解其中的含義。儘管很多行業用“鸚鵡學舌”已經能得到很好的方案（畢竟大多數行業都不復雜嘛...），但這顯然不是我們應當在長期追求的結果。最後，對於“補充額外數據集，提高模型性能，增加模型知識”的訓練，應當被視為模型具有“增量學習/持續學習”的能力，即：模型的全參數可以通過增量數據集進行優化。這和所謂的“指令微調”並非同一個範疇的概念。總的來說，微調是非常重要的，但對當下的微調報以“迷信”的態度是錯誤的，特別是急於將當下的微調封為聖杯的言論，頗有一種“如今物理學的大廈上只飄著兩朵烏雲”的意味。退一步講，如果“增智慧”的需求真的可以通過指令微調來解決，做個簡單的向量搜索、直接把知識塞上下文裡、再簡單寫幾個模板，大概率能有一樣甚至更好的效果。大家都喜歡微調，可能也是煉丹技藝在現代的一種複興吧...## 大模型展望：四則運算（注意，此部分內容完全基於Dylan Patel 爆料的數據，可靠性暫無法驗證）GPT-4 的訓練基於N 卡的A 系列，訓練效率30% ，訓練時間大約2 個月，成本約6000 萬，總參數量為{ 1.7 萬億= 1100 億× 16 個專家模型}，處理單個問題的參數在2800 億左右。也就是說，有幾個關鍵參數，會導致大模型訓練的格局發生變化。* 訓練效率：從30% 提高到60% 可以直接縮短一倍時間* 算力密集度提高：從A 系列換成H 系列再換成AI 專用卡後，算力密集度提高，很多架構上影響效率的問題都可以解決* 算力成本下降：老黄（Nvidia 创始人）给显卡打折，显著的成本下降* 參數效率提高：模型的參數效率存在提高空間，參考以往新模型對老模型的參數效率通常能提高多倍，可能使用GPT-4 的30% 的參數就可以達到類似的效果綜上所述，從零訓練出GPT-4 級別性能的模型的成本可能有10 ~ 20 倍的優化空間，也就是壓縮到300 萬美元~ 600 萬美元，這個成本對於初創公司和大公司費控而言，都是更容易接受的。而這個變化，可能需要2 年左右的時間來完成。目前，主流大模型的技術仍然基於transformer，基礎架構沒有變化，煉丹加參數的大力出奇蹟思路仍未窮盡。 GPT-4 的訓練在算力限制很大的基礎上進行，且訓練時間不夠長。如果參數是隨訓練時間線性增長的，類似於GPT-4 的架構的模型的參數上限可能是10 萬億左右，即：訓練時間多一倍（× 2），並行顯卡多一倍（× 2） ，訓練效率快一半（× 1.5），參數效率高一半（× 1.5），最終得到十倍的結果。按照矽谷的風險偏好風格，這個參數量大概率會在一年內達到，無關乎性能到底有沒有提高。然而在達到10 萬億參數後，LLM 是否還能使用增加參數的思路大力出奇蹟，就是一件完全未知的事情了。如果參數量對模型性能的提升是邊際遞減的，則10 萬億很可能是個坎。然而，也有一種猜想是參數量對模型性能的提升是邊際遞增的，類似於“一個人如果足夠聰明則學什麼都快”。前者還好，假如後者成真了，模型性能可能會發生指數級提高，屆時發生什麼將完全無法預測。預測煉丹很難，但預測企業戰略節奏很容易。總參數10 萬億的模型對於絕大多數企業，無論是Google/MS/APPL 這種巨無霸，還是小一點的OpenAI，都是一個里程碑級別的終點，是可以停一停、做些技術探索的位置。企業/資本對於風險的偏好可以折算成一個“忍受時間”，如果整個忍受時間都在劇烈燃燒費用，則很難超過6 個月。人類的工藝成長速度不夠快，通常以5 年甚至更長時間為一個週期。因此，在5 年內，模型的極限參數量是可以估計出來的，應當是20 萬億~ 50 萬億。除非再次發生工藝/架構上的巨大突破，否則，超過這個數量級的概率很低。## 多模態：房間裡的大象多模態是房間裡的大象，可能會深刻影響到賽道的格局。多模態的簡單定義是：支持對多種模態信息的輸入和輸出。這個定義很鬆，比如市面上一些宣稱自己能夠進行多模態輸入的產品，其實是ChatBot 外面套了一層OCR。也有完全符合多模態定義的模型，但其性能就讓人不敢恭維了。就連GPT-4 的圖像多模態輸入能力也還沒有大範圍開放，可以看出這個功能並不是很穩定。不過，多模態的發布並不是一件遙遠的事情。 GPT-5 大概率是原生支持多模態的，也就是需要重新設計結構、重新訓練。而根據前文的推理，大模型的參數還有10 倍~ 50 倍的成長空間，在其中放入多模態能力，應該是足夠的。因此，可以預計，高可用高性能的多模態模型會在2 年內出現，樂觀點的話， 1 年差不多了。多模態是房間裡的大象，大家都知道最終會有這樣的東西，但很多產品/研究/戰略都忽視了其存在，以至於在關鍵部分存在誤判。例如，單一圖像模型理論上會受到多模態模型的嚴重壓迫，但目前大多數研究/投資都忽視了這個問題，導致給一些專注於圖像模型的公司過高的估值。這些公司未來很可能會失去技術壁壘、轉型成服務商，其估值體系應當參考服務提供商、而不是技術公司。如果要講“投資看人，同一個團隊可以做業務轉型”的故事，就當我沒說。傳奇總是在的，但做研究不能篤信傳奇。## 誰能訓練GPT-4 ：都能，但沒必要煉丹不需要那麼久，且大公司都在買顯卡。一個非常顯而易見的事情是，一年後，大型公司都會有能力訓練GPT-4 級別的模型。不過到底要不要訓練，就是另一個問題了。在遊戲領域，有一個經典的命題叫做“有原神玩原神”，即：當玩家可以選擇玩原神或者一款原神的競品時，如果競品做的不如原神好，則玩原神。這種“贏家通吃”的思路同樣適用於大模型行業。如果一家公司緊隨OpenAI 之後，經過半年的研發，推出了自己的媲美GPT-4 的90% 的性能的大模型，希望推向市場。此時，該公司會面臨如下問題：* OpenAI 存在雲資源的規模優勢，成本更低* OpenAI 的API 已經在產品代碼里大量使用，更換難度大* 該公司的產品性能仍然沒有超過GPT-4* OpenAI 的次世代產品（可能是GPT-5）即將發布可以看出，該公司的壓力是相當大的。比起訓練GPT-4 ，還不如直接押注次世代模型（對標GPT-5）。然後問題就會從“同類競品問題”轉換成“技術創新問題”。這是小公司難以承受之重。因此，討論“誰能訓練GPT-4 ”是一個戰略上的死題，比起思考這個問題，不如找找更有確定性、更有機會的方向。## 給AI 初創公司的建議：性能為先，避免停留筆者曾經撰寫過多篇文章吐槽langchain，其根本原因是langchain 的沒給開發者留提高性能的空間。美其名曰“通用性框架”，為了保證通用性，捨棄了很多大模型的性能提高空間，例如多輪對話和微調實現的格式控制。類似的還有guidance/Auto-GPT/BabyAGI 等，都想做“能用一輩子的框架”。一個客觀事實是，OpenAI 在5 月份發布了Function Calling，很多代碼中麻煩的地方都有了更好的實現方案，而實現更好方案的代價就是重構產品代碼的關鍵部分。 8 月份，OpenAI 又發布了微調GPT-3.5 的權限，很多需要精準控制輸出的環節又有了新的潛在方案。因此，初創公司必鬚麵對一個關鍵選項：是選擇①提高性能、不停重構產品，還是②減少使用新特性、始終使用老特性進行開發？對於新技術應用的創業，“開發”不僅僅代表著寫代碼的過程，也代表產品功能/戰略方面的“上限”。可以駕馭的性能越高，產品的理論功能越多、戰略靈活性越高。技術的發展無法預測，而微小的技術革新可能帶來高度敏感的競爭格局變化，初創公司對技術的發展應當具有反脆弱的能力。——說人話就是：性能優先，避免停留。開發層面，多用新特性；產品方面，思考新特性能做什麼功能；戰略方面，考慮到新特性對戰略的影響。《過秦論》中，曾提到秦朝在建立之後收繳了天下的金屬兵器，將其鑄成了十二個銅人，來消滅民間起義的可能性。但秦朝是出了名的短命王朝。比起無視變化，還是重視變化更有利些。## 給AI 初創公司的建議：放心做應用初創公司做應用有一個非常常見的隱患：大公司入場。這裡的大公司不僅包括應用巨無霸，例如Meta/字節/騰訊等，也包括AI 行業的上游，如OpenAI。大公司入場的原因通常有兩個：佈局產品機會，以及上游切下游。“佈局產品機會”是字面含義，大公司覺得這個方向值得做，於是做了。“上游切下游”多是無奈之舉，可能是因為自己研發了對標OpenAI 的大模型，但因為大模型贏家通吃的問題，沒有用戶，導致燒費用、沒營收、沒數據，進而導致性能逐漸落後。此時，切入下游、開發具體的應用、使用自己的技術，是唯一選項。根據歷史經驗，由於組織架構的問題，公司越貼近下游、技術越容易落後，而技術越落後、越不得不做下游。這些所謂的技術公司最後會和應用層公司搶奪同一個生態位。但是，在應用層的戰場裡，由於AI 技術出現時間很短，並沒有行之有效、可複用的規模優勢，大公司和初創公司的起點差不多。比起大公司，初創公司的效率高、洞察深，更容易占據優勢。一個值得注意的情況是，MS Azure 現在幾乎所有宣傳材料都是圍繞OpenAI 展開的，微軟這麼大的廠子卻要完全依靠OpenAI 作為自己的檯面，從側面證明初創公司在AI 領域有天然優勢。當然，某些雲廠商可能無法接受被初創公司牽頭，要自己吃掉所有市場。其成本高昂、速度緩慢，並不是近在眼前的威脅。事實是，確實有一些AI 應用的賽道非常短命，但還有很多長命賽道沒被發掘出來，AI 的應用也並非贏家通吃。從應用延伸到平台或技術，也是更加可行的通路。因此，我們應該理性看待大公司侵入應用層的能力。我們的建議是，AI 初創公司可以放心做應用。## 給AI 初創公司的建議：注意產品生命線前文提到，AI 初創公司可以放心做應用，但要考慮到AI 模型的性能問題，避免停留。這種狀況，直接表現為AI 產品可能在數個月內失去需求基礎、並逐漸凋零，而這種情況可能是頻繁發生的。AI 应用需要使用大模型的服务，大模型的性能不断提高。这种提高不是“速度”等单一维度的改善，而是输出质量、输出长度、输出控制性等全方面的改变。每一次技术的显著升级都会导致已有应用层产品的技术落后，并创造出新的机会和竞争对手。**我們將AI 應用在戰略/產品/技術上保有優勢和必要性的時間稱為“生命線”。 **以下是一些生命線較短的例子：* 當ChatGPT/Claude 支持文件上傳後，ChatPDF 失去必要性* 當Office 365 支持Copilot 後，使用AI 畫PPT 的產品失去優勢* 當GPT-3.5 出現後，Jasper 失去必要性**考慮到AI 行業的發展很快，生命線有限是常態。因此，接受生命線有限的事實，並儘量選擇生命線較長的方向發展，有利於保持長久的優勢和產品必要性。 **一般地，可以將生命線簡單劃分為3/6/12 個月的級別。* 3 個月：大公司來不及做的功能（如office/ChatGPT 還沒來得及做的功能）* 6 個月：有一定實現難度、無法融入既有方案，但優勢/必要性會隨AI 性能提高而消失（如通用AI 框架）* 12 個月：優勢/必要性能夠長期存在，不易被大公司/技術發展影響（如Hugging Face）\*平台類產品的生命週期並不一定長，畢竟商店也是平台初創公司在確定方向時只要有6 個月級別的生命線就可以做了， 12 個月級別的生命線可遇不可求。當產品生命線到盡頭，一般有兩種情況。第一種情況是優勢消失，需要重構產品升級技術，請參考上文“性能為先”；第二種情況是必要性消失，產品將逐漸被取代，此時產品仍有數個月的“運營壽命”，足夠初創公司選取下一個方向。## 給AI 初創公司的建議：Web3+AI 可以做目前圍繞Web3+AI 主題進行創業的項目已有很多，而考慮到技術發展的不確定性和市場的早期性，Web3+AI 的話題在未來還有諸多變數。本文旨在於不確定性中尋找大概率正確的確定性，因此，筆者仍希望拋磚引玉，提出一些可能存在機會的題材和方向，供初創公司和感興趣的研究者參考。* 去主權化/去中心化目前，AI 行業的領跑者只提供閉源模型，其持續提供服務的穩定性、透明性、中立性均不可控。去主權化/去中心化可能成為AI 行業一個重要的題材，即：基於去主權化/去中心化的基本架構，提供穩定、透明、中立的AI 服務。去主权化/去中心化是一种“备选方案”，也是一种“震慑”，能够显著提高中心化/主权化的 AI 公司的不道德成本，阻止其将 AI 模型使用在军事、邪教、政治等方面。而在極端情況中，一旦中心化/主權化AI 服務因某些緣故不再可用/可信，去主權化/去中心化AI 可持續提供高可用的服務，防止個別國家/地區乃至人類失去AI服務陷入癱瘓狀態。* 算力實用化ETH 從PoW 轉向PoS 的背後是遭人詬病的“挖礦不產生價值”的困境，而將Web3與AI 結合，可提供算力實用化的場景，從而實現存量算力消化和推動總算力成長等效果。* 虛擬資產化AI 是原生於算力和存儲上的資產，Web3與AI 的結合可以提供將AI 轉化為虛擬資產的通道，在實現AI 行業的價值實例化的同時，為Web3創造真正的原生虛擬資產。* Web3應用的變數Web3與AI 的結合可能為Web3應用帶來新的功能點和成長機會，現有的Web3應用可以全部重做一遍。## 寫在最後： 9 月了，現在的AI 還值得創業嗎先說結論：值得，且這個結論大概率可以沿用到過年。人對狀況的感知經常有偏差，筆者也不例外。有人過於樂觀，有人過於悲觀。筆者曾經與兩個團隊交流，一個團隊認為自己明年Q1就能做出來AI Agent，另一個團隊則覺得AI 只適合做些知識庫管理的工作，顯然前者過於樂觀，而後者悲觀過頭了。在做遠景規劃時，過於樂觀和過於悲觀都會掉到坑里，而廣泛傳播的言論又往往是這些偏差很大的言論，獨立思考顯得彌足珍貴。因此，不論讀者是否能夠接受本文的觀點，只要讀者在閱讀過程中產生了獨立的思考和判斷，筆者就無比欣慰了。最後，打個廣告。如果你有好的AI 創業想法，或者已經有成型的項目，歡迎隨時與NGC 的朋友們（比如我）交流。