OpenAI新模型研發遇挫，稀疏性是大模型降本的鑰匙嗎？

OpenAI 也有失敗的模型。

原文來源：機器之心

圖片來源：由無界 AI生成

大模型的訓練與運行成本極其高昂，OpenAI 也嘗試過降低成本，只可惜失敗了。

去年年底，當 ChatGPT 引起全球轟動時，OpenAI 的工程師開始研究一種新的人工智慧模型，代號為 Arrakis。 Arrakis 旨在讓 OpenAI 能夠以更低的成本運行聊天機器人。

但據知情人士透露：2023年年中，OpenAI 已經取消了Arrakis的發佈，因為該模型的運行效率沒有公司預期的那麼高。

這次失敗意味著 OpenAI 失去了寶貴的時間，並需要將資源轉移到開發不同的模型上。

對合作投資來說，Arrakis 的研發計劃對於兩家公司完成100億美元投資和產品交易的談判非常有價值。 據一位知情的微軟員工透露，Arrakis 的失敗讓微軟的一些高管感到失望。

更重要的是，Arrakis 的失敗預示著人工智慧的未來發展可能會充滿難以預測的陷阱。

**Arrakis 是個什麼樣的模型？ **

知情人士稱，OpenAI 希望 Arrakis 是一個與 GPT-4 性能相當，且運行效率更高的模型。 Arrakis 模型用到的關鍵方法是利用稀疏性。

稀疏性是谷歌等其他人工智慧開發商也公開討論並使用的機器學習概念。 谷歌高管 Jeff Dean 曾表示：「稀疏計算將成為未來的一個重要趨勢。」

OpenAI 很早就開始了關於稀疏性的研究，早在 2017 年他們就推出了稀疏計算內核。 Arrakis 本來可以讓 OpenAI 更廣泛地推廣其技術，因為該公司可以使用數量有限的專用伺服器晶片來為其軟體提供支援。

當前，增加稀疏性的一種常見方法是藉助「混合專家系統（MoE）」技術。 然而，加州大學伯克利分校計算機科學教授 Ion Stoica 曾表示：「一般來說，專家模型的數量越多，模型就越稀疏，效率也越高，但可能會導致模型生成的結果不太準確。」

大約在今年春天，OpenAI 的研究人員開始訓練 Arrakis 模型，其中涉及使用先進的計算硬體來説明模型處理大量數據。 知情人士稱，該公司預計訓練Arrakis比訓練 GPT-4要便宜得多。 然而，研究團隊很快就意識到該模型的表現不夠好，無法獲得預期的增益。 研究團隊花了大約一個月的時間試圖解決問題后，OpenAI 的高層領導決定停止訓練該模型。

值得欣慰的是，OpenAI 可以將其在 Arrakis 上的工作整合到其他模型中，例如即將推出的多模態大模型 Gobi。

兩位知情人士表示，Arrakis的表現之所以低於 OpenAI 的預期，是因為該公司試圖提高模型的稀疏性，這意味著將只使用模型的一部分來生成回應，從而降低運行成本。 該模型在早期測試中有效但後來表現不佳的原因尚不清楚。

值得一提的是，有知情人士稱 OpenAI 曾為 Arrakis 考慮的公開名稱是 GPT-4 Turbo。

**降低成本有多重要？ **

對於OpenAI來說，隨著人們對技術成本的擔憂日益增加以及開源替代方案的激增，使其模型更便宜、更高效是首要任務。

據知情人士稱，微軟使用 OpenAI 的 GPT 模型為 Office 365 應用程式和其他服務中的人工智慧功能提供支援，並且微軟原本預計 Arrakis 能夠提高這些功能的性能並降低成本。

與此同時，微軟開始研發自己的 LLM，並且其 LLM 的運行成本可能比 OpenAI 的模型更低。

儘管這場挫折並沒有減緩 OpenAI 今年的業務發展，但隨著 LLM 領域的競爭日益加劇，特別是谷歌、微軟等科技巨頭的加速研發，OpenAI 也有可能在這條賽道上式微。

原文連結：