a16z萬字長文：我們正在進入計算的第三個時代

這波AI 的發展，其影響蔓延到各個領域的速度之快，確實超出了大部分人的預期。上週，Sequoia（紅杉美國）認為AI 已經開啟了第二篇章，並從應用場景的角度繪製了新的AI 圖譜和LLM 開發者堆疊（stack）圖譜。

不過從資金的走向來看，目前AI 的發展似乎仍處於神仙打架階段，而這個格局好像已經差不多成形了。在OpenAI 拿到微軟等差不多110 億美金的錢估值近290 億美金後，其競爭對手Anthropic 昨天宣布與Amazon 結盟，Amazon 最高將為其投資40 億美金，在融資這塊Anthropic 成為僅次於OpenAI的AI 創業公司。

此次融資後，除了蘋果（Apple）外，AI 產業基本上形成了這樣一個神仙打架的格局：

• 微軟+ OpenAI
• 谷歌+DeepMind
• 元+元AI *亞馬遜+人類
• 特斯拉 + xAI

當然作為更底層基礎設施提供者的英偉達，其策略顯然是我都要，沒有非常重度的站隊具體的某一家。以下是15 家AI 獨角獸的一個大致情況，從估值和融資來看，大模型LLMs 佔據了很大一部分，而50% 的AI 獨角獸都成立於2021 年之後：

今天，a16z 分享了他們跟多位頂級AI 公司創始人的對話，認為我們正處於計算的第三個時代，並從AI 的當下、未來以及開放性角度探討了16 個有意思的話題。這次對話的參與者包括了：

• a16z 合夥人Martin Casado
• OpenAI 技術長 Mira Murati
• Roblox 聯合創辦人兼執行長 David Baszucki
• Figma 聯合創始人兼首席執行官迪倫·菲爾德
• Anthropic 聯合創始人兼執行長 Dario Amodei
• 微軟技術長兼人工智慧執行副總裁 Kevin Scott
• insitro 創辦人兼執行長 Daphne Koller
• Databricks 聯合創辦人兼執行長 Ali Ghodsi *Character.AI 共同創辦人兼執行長 Noam Shazeer

由於文章太長差不多1 萬字，我用AI 簡單做了一下編譯，一些術語可能不一定準確，有興趣的朋友可以去讀英文原文：

1 我們正處於計算的第三紀元的開始

馬丁·卡薩多，a16z：

我真的認為我們可能正在進入第三個計算時代。微晶片將計算的邊際成本降到了零，互聯網將分發的邊際成本降到了零，現在大型模型實際上將創作的邊際成本降到零。當以前的時代發生時，你不知道會有什麼新公司被創建出來。沒有人預測到亞馬遜，沒有人預測到雅虎。我們應該準備迎接一波新的標誌性公司。 Noam Shazeer,Character AI：

我們確實正處於「萊特兄弟第一架飛機」的時刻。我們已經有了一些可行的東西，現在對於大量應用場景很有用。它的擴展性看起來非常好，並將變得更好。但還會有更多的突破，因為現在世界上所有的人工智慧科學家都在努力讓這些東西變得更好。 Kevin Scott,微軟：

特別是在過去的幾年裡，也許特別是在過去的12 個月裡，隨著ChatGPT 和GPT-4 的推出，你可以真正看到該平台與個人電腦或智慧型手機一樣的潛力。一系列技術將使大量新事物成為可能，許多人將在這些新事物之上建立事物。 ## 2 這波生成式人工智慧浪潮具有推動市場轉型的經濟學原理

要讓技術創新引發市場轉型，經濟效益必須具有強大的吸引力。雖然以往的人工智慧週期有許多技術進步，但缺乏變革性的經濟效益。在當前的人工智慧浪潮中，我們已經看到了一些應用案例中經濟效益提升了10,000 倍（甚至更高）的早期跡象，並且由此帶來的人工智慧採納和發展似乎比以往任何一個轉變都快得多。

馬丁·卡薩多，a16z：

市場轉型並不是透過十倍的經濟改善來實現的。當它們比原來好一萬倍時，它們就會被創造出來。假設我想要創造一個將自己變成皮克斯角色的圖像。如果我使用這些圖像模型之一，推理成本是十分之一美分，並且假設需要1 秒鐘的時間。如果與僱用平面藝術家相比，我們假設每小時費用為100 美元。在成本和時間上，你會發現有4 到5 個數量級的巨大差異。對經濟學家來說，這就是他們尋找的類型轉折點，當實際上存在著一個巨大的市場錯位時。 如果你想要一個例子來說明這會變得多麼瘋狂，我認為你沒有理由不能產生一個完整的遊戲——3D 模型、角色、聲音、音樂、故事等等。現在的新創公司正在做所有這些事情的，如果將數億美元和數年的成本與幾美元的成本進行比較，我們現在在經濟學上存在互聯網和微晶片級別的不對稱。

3 對於一些早期應用場景：創造力> 正確性

幻覺是當今大模型LLMs 的一個眾所周知的問題，但對於某些應用場景來說，編造事情的能力是一個功能而不是一個錯誤。與早期應用的機器學習用例相比，其中n 級正確性至關重要（例如自動駕駛汽車），LLMs 的許多早期用例（虛擬朋友和同伴、腦力激盪概念或建立線上遊戲）都具有以下特點：專注於創造力比正確性更重要的領域。

諾姆·沙澤爾，角色.AI：

娛樂是一個每年達到2 兆美元的產業。而這個不為人知的秘密是，娛樂就像是你並不存在的虛擬朋友。這對於通用人工智慧來說是一個很酷的首要應用案例。例如，如果你想推出一款醫生，那會慢得多，因為你需要非常、非常、非常小心地避免提供錯誤訊息。但對朋友來說，你可以做得很快速，它只是娛樂而已，編造事物也變成了一種特色。 David Baszucki,Roblox:

在Roblox 上的6500 萬用戶中，大多數人並沒有以他們希望的水平進行創作。很長一段時間裡，我們想像過一個《Project Runway》的模擬遊戲，在遊戲中你可以使用縫紉機和布料，並且都是3D 模擬的，但即使對於我們大多數人來說，這也有點複雜。我認為現在當《Project Runway》出現在Roblox 上時，它將會是一個文字提示、圖像提示或語音提示。如果我正在幫你製作那件襯衫，我會說：我想要一件藍色牛仔襯衫，需要一些紐扣，並讓它更修身合體一些。實際上，我認為我們將會看到創作加速的趨勢。 Dylan Field,Figma：

現在，我們正處於一個人工智慧可能完成初稿的階段，但要從初稿到最終產品還是有些困難，並且通常需要一個團隊來完成。但如果你能讓人工智慧向人們提供介面元素建議，並以一種真正合理的方式進行操作，我認為這將開啟一個全新的設計時代，創造出根據用戶意圖響應性的上下文設計。我相信這將是所有設計師與這些人工智慧系統合作的迷人時代。 ## 4 對於其他比方說程式設計「副駕駛」正確性會隨著人類的使用而提高

儘管人工智慧有潛力在許多領域增強人類工作，但程式設計「副駕駛」已成為首批廣泛採用的AI 助手，原因有幾個：

首先，開發人員通常是新技術的早期採用者——對2023 年5 月/6 月的ChatGPT 提示進行分析發現，30% 的ChatGPT 提示與程式設計相關。其次，最大的LLMs 接受過包含大量程式碼的資料集（例如網路）的訓練，這使得他們特別擅長回應與程式設計相關的查詢。最後，循環中的人是使用者。因此，雖然準確性很重要，但擁有人工智慧副駕駛的人類開發人員可以比單獨的人類開發人員更快地迭代到正確性。

馬丁·卡薩多，a16z：

如果你必須保持正確，並且有很多複雜的使用情況，要么你自己完成所有技術工作，要么僱用人員。通常我們會僱用人員。這是一個變動成本。其次，由於解決方案的尾部往往非常長——例如自動駕駛中可能發生的許多異常情況——為了保持領先地位所需的投資增加了，價值卻降低了。這就產生了一種反向規模經濟效應。 过去在公司的循环人员现在是用户（That human in the loop that used to be in a central company is now the user），因此它不再是企业的可变成本，也不再是这项工作的经济成本。循环中的人已经移出，因此，你可以做正确性很重要的事情，比方说开发代码，因为它是迭代的，所以累积的错误量会减少，因为你不断地得到来自用户的反馈和修正。当开发人员可以查询人工智能聊天机器人来帮助他们编写代码并对其进行故障排除时，它会以两种显著的方式改变开发的方式：1）它使更多的人更容易在开发中进行协作，因为它是通过自然语言界面进行的，2）人类开发者生产更多产品并保持更长时间的流动状态。

米拉·穆拉蒂，OpenAI：

程式設計變得越來越不抽象。我們實際上可以用自然語言與高頻寬的計算機交談。我們正在使用該技術，該技術正在幫助我們了解如何與其協作，而不是對其進行「編程」。 Kevin Scott,微軟：

GitHub 是我們正在嘗試建立的這種副駕駛模式的第一個例證，即：如何利用某人正在做的知識工作並使用人工智慧來幫助他們在完成特定類型的認知工作時顯著提高生產力？根據我們對開發人員的觀察，最重要的是，人工智慧可以幫助他們比其他方式更長時間地保持心流狀態。 當你寫一大段程式碼並思考時，不要遇到阻礙，「我不知道如何完成下一件事情。我得去查閱文件。我得去問問另一位可能正忙著某事的工程師。 「在你脫離心流狀態之前，能夠讓自己擺脫束縛是非常有價值的。對於那些正在考慮為軟體開發以外的其他用途而構建的生成式人工智慧工具的實用性的人來說，這種心流狀態的概念是一個值得考慮的有用的東西。 Dylan Field,Figma：

最好的設計師開始考慮更多程式碼，而最好的開發人員也開始更多地考慮設計。除了設計師和開發人員之外，例如，如果你考慮產品人員，他們可能以前一直在製定規範，但現在他們更多地研究模型，以更有效地傳達他們的想法。基本上，這將允許組織中的任何人更快地從想法到設計，甚至可能到生產。但你仍然需要磨練每一個步驟。你需要有人認真思考，「好吧，我們要探索什麼想法？我們要如何探索它們？」你會想要調整設計，你會想要正確地處理它們，從初稿到最終產品。 ## 5 AI 與生物學的結合可以加速治療疾病的新方法，並對人類健康產生深遠影響

生物學極其複雜——甚至可能超越人類思維的完全理解能力。然而，人工智慧與生物學的交叉可以加速我們對生物學的理解，並帶來我們這個時代一些最令人興奮和最具變革性的技術進步。人工智慧驅動的生物學平台有可能解鎖以前未知的生物學見解，從而帶來新的醫學突破、新的診斷方法以及更早發現和治療疾病的能力，甚至有可能在疾病發生之前阻止它。

達芙妮·科勒簡介：

在我們歷史上的某些時期，某些特定的科學學科在相對較短的時間內取得了令人難以置信的巨大進展。在20 世紀50 年代，這個學科就是計算，我們使用這些機器來執行計算，直到那時，只有人類能夠執行這些計算。然後在20 世紀90 年代，出現了這個有趣的分歧。一方面，數據科學和統計學最終為我們帶來了現代機器學習和人工智慧。另一方面是我所認為的定量生物學，這是我們第一次開始以超過在耗時5 年的實驗中追蹤3 個基因的規模來測量生物學。 現在，2020 年是最後兩個學科真正融合的時代，為我們帶來了數位生物學時代，即以前所未有的保真度和規模測量生物學的能力；使用機器學習和數據科學工具解釋令人難以置信的大量資料、不同的生物尺度和不同的系統；然後使用CRISPR 基因組編輯等工具將這種理解帶回工程生物學中，這樣我們就可以讓生物學做它本來不想做的事情。 現在，我們終於可以在細胞層面（有時是亞細胞層面）和生物體層面大規模測量生物學。這使我們第一次能夠在以下領域部署機器學習：真正有意義的方式。 我們建立了生物學語言模型。它就像GPT，但針對的是細胞。我們有細胞的語言和細胞的樣子。你測量不同狀態下的數億個細胞，然後就像自然語言的大型語言模型一樣，用少量的數據，你可以開始問：「好吧，疾病如何將致病基因從一個地方移動？到另一個？治療如何讓你有希望地從疾病狀態回到健康狀態？」這是超級強大的。與其他語言模型一樣，您提供的數據越多，它就會變得越好。 ## 6 將模型交到使用者手中，將幫助我們發現新的應用程式場景

先前的人工智慧模型迭代旨在在某些任務上超越人類，而基於Transformer 的LLMs 則擅長一般推理。但僅僅因為我們創建了一個良好的通用模型並不意味著我們已經破解瞭如何將其應用於特定用例。正如讓人類以RLHF 形式參與循環一樣，對於提高當今人工智慧模型的性能至關重要，將新技術交到用戶手中並了解他們如何使用它，將是確定要構建哪些應用程式的關鍵這些基礎模型的頂部。

Kevin Scott,微軟：

我們必須記住：模型不是產品。身為一個創業者，你的理解是：你的使用者是誰？他們的問題是什麼？你能做些什麼來幫助他們？然後確定人工智慧是否確實是解決用戶問題的有用基礎設施——這是不變的。人工智慧就像一個新的、有趣的基礎設施，可以讓你以更好的方式解決新類別的問題或解決舊類別的問題。 Mira Murati,OpenAI :

我們並不確切地知道未來會是什麼樣子，因此我們正在努力向許多其他人提供這些工具和技術，以便他們可以進行實驗，我們可以看看會發生什麼。這是我們從一開始就一直在使用的策略。在我們推出ChatGPT 的前一周，我們擔心它不夠好。我們都看到了發生的事情：我們把它放在那裡，然後人們告訴我們它足以發現新的用例，你會看到所有這些新興的用例。 ## 7 你的AI 朋友的記憶力將會變得更好

雖然數據、計算和模型參數為LLMs 的一般推理提供動力，但上下文視窗為他們的短期記憶提供動力。上下文視窗通常透過它們可以處理的令牌數量來衡量。如今，大多數上下文視窗約為32K，但更大的上下文視窗即將到來，隨之而來的是透過LLMs 運行具有更多上下文的更大文件的能力。

諾姆·沙澤爾，角色.AI：

目前，我們提供的模型使用數千個令牌的上下文窗口，這意味著你的終生朋友會記住過去半小時發生的事情。如果你可以轉儲大量訊息，事情將會變得更好。它應該能夠了解關於你的十億件事。 HBM 頻寬就在那裡。 Dario Amodei,Anthropic ：

我認為仍然被低估的一件事是更長的背景和隨之而來的事情。我認為人們腦海中會想到這樣的畫面，有這個聊天機器人。 「我問它一個問題，它回答了這個問題。但是你可以上傳一份法律合約並說，」這個法律合約中最不尋常的5 個條款是什麼？或者上傳一份財務報表並說：「總結這家公司的位置。與這位分析師兩週前所說的話相比，有什麼令人驚訝的？所有這些知識操縱和處理大量數據，人們需要數小時才能閱讀。我認為這比人們正在做的事情更有可能。我們才剛開始。」## 8 語音聊天機器人、機器人和其他與人工智慧互動的方式是一個重要的研究領域

今天，大多數人以聊天機器人的形式與人工智慧互動，但這是因為聊天機器人通常很容易構建，而不是因為它們是每個用例的最佳介面。

許多建構者專注於開發使用者透過多模態AI 與AI 模型互動的新方法。用戶將能夠以與世界其他地方互動的方式與多模態模型互動：透過圖像、文字、語音和其他媒體。更進一步：具身人工智慧（embodied AI）專注於可以與實體世界互動的人工智慧，例如自動駕駛汽車。

米拉·穆拉蒂，OpenAI：

我認為今天的基礎模型在文本中對世界有很好的表現。我們正在添加其他模式，如圖像和視頻，因此這些模型可以更全面地了解世界，類似於我們理解和觀察世界的方式。 Noam Shazeer,Character.AI :

也許你想聽到一個聲音，看到一個面孔，或者只是能夠與多個人互動。就像你被選為總統一樣，你得到了耳機，還有整個朋友或顧問團隊。或者就像你走進「歡樂酒吧」，每個人都知道你的名字，他們很高興你來了。 Daphne Koller,insitro:

人工智慧可能產生的下一個影響前沿是人工智慧開始接觸物理世界的時候。我們都看到了這有多難。我們都見過，與製造聊天機器人相比，製造自動駕駛汽車是多麼困難，對吧？我們在建造聊天機器人方面取得了很大進展，自動駕駛汽車仍在舊金山阻擋消防車。了解這種複雜性，但也要了解影響的規模，這一點很重要## 9 我們會有一些通用模型，一堆專用模型，還是兩者兼而有之？

哪些用例最適合更大的“更高智商”的基礎模型或較小的專用模型和資料集？就像十年前的雲端和邊緣架構辯論一樣，答案取決於你願意支付多少費用、你需要輸出的準確性以及你可以容忍的延遲程度。隨著時間的推移，這些問題的答案可能會發生變化，因為研究人員開發了計算效率更高的方法來微調特定用例的大型基礎模型。

從長遠來看，我們可能會在哪些模型用於哪個用例的問題上過度輪換，因為我們仍處於構建基礎設施和架構的早期階段，以支援即將到來的人工智慧應用程式浪潮。

Ali Ghodsi，Databricks：

現在有點像2000 年，網路即將主宰一切，最重要的是誰能建造出最好的路由器。 Cisco 在2000 年曾經市值達到5 兆美元的峰值，當時超過了微軟。所以，誰擁有最大的LLM（語言模型）呢？顯然，能夠建造最大並對其進行充分訓練的人將擁有所有AI 和未來人類的掌控權。但就像網路一樣，後來會有其他人想到像Uber 和計程車駕駛這樣的創意。還會有其他人想著，「嘿，我想看看我的Facebook 上朋友們都在幹什麼。」這些都可能成為巨大的商業機會，並不只是OpenAI、Databricks 或Anthropic 等公司構建一個模型就能主導所有應用場景。需要投入很多努力才能打造一個你信任的醫生。 Dario Amodei,Anthropic:

最大的因素就是投入更多資金。現在製造的最昂貴模型的成本約為1 億美元左右，加減一個數量級。明年我們可能會看到來自多個參與者的價值約10 億美元左右的模型，而到2025 年，我們將看到數十億甚至100 億美元規模的模型。這個100 倍的差距再加上H100s 運算速度本身變得更快——由於降低精度而帶來了特別大的飛躍。把所有這些因素放在一起，如果擴展定律繼續適用，能力將會有巨大提升。 Mira Murati, OpenAI:

這取決於你想做什麼。顯然，AI 系統將會越來越多地承擔我們所做的工作。就OpenAI 平台而言，你可以看到即使在今天，我們透過API 提供了許多模型，從非常小的模型到前沿模型都有。人們並不總是需要使用最強大或最能勝任的模型。有時候他們只需要適合其特定用例的模型，並且更加經濟實惠。我們希望人們在我們的模型基礎上進行構建，並為他們提供簡化此過程的工具。我們希望給予他們越來越多的存取和控制權限，以便您可以攜帶自己的資料並自訂這些模型。您真正需要專注於超出模型範疇、定義產品層面的事情。 David Baszucki, Roblox:

在像Roblox 這樣的任何公司中，可能有20 或30 個最終最終用戶垂直應用程式是非常客製化的- 自然語言過濾與生成3D 非常不同- 在最終用戶那裡，我們希望所有這些應用程式都運行。當我們沿著[堆疊]向下走時，在像我們這樣的公司中，可能會自然地聚集2 或3 個更大，更胖類型的模型。我們對我們想要的學科進行了非常精細的調整，能夠為這些學科訓練和運行大量推理。 ## 10 人工智慧何時在企業獲得足夠推廣，那些資料集又會發生什麼事？

生成式人工智慧對企業的影響仍處於起步階段——部分原因是企業通常行動較慢，部分原因是他們已經意識到其專有資料集的價值，並且不一定想將資料移交給另一家公司，無論他們的模型多麼強大。大多數企業用例需要高度的準確性，企業有3 種選擇來選擇LLM：構建自己的LLM，使用LLM 服務提供者為他們構建，或微調基礎模型- 構建自己的LLM 並不容易。

Ali Ghosdi，Databricks：

在CEO 和董事會的大腦中發生的一件事是，他們意識到：也許我可以擊敗我的競爭對手。也許這是殺死敵人的氪金石。我有生成式人工智慧的數據，所以他們在思考，「我必須自己建立它。」我必須擁有智慧財產權。你想要從零開始建立自己的LLM 嗎？這並不是一件輕鬆的事情，仍然需要大量的GPU，需要花費很多錢，並且取決於你的資料集和使用案例。 我們有很多客戶希望擁有更便宜、更小、精度和性能非常高的專用模型。他們說，「嘿，這就是我想做的。我想從這些圖片中很好地對製造過程中的這種特殊缺陷進行分類。」在那裡，準確性很重要。你能給我的每一盎司準確性都很重要。在那裡，如果你有一個好的資料集來訓練，並且可以訓練一個更小的模型，你會更好。延遲會更快，更便宜，是的，你絕對可以擁有擊敗真正大型模型的準確性。但是你建立的模型也不能在周末娛樂你，幫助你的孩子做功課。 ## 11 Scaling 法則會把我們一直帶到AGI 嗎？

LLM 目前遵循Scaling 法則：即使你添加更多資料和運算，模型效能也會提高，即使架構和演算法保持不變。但是，這個法則能持續多久？它會無限期地持續下去，還是在我們開發AGI 之前達到自然極限？

米拉‧穆拉蒂 (Mira Murati)，OpenAI：

沒有任何證據表明，當我們繼續在數據和計算的存取中擴展它們時，我們不會獲得更好、更強大的模型。這是否將你一直帶到AGI - 這是一個不同的問題。在這個過程中可能需要其他一些突破和進步，但我認為在Scaling 定律方面還有很長的路要走，並且要真正從這些更大的模型中獲得很多好處。 Dario Amodei, Anthropic：

即使這裡沒有演算法改進，並且我們只是擴大了迄今為止的規模，Scaling 法則也將繼續下去。 Noam Shazeer, Character.AI：

我們的目標是成為一家AGI 公司和產品優先的公司，而實現這一目標的方法是選擇正確的產品，迫使我們從事通用化的事情，使模型更智能，使其成為人們想要的東西，並大規模廉價地提供服務。 Scaling 法則將帶我們走很長的路。從本質上講，計算並不那麼昂貴。如今，營運成本約為10-18 美元。如果你能有效地做這些事情，那麼成本應該遠低於你的時間價值。那裡有能力將這些東西擴大幾個數量級。 ## 12 什麼是新興能力（emergent capabilities）？

雖然有些人很快就註銷了產生人工智慧的能力，但人工智慧在執行某些任務方面已經比人類好得多，並且將繼續改進。最好的建構者已經能夠識別人工智慧最有前途的新興功能，並建立模型和公司，將這些功能擴展到可靠的功能。他們認識到，規模往往會提高新興能力的可靠性。

米拉·穆拉蒂（Mira Murati），OpenAI：

關注這些新興功能很重要，即使它們非常不可靠。特別是對於今天正在創建公司的人來說，你真的想要思考，「好吧，今天有什麼可能嗎？今天你看到了什麼？」因為很快這些模型就會變得可靠。 Dario Amodei, Anthropic:

當我們發布GPT-2 時，當時被認為最令人印象深刻的是，「你將這5 個英文到法文翻譯的例子直接輸入到語言模型中，然後再輸入第六句英文句子，它實際上會翻譯成法文。就像哦，天啊，它竟然理解了這種模式。」對我們來說那真是太瘋狂了，儘管翻譯得很差勁。但我們的觀點是，「看吧，這只是一段驚人之旅的開始，因為沒有限制，並且可以繼續擴大規模。」為什麼以前我們見過的那些模式不能繼續存在？預測下一個單字的目標如此豐富，並且有很多你可以挑戰它們的東西，所以它肯定能行。然後有些人看著它說：「你做了一個非常糟糕的機器人翻譯工具。」## 13 服務這些模型的成本會下降嗎？

計算成本是擴展這些模型的主要限制之一，而當前的晶片短缺則透過限制供應而推高了成本。然而，如果Nvidia 明年生產更多的H100，這應該會緩解GPU 短缺問題，並可能降低運算成本。

諾姆·沙澤爾，角色.AI：

我們現在提供的模型去年花費了大約200 萬美元的計算週期來訓練，我們現在可能會重複五十萬美元。因此，我們將在今年年底前推出幾十個智商點更聰明的東西。我看到這些東西正在大規模擴大規模。只是沒那麼貴。我想我昨天看到一篇文章，說英偉達明年再製造1.5M H100，也就是2M H100。 這大約是每人每秒四分之一萬億次操作。這意味著對於地球上每個人，在一個擁有1000 億參數的模型上，它可能會每秒處理1 個單字。但實際上並不是每個人都能使用它，因此它並不那麼昂貴。如果你做得對，這個東西的可擴展性非常大，我們正在努力實現這一點。 Dario Amodei, Anthropic：

我的基本觀點是，推理不會變得那麼昂貴。 Scaling 定律的基本邏輯是，如果將計算增加n 個因子，則需要將資料增加n 的平方根因子，將模型的大小增加n 的平方根因子。這個平方根基本上意味著模型本身不會變大，而且在你這樣做的時候硬體會變得更快。我認為這些東西將在未來3 或4 年內繼續發揮作用。如果沒有架構創新，它們會變得更貴一點。如果有架構創新，我希望有，他們會變得更便宜。但是，即使計算成本保持不變，模型層級的效率提升似乎也是不可避免的，尤其是在如此多的人才湧入該領域的情況下，人工智慧本身可能是我們改進人工智慧工作方式的最強大工具。

達裡奧·阿莫代，人類：

隨著人工智慧變得更加強大，它在大多數認知任務上表現得更好。其中一個相關的認知任務是判斷人工智慧系統的安全性，並最終進行安全研究。這其中有一種自我參照的組成部分。我們可以透過解讀神經網路內部來看到這一點，例如可解釋性領域。強大的人工智慧系統可以幫助我們解讀較弱的人工智慧系統中的神經元活動。而這些可解釋性洞察力通常會告訴我們模型是如何運作的。當它們告訴我們模型是如何運作時，往往會提出改進或提高效率的方法。最有前途的研究領域之一是針對特定用例微調大模型，而無需運行整個模型。

Ali Ghodsi，Databricks：

如果你製作了一千個在一千種不同事物上都擅長的LLM 版本，並且你必須將每一個加載到GPU 並提供服務，那將變得非常昂貴。現在大家都在尋找的最大目標是：是否有技術可以只進行小幅修改就能獲得非常好的結果？有很多技術，例如前綴調優、LoRA、CUBE LoRA 等等。但還沒有一個真正完美無缺的解決方案被證實有效。但總會有人找到的。 ## 14 我們如何衡量通用人工智慧的進展？

當我們擴展這些模型時，我們如何知道人工智慧何時成為通用人工智慧？當我們經常聽到AGI 這個術語時，它可能是一個很難定義的東西，部分原因可能是它很難測量。

像GLUE 和SUPERGLUE 這樣的定量基準長期以來被用作衡量AI 模型性能的標準化指標。但就像我們給人類的標準化測試一樣，AI 基準引發了一個問題：在多大程度上你正在衡量LLM 的推理能力，以及在多大程度上你正在衡量它通過考試的能力？

Ali Ghodsi，Databricks：

我有點覺得所有的基準都是胡扯。想像一下，如果我們所有的大學都說：「我們會在考試前一晚給你答案讓你看。然後第二天，我們會讓你來回答問題，然後評分。」突然間，每個人都能輕鬆通過考試了。 比方說，MMLU 是許多人用來評估這些模型的基準。 MMLU 只是一個在網路上的選擇題。提出一個問題，答案是A、B、C、D 或E？然後它會告訴你正確答案。它可以在網路上進行訓練，並建立一個能夠擊敗它的LLM 模型。 AGI 最初的定性測試是圖靈測試，但讓人類相信人工智慧是人類並不是難題。讓人工智慧去做人類在現實世界中所做的事情是一個難題。那麼，我們可以使用哪些測試來了解這些系統的功能呢？

迪倫菲爾德，Figma：

從這些系統中我們現在看到，讓人相信你是人類很容易，但實際上做出好的事情卻很難。我可以讓GPT-4 制定一個商業計劃並來向你推銷，但這並不意味著你會投資。當你真正面對兩個競爭的企業——其中一個由AI 運營，另一個由人類運營——而你選擇投資AI 企業時，那就令我擔憂了。 David Baszucki, Roblox:

我有一個圖靈測試問題要問AI：如果我們將AI 放在1633 年，並讓其基於當時所有可用的信息進行訓練，它會預測地球還是太陽是太陽系的中心——即使99.9% 的信息都說地球是太陽系的中心？我認為5 年時間正好處於邊緣位置，但如果我們在10 年後進行這個AI 圖靈測試，它可能會說太陽。 ## 15 還需要人類參與嗎？

新技術通常會取代一些人類工作和工作，但它們也開闢了全新的領域，提高了生產力，並使更多的人可以從事更多類型的工作。雖然很容易想像人工智慧使現有工作自動化，但想像人工智慧帶來的下一個問題和可能性要困難得多。

馬丁·卡薩多，a16z：

非常簡單地說，傑文斯悖論指出：如果需求是彈性的，而且價格下降，需求將會超過補償。通常情況下，遠遠超過補償。這絕對適用於互聯網。您可以獲得更多價值和更高生產力。我個人認為，在任何創意資產或工作自動化方面，需求都是有彈性的。我們製造得越多，人們消費就越多。我們非常期待生產力的大規模擴展、大量新職位以及許多新事物的出現，就像我們在微晶片和互聯網時代所見到的一樣。 Kevin Scott, Microsoft:

我在維吉尼亞州中部的農村長大，那裡的經濟主要靠菸草種植、家具製造和紡織業提供動力。當我高中畢業時，這三個行業都剛崩潰。當這些社區的人們能夠使用非常強大的工具時，他們往往會做出非凡的事情，為自己、家人和社區創造經濟機會。他們解決了你或我無法解決的問題，因為我們沒有看到世界的整個問題格局。我們沒有他們的觀點。這些人工智慧工具現在變得比以前更容易使用。您現在就可以使用這些工具做有趣的事情，並且可以在維吉尼亞州小鎮成為一名企業家，而無需擁有電腦科學博士學位或經典人工智慧專業知識。你只需要保持好奇心和創業精神。 Dylan Field, Figma:

如果你看過迄今為止的每一次技術轉變或平台轉變，都會導致更多需要設計的東西。有印刷機，然後你必須弄清楚在頁面上放什麼。最近是行動互聯網，你可能會認為，「好吧，像素少了，設計師就少了。」但事實並非如此，那時我們看到了設計師數量最大的爆炸增長。 ## 16 現在是創建人工智慧新創公司的最令人興奮的時刻（特別是如果你是物理學家或數學家）

這是人工智慧建構的一個獨特而令人興奮的時刻：基礎模型正在迅速擴展，經濟最終向有利於新創公司的方向傾斜，並且有很多問題需要解決。這些問題需要極大的耐心和毅力才能解決，迄今為止，物理學家和數學家特別適合解決這些問題。但作為一個發展迅速的年輕領域，人工智慧是完全開放的——現在是建立人工智慧的最佳時機。

達裡奧·阿莫代，人類：

在任何特定時刻，有兩種類型的領域。一種是經驗和累積知識非常豐富的領域，需要多年才能成為專家。生物學就是一個典型例子——如果你只從事生物學6 個月，很難做出突破性或諾貝爾獎級別的工作……另一種是非常年輕或發展速度非常快的領域。人工智慧曾經，現在某種程度上仍然如此，屬於這類領域。真正有才華的通才往往可以超越那些在該領域已經待了很長時間的人，因為事情變化得太快了。如果說有什麼不同之處的話，擁有大量先前知識可能會成為一個劣勢。 Mira Murati, OpenAI:

從數學的理論空間可以得到一個要點，那就是你需要花很長時間來思考問題。有時你入睡然後醒來時會有新的想法，在幾天或幾週的時間裡逐漸找到最終解決方案。這不是一種快速獲得回報的過程，有時它也不是一個迭代式的事情。這幾乎是一種不同的思考方式，在其中你建立直覺和紀律去面對問題，並相信自己能夠解決它。隨著時間推移，你會對哪個問題才是真正值得努力解決的問題建立直覺。 Daphne Koller, insitro:

隨著時間的推移，不僅是機器學習在進步，我們所依賴的生物工具也在進步。過去並沒有CRISPR 技術，只有siRNA。然後出現了CRISPR 基因編輯技術，現在又有了可以替換整個基因組區域的CRISPR prime 技術。因此，我們所建立的工具也越來越好，這為我們以更有意義的方式解決更多疾病提供了可能性。人工智慧/ 機器學習與生物學和醫藥領域交匯處存在許多機會。這種融合是一個時刻讓我們能夠利用今天已經存在但五年前還不存在的工具，在我們所生活的世界中產生巨大影響力的時刻。 Kevin Scott, Microsoft：

如果你考慮過去發生的一些大型平台轉變，那麼在這些平台上最有價值的事情並不是在平台改變的頭兩年中部署的東西。如果你想想自己在智慧型手機上花費時間最多的地方，它不是短信應用程序，也不是網頁瀏覽器，也不是郵件客戶端。而是在平台可用性之後幾年內創造出來的新東西。 有哪些以前不可能的事情現在變得可能了？這才是人們應該思考的問題。不要去追逐那些瑣碎的事情。