OpenAI 首屆開發者大會：GPT-4 Turbo、GPT 商店

來源：有新Newin

在OpenAI首次開發者日的發佈會上，Sam Altman闡述了公司一系列重要的進展，不限於 GPT-4 Turbo，這是一個功能更強大、上下文更長、控制更多的新模型，另外還推出了 Assistance API，以簡化開發者構建輔助代理的體驗，OpenAI 強調了自然語言將成為未來與計算機互動的重要方式，同時也介紹了通過對話程式設計 GPT 的能力，Altman 宣佈了 GPT 商店的即將推出，這將允許使用者分享和發現創新的 GPT 應用，並提供收入分享激勵。 Altman 還談到了與微軟的深化合作，展示了新的文本到語音模型和改進的功能調用，總結下來包括以下幾個環節：

• GPT-4 Turbo： 新模型推出，上下文長度增加，控制更精準。
• Assistance API： 為開發者提供創建輔助代理的簡化流程。
• 自然語言程式設計： 展示了通過對話創建 GPT 的方法。
• GPT 商店： 允許使用者分享和發現 GPT 應用，並為創造者提供收入分享。
• 微軟合作： 展示了新的文本到語音模型，以及微軟CEO Satya Nadella 的講話。
• 團隊感謝： Altman 對 OpenAI 團隊的工作表示感謝。
• 技術展示： 展示了新功能，包括用於旅遊應用的演示和語音啟動的助手。

以下是 OpenAI 首次開發者日的所有完整內容：

首先，Altman 回顧了去年 11 月 30 日 ChatGPT 作為一個低調的研究預覽版發佈的情況，並自豪地宣佈了 3 月推出的 GPT-4，這是目前世界上最強大的模型。

Altman 還介紹了在過去幾個月中為 ChatGPT 引入的語音和視覺功能，使其具備了看、聽和說的能力，並宣佈了 DALL· E 3 的推出，這是世界上最先進的圖像模型，並已整合到 ChatGPT 中。

對企業級客戶，OpenAI 推出了 ChatGPT Enterprise，它提供了更高速的 GPT 訪問、更長的上下文視窗以及更多的企業級安全性和隱私保護。 Altman揭示了約有 200 萬開發者正在使用他們的 API，超過 92% 的財富 500 強公司在構建基於他們產品的解決方案，並且 ChatGPT 現在擁有大約 1 億周活躍使用者。 他特別指出，這一成就完全依賴於口碑傳播，因為用戶發現產品有用並推薦給朋友。 他最後指出，儘管數據令人矚目，但更重要的是人們如何使用這些產品，如何利用 AI，隨後展示了一段視頻，直觀展現了這些進展。

在OpenAI的開發者大會上，Sam Altman 通過一段視頻給我們呈現了人工智慧如何深刻影響人們的個人生活和創造力。 視頻中的一個案例講述了一個人使用 ChatGPT 以非浪漫的方式，但又充滿尊重和深情，用他父親的母語——他加祿語——和一個複雜的語法結構告訴父親他的愛和支援。 這個案例展示了 ChatGPT 在理解和應用文化與語言細微差別方面的能力。

Altman介紹說，ChatGPT 的創造性應用令人驚歎，可以助力創造者擴展思維，增強信心。 一個例子是，有人用 ChatGPT 協助他們做日常事務，比如檢查冰箱缺少什麼，規劃素食食譜，甚至是説明創建電子錶格和編寫代碼;另一個視頻中的人物發現了 ChatGPT 的親和力、耐心、知識淵博和回應速度。 對於一個 4.0 的學生兼四個孩子的母親而言，ChatGPT 能夠提供問題的解答及其解釋，減少了對家教的依賴，為她贏得了更多和家人以及自己相處的時間。 最後，視頻中還有一個人講述了他如何在經歷了脊髓和大腦手術后，受限於左手的使用。 現在，通過使用 ChatGPT 的語音輸入和對話功能，這位使用者得到了極大的説明和便利。 這些個案故事一方面體現了 ChatGPT 在提供日常生活幫助、學習支援和克服障礙方面的巨大潛力，另一方面也展示了 AI 如何在全球範圍內以前所未有的方式連接和賦能使用者。

接著，Sam Altman 分享了人們如何利用他們的技術，並強調這正是他們工作的原因。 接著，他宣佈了一系列新的進展。 Altman 說，他們花了大量時間與全球開發者交流，聆聽他們的反饋，這些反饋對今天要展示的內容影響深遠。

OpenAI 推出了新型號 GPT-4 Turbo。 這個新模型將解決許多開發者提出的需求。 他詳細介紹了六大更新：首先是上下文長度，GPT-4 支援長達 8000 個 token 的上下文，在某些情況下可以達到 32000 個。 而 GPT-4 Turbo 支援長達 128000 個 token 的上下文，相當於標準書籍的 300 頁，比 8000 個 token 的上下文長 16 倍。 除了更長的上下文長度，這個模型在處理長上下文時的準確性也有了顯著提高。

第二個更新是更多的控制權。 為滿足開發者對模型回應和輸出的更多控制需求，他們引入了一個名為 JSON 模式的新功能，確保模型回應有效的 JSON，這將大大簡化 API 調用。 模型在函數調用方面也有所改進，可以同時調用多個函數，並且更好地遵循指令。 他們還引入了一個名為「可復現輸出」的新功能，通過傳遞一個種子參數，可以使模型返回一致的輸出，這顯然提供了對模型行為更高程度的控制。 這個功能目前處於測試階段。

接下來幾周，他們將推出一個新功能，允許在 API 中查看日誌探針。 第三個更新是更好的世界知識。 為了使模型能夠訪問更準確的世界知識，他們推出了檢索功能，允許從外部文檔或資料庫中提取知識。 他們還更新了知識截止日期，GPT-4 Turbo的世界知識更新到了 2023 年 4 月，並將繼續改進。

第四個更新是新的模態，DALL· E 3、GPT-4 Turbo 的視覺功能和新的文本到語音模型今天都進入了 API，已有少數客戶開始使用 DALL· E 3 以程式設計方式生成圖像和設計。 今天，Coca-Cola 正在啟動一個活動，讓客戶使用 DALL· E 3 生成排燈節賀卡。

當然，他們的安全系統幫助開發者防止應用程式被濫用，這些工具可以在API中使用。 GPT-4 Turbo 現在可以通過 API 接受圖像輸入，並生成標題、分類和分析。 例如，Miis 使用這項技術説明盲人或視力低下的人進行日常任務，如識別他們面前的產品。 而通過新的文本到語音模型，你將能夠在 API 中從文本生成聽起來非常自然的音訊，有六種預設聲音可供選擇。

Altman 播放了一個例子，他播放了一個聲音示例，展示了他們新的文本到語音模型的自然度。 這種聲音轉換技術使得應用程式的交互更加自然和可訪問，並解鎖了像語言學習和語音助手等許多用例。

Altman 還宣佈了他們的開源語音辨識模型 Whisper v3 的下一個版本，並表示它將很快加入 API。 這個版本在多種語言上的性能都有所提高，他認為開發者們會非常喜歡。

接著，他討論了定製化問題。 自幾個月前推出 GPT 3.5 以來，微調功能表現良好。 從今天開始，這將擴展到模型的 16K 版本。 他們還邀請積極使用微調的用戶申請 GPT-4 微調實驗訪問計劃。 微調 API 非常適合在各種應用中通過相對較少的數據來改進模型的性能，無論是學習全新的知識領域還是使用大量專有數據。

第五個更新，Altman 宣佈了一個名為“自定義模型”的新計劃，OpenAI 的研究人員將與公司密切合作，使用他們的工具為特定用例打造專門的定製模型。 這包括修改模型訓練過程的每一個步驟，進行特定領域的預訓練，定製強化學習后訓練過程等。 他承認，一開始他們無法與許多公司合作，這將是一項大量的工作，並且至少在初期並不便宜。 但如果有企業希望將事物推向目前的極限，請與他們聯繫。

此外，Altman 宣佈了更高的速率限制。 他們將為所有現有的 GPT-4 客戶的每分鐘 token 數量翻倍，使其更容易做更多事情，並且可以直接在 API 帳戶設置中請求更改進一步的速率限制和配額。 除了這些速率限制，他們還引入了版權盾，這意味著如果客戶面臨版權侵權的法律索賠，OpenAI 將介入保護客戶並支付產生的費用。 這適用於 ChatGPT Enterprise 和 API。 他清楚地提醒大家，他們從不使用來自 API 或 ChatGPT Enterprise 的數據進行訓練。

Altman 接著講到一個比前面所有提及的還要大的開發者請求，那就是定價問題。 他宣佈 GPT-4 Turbo 不僅比 GPT-4 更智慧，而且價格更便宜，提示 token 降低了 3 倍，完成 token 降低了 2 倍。 新定價為每千個提示 token 0.01 美元，每千個完成 token 0.03 美元。 這導致 GPT-4 Turbo 的綜合費率比 GPT-4 便宜了超過 2.75 倍。 他們非常努力地實現了這一點，並希望大家對此感到興奮。

在決定優先考慮價格問題時，他們不得不在價格和速度之間做出選擇，但接下來他們將致力於提高速度。 他還宣佈了 GPT 3.5 Turbo 16K 的降價，輸入 token 降低了 3 倍，輸出 token 降低了 2 倍，這意味著 GPT 3.516K 現在比以前的 GPT 3.54K 模型更便宜。 運行微調過的 GPT 3.5 Turbo 16K 版本也比舊的微調 4K 版本更便宜，他表示希望這些變化能解決大家的反饋問題，並非常興奮地將這些改進帶給每個人。

在介紹這一切時，他提到 OpenAI 很幸運有一個合作夥伴在使這一切成為可能方面起著至關重要的作用。 於是他請來了一位特別嘉賓，微軟的CEO Satya Nadella。

Nadella 回憶起第一次接觸 OpenAI 時，Altman 問他是否有一些 Azure 積分可用，他們從那時起就走過了很長的路。 他稱讚 OpenAI 建立了一些神奇的東西，並且分享了微軟對合作關係的兩個看法：首先是工作負載，他們一起從電力到數據中心，再到機架和加速器，乃至網路，共同構建系統，以支援 OpenAI 正在建立的模型。 微軟的目標是建造最好的系統，以便OpenAI能夠構建最佳的模型，並將其提供給開發者。 其次，微軟本身也是一個開發者，正在構建產品。 Nadella 提到，他首次見到 GitHub Copilot 和 GPT 後，對這整代基礎模型的信念完全改變了。 他們致力於在 OpenAI 的 API 之上構建自己的產品，並希望將 GitHub Copilot 企業版提供給在場的所有出席者試用。

Altman 還詢問了 Nadella 對合作關係未來和 AI 未來的看法。 Nadella 強調，微軟全力投入於提供所需的系統和計算資源，以支援 OpenAI 在其路線圖上大胆前進。 他們致力於提供最佳的訓練和推理系統，以及最多的計算資源，以便OpenAI能夠不斷推動前沿發展。 Nadella 認為，AI 的真正價值在於它能賦能人們，這與 OpenAI 和微軟的使命相一致——賦能地球上每個人和每個組織去實現更多。 他提到，安全性是他們合作中的一個關鍵焦點，並且這是他們共同努力的重點，不是事後才考慮的問題。 Nadella 的這些話強調了 OpenAI 和微軟合作的深度和目的，展現了兩家公司在推動 AI 發展和普及方面的共同願景。

接著，Altman 轉向了會議的主題，雖然這是一個針對開發者的會議，但他們還是對 ChatGPT 進行了一些改進。 現在，ChatGPT 使用了 GPT-4 Turbo 和所有最新的改進，包括最新的知識截止時間，並將繼續更新，這些改進已經在當天生效。 ChatGPT 現在能夠在需要時瀏覽網路，編寫和運行代碼，分析數據，生成圖像等等。 他們也聽到了用戶反饋，認為模型選擇器極其煩人，因此已經取消了。 從今天開始，使用者不必在下拉功能表中點擊，ChatGPT 將自動知道何時使用哪個功能。

Altman 指出，儘管價格是一個重要問題，但這並不是開發者請求的主要內容。 他們相信，如果給人們更好的工具，他們將做出驚人的事情。 人們希望 AI 更聰明、更個人化、更可定製，並能代表使用者做更多的事情。 最終，使用者只需請求電腦，它就會為你完成所有這些任務。 在 AI 領域，這些能力通常被稱為「代理」。 為了解決 AI 的安全問題，OpenAI 認為逐步反覆運算的部署是最佳方式，並且認為謹慎地朝這個“代理”的未來邁進尤為重要。 這將需要大量的技術工作和社會的深思熟慮。

於是，他們邁出了向這個未來邁進的第一小步。 Altman 非常激動地介紹了 GPT——為特定目的量身定做的 ChatGPT 版本。 你可以用指令、擴展知識和行動來構建幾乎任何事物的定製版本的 ChatGPT，然後發佈供他人使用。 由於它們結合了指令、擴展知識和行動，它們可以更有用，更適合多種情境，並提供更好的控制。

它們將使完成各種任務變得更容易，或者只是讓你有更多樂趣。 你可以直接在 ChatGPT 中使用它們。 實際上，你可以通過與它對話來用語言程式設計 GPT。 它很容易定製行為以適應你的需求。 這使得構建它們非常容易，並賦予了每個人能力。

Altman 繼續說，他們將展示 GPT 是什麼、如何使用它們、如何構建它們，然後將討論它們將如何被分發和發現。 之後，對於開發者，他們將展示如何將這些類似代理的體驗構建到自己的應用中。

他介紹了幾個例子。 code.org 的合作夥伴正在努力擴展學校的計算機科學課程，他們擁有全球數千萬學生使用的課程。 Code.org 制定了一個教學計劃和 GPT，以幫助老師為中學生提供更吸引人的體驗。 例如，如果老師要求以創造性的方式解釋迴圈，它就會這樣做，在這個案例中，它會用視頻遊戲角色重複撿硬幣的方式來解釋，這對八年級學生來說非常容易理解。 這個 GPT 結合了 code.org 廣泛的課程和專業知識，讓老師可以快速輕鬆地根據自己的需求進行調整。

接下來，Canva 構建了一個 GPT，你可以通過用自然語言描述你想要的設計來開始設計工作。 如果你說，今天下午為 Dev Day 招待會製作一張海報，並提供一些細節，它將通過調用 Canva 的 API 生成一些起始選項。

Altman指出，對於一些人來說，這個概念可能很熟悉。 他們將外掛程式發展成為 GPT 的自訂行動。 你可以繼續與這個聊天，看不同的反覆運算，當你看到喜歡的，你可以點擊穿越到 Canva 以獲得完整的設計體驗。

然後，他們想現場展示一個 GPT。 Zapier 構建了一個 GPT，可以讓你跨越 6000 個應用程式執行行動，解鎖各種集成可能性。 Altman介紹了OpenAI的解決方案架構師 Jessica，她將負責演示。

解決方案架構師 Jessica Shei 上臺並迅速開始了演示，Jessica 指出 GPTs 將位於介面的左上角，並展示了一個名為 Zapier AI actions 的實例。 她展示了自己當天的日曆，並提到已經將 GPTs 連接到了她的日曆。

在演示中，Jessica 詢問了當天的日程安排。 她強調，構建 GPTs 時考慮到了安全性，任何行動或數據共用之前，系統都會請求用戶的許可。 她允許 GPTs 訪問她的日程，並說明 GPTs 被設計為接受使用者的指令，決定調用哪個功能來執行相應的動作。

接著，Jessica 展示了 GPTs 如何成功連接到她的日曆，並提取了日程資訊。 她還指示 GPTs 檢查日曆上的衝突，並顯示出它成功地識別出了一個衝突。 然後，她演示了如何讓一個名為 Sam 的人知道她需要提早離開，並切換到與 Sam 的對話中，請求執行這一操作。

當 GPTs 完成了請求后，Jessica 問 Sam 是否收到了通知，Sam 確認了收到。 Jessica 以此為例說明瞭 GPTs 的潛力，並表達了對看到其他人將會構建什麼的期待。

接下來 Sam 繼續介紹了更多 GPT 的例子。 他提到，除了演示的那些，還有許多正在被創造的 GPT，以及很快將會被創造出來的。 他意識到許多想要構建 GPT 的人不會程式設計，所以他們使得人們可以通過對話來程式設計 GPT。 Altman 相信自然語言將是人們未來使用計算機的重要部分，並認為這是一個有趣的早期例子。

接著，Altman 展示了如何構建一個 GPT。 他想要創建一個説明創始人和開發者在啟動新專案時提供建議的 GPT。 他進入 GPT 構建器，告訴它他想要的東西，並且 GPT 開始基於他的描述構建詳細的指令。 它還提出了一個名字「startup mentor」，並且在預覽模式中開始填充資訊和可能的問題。 Altman 上傳了他之前關於創業的演講稿，以此為基礎提供建議，並在指令中添加了“簡潔和建設性反饋”。

然後，Altman 在預覽標籤中嘗試了這個 GPT，並對結果表示滿意。 他決定暫時只將其發佈給自己，以便之後進一步完善和分享。 他提到，他一直想要創建一個這樣的機器人，現在很高興能夠實現這一點。 Altman 強調，GPTs 允許人們輕鬆地分享和發現他們用 ChatGPT 做的有趣事情。 人們可以創建私有的 GPT，或者通過連結公開分享他們的創作，或者如果他們使用 ChatGPT Enterprise，可以只為他們的公司製作 GPTs。 他們計劃在本月晚些時候推出 GPT 商店，人們可以在那裡列出 GPT，並且 OpenAI 將特別展示最好和最受歡迎的 GPTs。

Altman 還提到，OpenAI 將確保商店中的 GPT 遵循他們的政策，OpenAI 重視收入分享，將向構建最有用和最受歡迎的 GPTs 的人支付一部分收入。 他們期待通過 GPT 商店培養一個充滿活力的生態系統，並對即將分享的更多資訊感到興奮。

Altman 也強調，這是一個針對開發者的會議，他們將同樣的概念帶到了 API。 他提到，許多人已經在 API 上構建了類似代理的體驗，例如 Shopify Sidekick 和 Discord 的 Collide，以及可以添加到群聊中並提供推薦的定製聊天機器人 my AI。 這些體驗很棒，但構建它們通常很困難，有時需要數月時間和數十名工程師的團隊。 為了簡化這一過程，他們推出了新的 Assistance API。

Assistance API 包括持久的線程，內置的檢索代碼解釋器，一個工作的 Python 解釋器和沙箱環境，以及他們之前討論過的改進的函數調用功能。

接著是 OpenAI 開發者體驗負責人 Raman 展示這是如何工作的。 Ramon 表示，看到許多人將 AI 融入他們的應用程式令他感到鼓舞。 Ramon 宣佈，他們不僅在 API 中推出了新的模式，還非常興奮地改善了開發者體驗，以便大家能夠更容易地構建輔助代理。 然後，他直接展示了構建流程。

Ramon 介紹了他正在構建的名為“wanderlust”的旅行應用程式，用於全球探險者。 他還展示了利用 GPT-4 生成的目的地創意，以及使用當天對所有人開放的新 DALL· E 3 API 程式化生成的插圖。 隨後，Ramon 展示了如何通過添加一個簡單的助手來增強應用程式。 他切換到新的輔助工具遊樂場，創建一個助手，為它命名，提供初始指令，選擇模型，啟用代碼解釋器和檢索功能，然後保存。

Ramon 接著介紹了如何將這個助手集成到應用程式中，他查看了一些代碼，並演示了如何為每個新使用者創建一個新線程，並將他們的消息添加到這些線程中。 他還展示了如何隨時運行助手，將回應返回到應用程式中。

接下來，Ramon 展示了功能調用，一個他特別喜歡的功能。 功能調用現在保證了 JSON 輸出，並且可以同時調用多個函數。 然後，他演示了助手如何知道包括在右側地圖上標註的功能，並在地圖上即時添加標記。

Ramon 還討論了檢索功能，這是關於給助手提供超出即時使用者消息的更多知識。 他上傳了一個 PDF 檔，系統讀取這些檔，並在螢幕上顯示資訊。 然後，他也將 Airbnb 的預訂資訊拖放到對話中。

Ramon 強調，開發者們通常需要計算嵌入、設置分塊演算法，而現在所有這些都被新的有狀態 API 所處理。 他還展示了開發者儀錶板中可以看到工具採取的步驟，包括被調用的函數和上傳的 PDF 檔。

然後，Ramon 討論了許多開發者期待已久的新功能：代碼解釋器，它現在也在 API 中可用。 它使 AI 能夠即時編寫和執行代碼，甚至生成檔。 他演示了如果說出一個需要進行貨幣換算和天數計算的問題，代碼解釋器將如何工作。 最後，Ramon 概述了如何快速創建一個代理，它可以為使用者對話管理狀態，利用外部工具如知識檢索和代碼解釋器，並調用自己的函數來實現功能。

Ramon 還介紹了結合新發佈的模式和功能調用的功能，他為 Dev Day 構建了一個自定義助手。 而且，他決定使用語音代替聊天介面。 他展示了一個簡單的 Swift 應用程式，可以接收麥克風輸入，並在終端日誌中顯示後台發生的事情。 他使用了 whisper 將語音輸入轉換為文本，利用 GPT-4 Turbo 的助手，並且使用新的 TTS API 使其發聲。

Ramon 還演示了助手如何連接到互聯網併為使用者執行真實操作。 他提出讓助手隨機為五名 Dev Day 參與者提供 $500 的 OpenAI 信用，並且助手成功完成了這項任務。

最後，在OpenAI開發者日的閉幕演講中，Sam Altman 表示輔助 API 已進入Beta測試階段，他對看到開發者將如何使用它感到非常興奮。 他強調 GPT 和輔助工具是通向更為複雜的代理的先驅，這些代理將能夠為使用者規劃和執行更複雜的任務。

Altman 再次強調了逐步反覆運算部署的重要性，並鼓勵人們現在就開始使用這些代理，以便適應它們變得更加能幹的未來世界。 他保證 OpenAI 將繼續根據使用者的反饋更新系統，他表示 OpenAI 擁有傑出的人才密度，但仍需要大量的努力和協調才能實現所有這些。 他覺得自己有世界上最好的同事，對能與他們一起工作感到無比感激。

之所以OpenAI的團隊如此努力的原因：他們相信 AI 將是技術和社會革命的一部分，它將以多種方式改變世界。 Altman提到，他們早些時候討論過，給人們更好的工具，他們就能改變世界。 他相信 AI 將帶來前所未有的個人賦能和代理規模，從而將人類提升到一個前所未有的層次。 隨著智慧的普及，我們都將隨時擁有超能力。 他對大家將如何使用這項技術以及我們共同構建的新未來感到興奮。