_ Engineer已經過時？ AI大佬力捧的新職業誕生了

來源：深思SenseAI

當大部分人在感嘆大浪之巨大的時候，敏銳的水手已經出發尋找新大陸。近日，特斯拉AI 總監、前不久再次回歸OpenAI 的AI 頂流Karpathy 在推特轉發了Latent Space 播客的最新一期內容，認為跟上AI 的發展已經成為了一份全職工作，這份工作不僅僅需要提示工程，且需求量將遠超如今的機器學習算法工程師。本期內容，我們繼續對未來需要的AI 人才能力畫像做進一步分析。

Sense 思考

我們嘗試基於文章內容，提出更多發散性的推演和深思，歡迎交流。

**模型技術vs. 產品落地：**當大部分人在感嘆大浪之巨大的時候，敏銳的水手已經出發尋找新大陸。發明羅盤和造船的工匠發揮了時代作用，而接下來，水手和工人開疆擴土。

**軟件3.0 時代：**SenseAI 再次強調Agent 網絡，這一次是機器走向了我們，自然語言會成為完成大部分開發需求的語言包，進一步解放了人類的想像力。 Agent 之間用交互密度和網絡協同解決執行，人類要做的更多是提出底層暢想，破壞與重構。

本篇正文共3255 字，仔細閱讀約9 分鐘

01、全新的職業：AI Engineer

我們正在觀察到一次代際性的應用人工智能“向右轉變”，這種轉變是由基礎模型的湧現能力和開源/API 可用性推動的。一系列在2013 年需要5 年時間和一個研究團隊才能完成的人工智能任務，如今只需要API 文檔和一個空閒的下午就可以完成。

API 是通用的：AI 工程師可以向左優化/託管模型，研究工程師也可以向右在API 之上構建應用，但是他們的相對優勢和技術底座是明顯的。

然而，最難的工作是在具體的落地細節中，目前LLM 在成功評估、應用和將其產品化方面仍有如下挑戰：

**1. 模型：**從評估最大的GPT-4 和Claude 模型，到最小的開源Huggingface，LLaMA 以及其他模型。

**2. 工具：**從最受歡迎的鏈接、檢索和向量搜索工具如LangChain，LlamaIndex，和Pinecone，到新興的代理工具領域如Auto-GPT 和BabyAGT。

**3. 新聞：**每天發布的論文、模型和技術的數量正隨著關注度和資本的增加而呈指數級增長，以至於保持對所有這些前沿動態的嗅覺幾乎成為了一項全職工作。

LLM 創造出一份全職工作。 軟件工程將會孵化出一個新的子學科，專注於AI 的應用，並有效地運用新興的技術棧，就像“網站可靠性工程師”，“開發運維工程師”，“數據工程師”和“分析工程師”那樣嶄露頭角。

**AI 工程師，將會代表這類角色而興起。 **

幾乎每個創業公司都有某種形式的AI 討論群。這些群將會從非正式的小組轉變成正式的團隊，就像Amplitude、Replit和Notion 已經做的那樣。那些在將AI APIs 和OSS 模型產品化上工作的數千名軟件工程師，無論是在公司時間還是在夜晚和周末，在企業的Slack 或獨立的Discord，都將專業化並彙集到一個頭銜—— AI 工程師。這很可能將成為未來十年最高需求的工程職位。

從最大的公司如微軟和谷歌，到前沿的創業公司如Figma（被Diagram 收購）、Vercel（Hassan El Mghari 的RoomGPT）和Notion（ Ivan Zhao 和Simon Last 的Notion AI），再到獨立的黑客如Simon Willison、Pieter Levels（Photo/InteriorAI）和Riley Goodside（現在在Scale AI）。他們在Anthropic 進行提示工程的年收入達到30 萬美元，在OpenAI 建設軟件的收入達到90 萬美元。他們在AGI House 利用空閒的周末研究創意，也在/r/LocalLLaMA2 分享竅門。他們共同的特點是，他們正在將人工智能的進步轉化為實際產品，幾乎在一夜之間被數百萬人使用。

**沒有一個人有博士學位。當涉及到發布AI 產品時，你需要的是工程師，而不是研究人員。 **

02、AI工程師將取代ML工程師

未來對AI 工程師的需求量將高速增長。目前在Indeed 上，ML 工程師的工作機會是AI 工程師的10 倍，但是AI 更高的增長率讓人相信，這個比例將在5 年內顛倒過來。

HN Who's Hiring的月度就業趨勢圖

所有的職位名稱都是有片面的，但有些是有用的。我們對AI 和ML 之間無盡的語義辯論既警惕又厭倦，卻也清楚地知道，常規的“軟件工程師”角色完全有能力構建AI 軟件。然而，最近在Ask HN 上關於如何打入AI 工程領域的問題，揭示了市場上仍然存在的基本認知：

2023年6月截圖：對於“如何打入AI 工程領域”的最高票答案

大多數人仍然將AI 工程視為機器學習或數據工程的一種形式，所以他們推薦相同的技術棧。但可以確信的是，上面提到的那些高效的AI 工程師都沒有做過與Andrew Ng Coursera 課程相當的工作，他們也不了解PyTorch，也不知道數據湖和數據倉庫的區別。

不久，沒有人會建議通過閱讀《Attention is All You Need》來開始AI 工程，就像你不會通過閱讀福特Model T 的圖紙來學習駕駛一樣。當然，理解基本原理和歷史總是有幫助的，並且它確實可以幫助你找到還未進入普遍意識的創新點和效率/能力提升。但有時候，你可以直接使用產品並通過經驗了解它們的品質。

誠然， AI 工程師和ML 工程師的反轉並不會在一夜發生。人們天生就想充實簡歷，填寫市場圖，並通過引用更有權威性的深度話題來脫穎而出。也就是說，提示工程和AI 工程在很長一段時間內會覺得自己比那些有良好的數據科學/機器學習背景的人有劣勢。然而，供需經濟學終將勝出，對AI 工程師的需求終將遠超ML 工程師。

**03、為什麼是現在？ **

1. 基礎模型是“少次學習者”，展示出在上下文中學習甚至零次轉移能力，這超越了模型訓練者最初的意圖。換句話說，創造這些模型的人並不完全知道它們的能力。那些非LLM 研究者的人只需花更多時間與模型交互，並將它們應用到被研究低估的領域（例如，Jasper在文案創作中的應用），就能發現並利用這些能力。

2. 微軟、谷歌、Meta 以及大型基礎模型實驗室已經壟斷了稀缺的研究人才，基本上提供了“AI 研究即服務”API。你不能僱傭他們，但可以租用他們——如果你的團隊中有軟件工程師知道如何與他們合作。 **全球大約有5000 名LLM 研究者，但有約5000 萬名軟件工程師。供應限制決定了一個“樞紐型”的AI 工程師將崛起以滿足市場需求。 **

**3. GPU 儲備。 **當然，OpenAI/微軟是首個開展這項工作的，但Stability AI 通過強調他們的4000 個GPU 集群引發了創業公司的GPU 軍備競賽。

**4 直接從產品開始的敏捷行動。 **不再需要數據科學家/ ML 工程師在訓練一個領域特定模型然後將其投入生產之前做一項繁重的數據收集工作，產品經理/軟件工程師可以先提示LLM，並建立/驗證一個產品想法，然後再獲得特定的數據進行微調。

假設後者的數量比前者多100 到1000 倍，而通過提示LLM 的“先開火、準備、再瞄準”的工作流程使您的速度比傳統的機器學習快10 到100 倍。因此，AI 工程師將能夠以1,000 到10,000 倍更低的成本來驗證AI 產品。這又是一次瀑布開發與敏捷開發的較量，而AI 就是敏捷的。

**5. Python → Java。 **數據/人工智能傳統上非常依賴於Python，而像LangChain、LlamaIndex 和Guardrails 這樣的第一批AI 工程工具也源自同一社區。然而，現在有與Python 開發者數量相當多的Java 開發者，因此現在的工具越來越多地滿足這個擴大的用戶群體，從LangChain.js 和Transformers.js 到Vercel 的新AI SDK。市場擴大的機會是巨大的。

**6. Generative AI vs Classifier ML。 **“生成式AI”作為一個術語已經不再流行，為其他類比如“推理引擎”讓路，但在簡潔地闡述現有的MLOps 工具和機器學習從業者之間的區別以及最適合運用LLM 和文本到圖像生成器的嶄新、截然不同的角色時，仍然非常有用。在現有的機器學習研究中中，重點可能放在欺詐風險、推薦系統、異常檢測和特徵存儲等方面，而AI 工程師則正在構建寫作應用、個性化學習工具、自然語言電子表格和類似Factorio 的可視化編程語言。

每當出現一個完全不同背景、使用不同語言、產生完全不同產品並使用完全不同工具的子群體時，它們最終會分裂成獨立的群體。

04、1+2=3：軟件3.0時代的編程

6 年前，Andrej Karpathy 撰寫了一篇非常有影響力的文章，描述了Software 2.0，對比了精確建模邏輯的傳統手寫編程語言的“經典堆棧”和近似邏輯的“機器學習”神經網絡的新堆棧，使得軟件能夠解決比人類能夠建模的問題更多。今年，他在隨後的文章中指出，最熱門的新編程語言是英語，最終填補了他在原始文章中未標記的灰色區域。

去年， Engineering 成為一種模因（Meme），描述了當人們開始利用GPT-3 和Stable Diffusion 時，工作將如何發生變化。人們嘲笑AI 初創公司稱其為“OpenAI 包裝者”，並對LLM 應用程序容易受到提示工程和逆向提示工程的擔憂。壁壘是否真的存在？ （ Sense 說：參考我們的第一篇文章《智能係統：未來人工智能企業的護城河》）

但2023 年最大的主題之一就是重新確立人類編寫的代碼在協調和取代LLM 能力方面的作用，從超過2 億美元的Langchain，到Nvidia 支持的Voyager，展示了代碼生成和重用的明顯重要性。 Engineering 既被過度炒作又會持續存在，但是在軟件3.0 應用程序中重新出現軟件1.0 範例既是一個巨大的機遇和困惑領域，也為眾多初創公司創造了白色空間。

不會做市場研究的投資人不是好的投資人

當然，這不僅僅是人類編寫的代碼。眾多項目的故事表明（smol-developer、更大範圍的gpt-engineer 以及其他代碼生成代理如Codium AI、Codegen.ai 和Morph/Rift的冒險經歷），它們將越來越成為AI 工程師工具包的一部分。隨著人類工程師學會駕馭人工智能，人工智能也將越來越多地參與工程工作。

直到一個遙遠的未來，我們將在某一天抬頭看去，無法再分辨出兩者之間的區別。

參考材料