OpenAI宣佈公開招募「紅隊」網絡,面向AI的超級專家庫呼之欲出

**來源:**財聯社

編輯史正丞

北京時間週三凌晨,美國科技新創公司OpenAI發佈公告,宣布啟動全球招募「紅隊」網路成員,旨在引入外部力量,提前挖掘出AI系統存在的缺陷和風險。

(圖片來源:OpenAI)

所謂的「紅隊」網絡,即Red Teaming,概念來自於軍事模擬。 **即找一隊人來模擬假想的“敵人”,來測試本方(即“藍隊”)的準備程度。 **在AI領域中,「紅隊」的任務就是模擬駭客或其他的潛在危險人物,試圖找到大語言模型的漏洞,從而避免AI在現實社會中協助從事危害社會安全等不法目的。

OpenAI表示,過去幾年一直有不同領域的專家來協助測試未發布的模型,現在則是要組建一支“常規部隊”,**網羅大量來自不同地域、不同語言、不同專業領域、不同生活有經驗的人,共同使得AI模型更加安全。 **與過往僅在重要版本上線前招一批人集中測試不同,OpenAI將會根據需求在整個開發週期中啟用數量不定的成員展開測試。

同時這個「紅隊」網路也將成為OpenAI的全球專家庫,同時OpenAI也會提供平台,讓「紅隊」成員之間進行交流。 OpenAI也在官網上列出部分他們希望招募的專家方向,但也強調不限於這些領域。

Cognitive Science:認知科學

Chemistry:化學

Biology:生物學

Physics:物理學

Computer Science:電腦科學

Steganography:隱寫術

Political Science:政治學

Psychology:心理學

Persuasion:說服

Economics:經濟學

Anthropology:人類學

Sociology:社會學

HCI (Human-Computer Interaction):人機交互

Fairness and Bias:公平與偏見

Alignment:目標對齊

Education:教育

Healthcare:醫療保健

Law:法律

Child Safety:兒童安全

Cybersecurity:網路安全

Finance:金融

Mis/disinformation:誤/假訊息

Political Use:政治應用

Privacy:隱私

Biometrics:生物識別

Languages and Linguistics:語言與語言學

順便一提,OpenAI也表示會給參與「紅隊」計畫的成員支付酬金(不過沒講具體會給多少錢)。 OpenAI也強調,參與「紅隊」的計畫一般會要求簽署保密協議,或在某一段不特定的時間內保持沉默。

OpenAI表示,申請通道將在今年12月1日前保持開放,公司將滾動審查申請,後續將評估是否需要再進行公開招募。

走上檯面的OpenAI「紅隊」成員

正如OpenAI所述,「紅隊」的建制已經存在很久,而且有不少成員已經接受過媒體的公開專訪了。

在今年4月英國《金融時報》的揭秘文章中,美國羅徹斯特大學的化學工程教授Andrew White介紹稱他參加了GPT-4的“紅隊”測試,**他的攻擊目標是用ChatGPT來創造一種全新的神經毒素。 White表示他用了「插件」功能,向大模型輸送化學論文和化學製造商的目錄,大模型甚至還給他找到了一個可以生產假想毒素的地方。 **

White表示,大模型最終可以幫助許多人更快、更準確地做化學試驗,但這裡也有一個嚴重的危險,就是會有些人拿AI去做一些危險的嘗試。

在得到White的回饋後,OpenAI對系統做出了改動,確保不會回應類似的提問。根據媒體找到的10來個背景迥異的「紅隊」成員——有律師、教師、風控人員、安全研究人員等,大多數都位於美國和歐洲。他們透露,在GPT-4發布前的幾個月裡,他們大致花了10-40個小時來測試這個系統,報酬大概是每個小時100美元。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)