📢 Gate廣場 #NERO发帖挑战# 秀觀點贏大獎活動火熱開啓!
Gate NERO生態周來襲!發帖秀出NERO項目洞察和活動實用攻略,瓜分30,000NERO!
💰️ 15位優質發帖用戶 * 2,000枚NERO每人
如何參與:
1️⃣ 調研NERO項目
對NERO的基本面、社區治理、發展目標、代幣經濟模型等方面進行研究,分享你對項目的深度研究。
2️⃣ 參與並分享真實體驗
參與NERO生態周相關活動,並曬出你的參與截圖、收益圖或實用教程。可以是收益展示、簡明易懂的新手攻略、小竅門,也可以是行情點位分析,內容詳實優先。
3️⃣ 鼓勵帶新互動
如果你的帖子吸引到他人參與活動,或者有好友評論“已參與/已交易”,將大幅提升你的獲獎概率!
NERO熱門活動(帖文需附以下活動連結):
NERO Chain (NERO) 生態周:Gate 已上線 NERO 現貨交易,爲回饋平台用戶,HODLer Airdrop、Launchpool、CandyDrop、餘幣寶已上線 NERO,邀您體驗。參與攻略見公告:https://www.gate.com/announcements/article/46284
高質量帖子Tips:
教程越詳細、圖片越直觀、互動量越高,獲獎幾率越大!
市場見解獨到、真實參與經歷、有帶新互動者,評選將優先考慮。
帖子需原創,字數不少於250字,且需獲得至少3條有效互動
靠PPT融資10億,這家法國AI初創公司向微軟谷歌開火
編譯作者:呂可
據海外媒體報導,今年 6 月,剛剛成立了一個月的法國初創公司 Mistral AI 在種子輪融資中籌集到了1.05 億歐元的資金。 而當時,這家由一名 DeepMind 前員工和兩名 Meta 前員工創辦的初創公司還沒有任何可發佈的產品。 人們最初聽到Mistral的融資新聞時,只是在感慨風投公司對處於爆發階段的生成式 AI 領域過於大方。
一周前,Mistral 發佈了一個 73 億參數的模型,旨在與 Meta 的 Llama 2(一個 130 億參數的大型語言模型)競爭。 這家法國公司宣稱,它是目前大型語言模型領域中功能最強大的語言模型。
這款名為Mistral 7B 的基礎模型是專為快速推理和處理較長語句而設計的transformer模型。 它利用utilizing grouped-query attention 和 sliding-window attention來實現這一目標。 utilizing grouped-query attention結合了多次查詢和多頭注意力機制,以平衡輸出品質和速度。 sliding-window attention通過調整視窗大小來擴展上下文長度。 Mistral 7B 的上下文長度為 8000 個token,與更大的模型相比,具有低延遲、高輸送量和高性能的特點。
如今這款Mistral7B模型已經被整合到谷歌的Vertex AI Notebooks 中,這一整合使谷歌雲客戶能夠深入瞭解全面的端到端工作流程,使他們能夠在 Vertex AI Notebooks 上對 Mistral-7B 及其變體進行實驗、微調和部署。
這項合作的一個關鍵功能是 Vertex AI 模型註冊中心,它是一個中央存儲庫,使用戶能夠管理 Mistral AI 模型及其微調模型的生命週期。 通過該註冊中心,用戶可以全面瞭解其模型的增強組織和跟蹤能力。
從該公司的推介會上可以看出,Mistral 公司巧妙地將自己定位為一個重要的潛在參與者。 它將幫助歐洲成為建立基礎人工智慧模型的 「有力競爭者」,並在 「地緣政治問題上發揮重要作用」。。
與 OpenAI 的 GPT 模型(其代碼細節仍處於保密狀態,只能通過 API 獲取)不同,這家總部位於巴黎的公司以 Apache 2.0 許可在 GitHub 上開源了自己的模型,供所有人免費使用。
Mistral將目標瞄準了 Meta 的 Llama,而 Mistral 聲稱他們的大模型產品比 Llama 2 更強。
Mistral 的模型與 Llama 2 的對比
Mistral 在一份報告中表示,Mistral 7B 在多項基準測試中輕鬆擊敗了 Llama 2 的 70 億和 130 億參數兩個模型。
在涵蓋數學、歷史、法律和其他科目的大規模多任務語言理解測試中,Mistral 的模型準確率達到 60.1%,而 Llama 2 模型 70 億參數和 130 億參數兩個版本的準確率分別為 44% 和 55%。
在常識推理和閱讀理解基準測試中,Mistral 的表現也優於 Llama 2 的模型。
只有在編碼方面Mistral 落後於Meta 。 Mistral 7B 在 “Human ”和 “MBPP ”兩項基準測試中的準確率分別為 30.5% 和 47.5%,而 Llama 2 的 70 億模式的準確率分別為 31.1% 和 52.5%。
如何約束大模型? 這是個問題
不過Mistral也表示,有一些使用者抱怨它缺乏ChatGPT、Bard和 Llama 所擁有的安全防護措施。 曾有使用者向Mistral的指令模型詢問如何製造炸彈或自殘,聊天機器人也給出了詳細的指導。
Paul Rottger是一名人工智慧安全研究員,此前曾致力於在 GPT-4 發佈前為其設置防護功能,他在一條推文中對 Mistral 7B 缺乏安全性表示 “震驚”。 “如今很少能看到一個新模型如此輕易地回復哪怕是最惡意的指令。 我對開源大模型的出現感到非常興奮,但這種情況不應該出現! 他說。
這些批評促使Mistral對模型進行了微調,並對此進行了解釋。 “Mistral 7B Instruct 模型已經展現了他們的能力,讓人們看到基礎模型也可以很容易的進行微調,從而展現令人信服的性能。 我們正期待與社區合作,探討如何使該模型更好地遵守防護規則,以便在需要控制輸出的環境中進行部署。 “ Mistral表示。
在許多其他研究人員看來,Mistral 的路線才是修正模型毒性問題的一個長久解決方法,添加防護機制則相當於在重傷上貼創可貼,並沒有那麼好的效果。 違反聊天機器人的安全準則是許多使用者最喜歡的消遣方式,他們想測試聊天機器人的反應極限。 在 ChatGPT 開放的最初幾天里,開發者們一直在催促 ChatGPT 打破聊天機器人的防護機制。
與 Rephrase.ai 合作的深度學習研究員Rahul Dandwate 表示:“事先刪除某些關鍵詞只是部分解決方案,有很多方法可以繞過它。 你還記得 ChatGPT 發佈後的情況嗎? 他們曾出現過的 DAN 或『Do Anything Now』,這是一個可以啟用 ChatGPT 越獄版的提示。 因此,做基礎安全評估是使模型更安全的臨時措施。 "
Dandwate 表示,長期的解決方案是將模型發佈給公眾使用,並從使用中獲得反饋,然後進行微調,這正是Mistral AI正在做的事情。 “ChatGPT之所以更好,是因為它已經被很多人使用過。 他們有一個很基礎的反饋機制,使用者可以選擇豎起大拇指或摁下大拇指,對聊天機器人的回復質量進行評分,我認為這一點非常重要。 “Dandwate表示。
但用這種開放給使用者再微調的壞處是,Mistral 可能不得不暫時應對一些用戶的質疑。 但在人工智慧研究領域,有很大一部分人喜歡原始形式的基礎模型,以便全面瞭解模型的能力,而這些人正在支援Mistral的堅持。
人工智慧研究人員 Delip Rao在推特上說,Mistral 選擇原封不動地發佈開源模型,是 “對 Mistral 模型作為基礎模型的通用性和'非腦葉切除'的認可。”
“腦葉切除術 ”的提法讓人想起了微軟必應聊天機器人Sydney的早期版本。 這款聊天機器人不受約束,有很強的個性,直到微軟將聊天機器人大幅調整為目前的形式。
腦葉切除術這個說法來源於臭名昭著的心理學手術,在大模型領域,它通常指代通過限制功能來預防毒性回答出現。 這種方法通過為大模型設定關鍵詞來過濾那些危險的回答。 但這種一刀切的方式也會導致大模型的性能下降,讓一些涉及敏感詞彙的正常問題難以得到回答。
雖然公司沒有發表官方聲明,但有傳言稱 OpenAI 對該模型進行了“腦葉切除手術”,以控制其混亂的部分。 從那時起,人們就開始好奇,如果讓聊天機器人自由發揮,它會變成什麼樣?
Dandwate 表示:「對模型進行腦葉切除可能會在某些方面對其產生影響。 如果它被禁止回答帶有某些關鍵詞的問題,那麼它也可能無法回答使用者可能提出的技術問題,例如導彈的力學問題,或者圍繞機器人被標記為『有風險』的主題提出的任何其他科學問題。 (譯/呂可)