📢 Gate廣場 #NERO发帖挑战# 秀觀點贏大獎活動火熱開啓!
Gate NERO生態周來襲!發帖秀出NERO項目洞察和活動實用攻略,瓜分30,000NERO!
💰️ 15位優質發帖用戶 * 2,000枚NERO每人
如何參與:
1️⃣ 調研NERO項目
對NERO的基本面、社區治理、發展目標、代幣經濟模型等方面進行研究,分享你對項目的深度研究。
2️⃣ 參與並分享真實體驗
參與NERO生態周相關活動,並曬出你的參與截圖、收益圖或實用教程。可以是收益展示、簡明易懂的新手攻略、小竅門,也可以是行情點位分析,內容詳實優先。
3️⃣ 鼓勵帶新互動
如果你的帖子吸引到他人參與活動,或者有好友評論“已參與/已交易”,將大幅提升你的獲獎概率!
NERO熱門活動(帖文需附以下活動連結):
NERO Chain (NERO) 生態周:Gate 已上線 NERO 現貨交易,爲回饋平台用戶,HODLer Airdrop、Launchpool、CandyDrop、餘幣寶已上線 NERO,邀您體驗。參與攻略見公告:https://www.gate.com/announcements/article/46284
高質量帖子Tips:
教程越詳細、圖片越直觀、互動量越高,獲獎幾率越大!
市場見解獨到、真實參與經歷、有帶新互動者,評選將優先考慮。
帖子需原創,字數不少於250字,且需獲得至少3條有效互動
一行代碼提高大模型10%性能,開發者:免費午餐
原文來源:量子位
大模型微調有「免費的午餐」了,只要一行代碼就能讓性能提升至少10%。
在7B參數量的Llama 2上甚至出現了性能翻倍的結果,Mistral也有四分之一的增長。
雖然這種方法用在監督微調階段,但RLHF模型也能從中受益。
這是一種新的正則化技術,可以用於提高微調監督(SFT)模型的性能。
NEFT不僅操作簡便,而且沒有顯著的成本增加,作者稱看起來是個“免費的午餐”。
向模型中加入雜訊
NEFTune的全稱是Noisy Embedding Fine Tuning,即“帶雜訊的嵌入式微調”。
開發者認為,過擬合現象是限制大模型性能的一大因素,因此採用在訓練階段向嵌入層中加入雜訊的方式來避免過擬合的出現,從而提高性能。
然後,系統會隨機生成一個雜訊向量,並用縮放器將雜訊調節成所設置的強度。
經過縮放后的雜訊會加入到嵌入向量中,作為模型的輸入,然後開始訓練。
每次反覆運算訓練時,都會生成新的雜訊並加入到嵌入層中。
從火炬.nn導入功能為F
def NEFTune(model, noise_alpha=5) def noised_embed(orig_embed, noise_alpha): 定義 new_func(x): 如果模型訓練: embed_init = orig_embed(x) dims = torch.tensor(embed_init.size(1) * embed_init.size(2)) mag_norm = noise_alpha/torch.sqrt(dims) 傳回embed_init + torch.zeros_like(embed_init).uniform_(-mag_norm, mag_norm) 還: 傳回orig_embed(x) 返回new_func model.base_model.model.model.embed_tokens.forward = noised_embed(model.base_model.model.model.embed_tokens, noise_alpha) 返回模型
這段代碼中,NEFTune函數中的形參noise_alpha就是雜訊強度(係數),mag_norm則為實際過程中的雜訊範圍。
而NEFT只有在訓練過程中才會向模型中加入雜訊,推理階段無此過程,代碼中的if語句起到的就是這個作用。
訓練模式下,new_func函數的返回值即為加入雜訊后的嵌入層。
貼出這段代碼是為了講解需要,如果只是想調用NEFT,可以不必使用上面的完整代碼,直接從TRL庫中調用就可以了。
下面的代碼是微調OPT-350M模型的一個示例:
從數據集導入load_dataset 從 trl 進口 SFTTrainer
數據集 = load_dataset(“IMDb”, split=“train”)
培訓師 = SFTTrainer( “Facebook/OPT-350M”, train_dataset=數據集, dataset_text_field=「文本」, max_seq_length=512, ) trainer.train()
而數據集方面,開發者一共使用了Alpaca、ShareGPT等四種不同數據集進行了微調。
作者介紹,選擇這些數據的原因包括它們比較著名、曾成為SOTA等等。
此外出於硬體性能考慮,實驗過程中所選擇的都是單輪對話數據集。
那麼,用NEFT方法調校過後的大模型,表現到底怎麼樣呢?
性能最高提升1倍
研究團隊主要測試了模型調校前後生成的文本質量和對話能力。
其中文本品質主要基於Aplaca數據集,使用ChatGPT和GPT-4評估。
用作參照的模型是Text-Davinci-003,訓練后的模型勝過TD3的比例即為評價指標。
為了節約資源,研究團隊先用ChatGPT判斷是自己來評價還是調用GPT-4,部分情況下還會人工評判。
結果在不同的訓練數據集中,Llama 2調整后都有至少10%的性能提升,在Alpaca數據集上更是直接翻倍。
結果發現,NEFT調整后模型的聊天能力同樣相比Evol-Instruct有進一步提升。
結果顯示,NEFT方法在不同的數據集和模型上,對模型的其他能力均沒有顯著影響。
為了證實這一點,作者對模型損失進行了評估,結果發現測試數據集損失低於訓練數據,證實了這一觀點。
為了確認文本品質的提高是加入雜訊的作用而不是由文本長度的增加所導致,研究人員又進行了消融實驗。
結果顯示,只是強制模型生成更長的文本無法達到NEFT的效果。