原文來源：機器之心

圖片來源：由無界 AI生成

大型語言模型 （LLMs） 在各種自然語言任務中展現出了卓越的性能，但是由於訓練和推理大參數量模型需要大量的計算資源，導致高昂的成本，將大語言模型應用在專業領域中仍存在諸多現實問題。 因此，北理團隊先從羽量級別模型入手，最大程度發揮數據和模型的優勢，立足更好地服務特定領域，減少下游任務的訓練與推理成本。

10月24日，北京理工大學自然語言處理團隊發佈系列雙語輕量級大語言模型明德 （Ming De LLM）——MindLLM，全面介紹了大型模型開發過程中積累的經驗，涵蓋了數據構建、模型架構、評估和應用過程的每個詳細步驟。 MindLLM 從頭開始訓練，具有 1.3B 和 3B 兩個版本， 在某些公共基準測試中始終匹配或超越其他開源大型模型的性能。 MindLLM 還引入了專為小型模型量身定製的創新指令調整框架，來有效增強其能力。 此外，在法律和金融等特定垂直領域的應用，MindLLM 也具有出色的領域適應能力。

* 論文地址：

MindLLM 亮點

1. 我們分享了數據處理方面的經驗，包括維護高品質和高比例的網路文本、保留書籍和對話等長期數據、對數學數據進行下採樣，同時對代碼數據進行上採樣。 我們建議均勻地打亂數據以進行能力學習，並將一些樣本分塊以用於小樣本學習場景。
2. 我們的評估結果優於部分大型模型，在未使用指令微調和對齊時，MindLLM模型 在 MMLU 和 AGI 評測上的性能優於 MPT-7B 和 GPT-J-6B 等大型模型。 在中文方面，MindLLM 在 C- 和 CMMLU 上表現出與更大參數模型相當的性能。 具體來說，MindLLM-3B 在數學能力上優於MOSS-Base-16B、MPT-7B等較大模型，在雙語能力上超過Baichuan2-7B和MOSS-Base-16B。 而且，MindLLM-1.3B 在數學上比同等大小的 GPT-Neo-1.3B 更好。
3. 我們比較了雙語學習中兩種不同的訓練策略，並研究在預訓練期間是否保持數據均勻分佈的影響。 我們得出的結論，對於容量規模有限的羽量級模型（≤7B）來說，通過預訓練然後遷移訓練的策略來實現數學、推理或雙語對齊等複雜能力並不是最優的，因為整合新知識和現有知識是困難的。 相比之下，更有效的策略是從頭開始，結合下游任務的需求，對多種數據類型進行整合，從而確保所需能力能夠穩定且有效地獲取。
4. 我們發現在指令調優過程中利用針對特定能力的定製數據，可以顯著增強輕量級模型的特定能力，例如綜合推理能力或學科知識能力。
5. 我們介紹了使用基於熵的質量過濾策略構建指令集的方法，並證明瞭其在過濾羽量級模型的高品質指令調整數據方面的有效性。 我們證明，在輕量級模型的背景下，通過改善指令調優數據品質可以更有效地實現模型性能的優化，而不是僅僅增加數據量。
6. 我們的模型在特定領域展現出了出色表現，特別是在法律和金融等領域。 我們發現模型參數大小的差異不會在特定領域內產生顯著差異，並且較小的模型可以優於較大的模型。 我們的模型在特定領域優於參數大小從 1.3B 到 3B 的所有模型，同時與參數大小從 6B 到 13B 的模型保持競爭力，而且模型在特定領域內的分類能力在 COT 方法下顯著增強。

數據相關

數據處理

我們使用英文和中文兩種語言的訓練數據。 英文數據源自Pile數據集，經過進一步處理。 中文數據包括來自Wudao、CBooks等開源訓練數據，以及我們從互聯網上爬取的數據。 為確保數據質量，我們採用了嚴格的數據處理方法，特別是對於從網路爬取的數據。

我們採用的數據處理方法包括如下幾個方面：

1. 格式清洗：我們使用網頁解析器從源網頁中提取和清理文本內容。 這一階段包括去除無用的HTML、CSS，JS標識和表情符號，以確保文本的流暢性。 此外，我們處理了格式不一致的問題。 我們還保留了繁體中文字符，以便我們的模型能夠學習古代文學或詩歌。
2. 低品質數據過濾：我們根據網頁中的文本與內容的比例來評估數據品質。 具體來說，我們會排除文本密度低於75%或包含少於100個中文字符的網頁。 這一閾值是通過對抽樣網頁進行初步測試確定的。
3. 資料去重：鑒於WuDao的數據也源自網頁，某些網站可能會重複發佈相同的資訊。 因此，我們採用了局部敏感哈希演算法，用以去除重複內容，同時保留了我們訓練數據的多樣性。
4. 敏感資訊過濾：鑒於網頁通常包含敏感內容，為構建一個積極正向的語言模型，我們採用了啟發式方法和敏感詞彙詞庫來檢測和過濾這些內容。 為了保護隱私，我們使用正則表達式來識別私人資訊，如身份證號碼、電話號碼和電子郵件位址，並用特殊標記進行替換。
5. 低資訊數據過濾：低信息數據，如廣告，通常表現為重複內容。 因此，我們通過分析網頁文本內容中的短語頻率來鑒別這類內容。 我們認為來自同一網站的頻繁重複短語可能對模型學習不利。 因此，我們的篩檢程式主要關注廣告或未經認證的網站中的連續重複短語。

最終我們獲得了數據如下表：

縮放定律

為了確保在深度學習和大型語言模型的訓練成本不斷增加的情況下獲得最佳性能，我們進行了數據量和模型容量之間的關係研究，即Scaling Law。 在著手訓練具有數十億參數的大型語言模型之前，我們首先訓練較小的模型，以建立訓練更大模型的擴展規律。 我們的模型大小範圍從1千萬到5億參數不等，每個模型都在包含高達100億tokens的數據集上進行了訓練。 這些訓練採用了一致的超參數設置，以及前文提到的相同數據集。 通過分析各種模型的最終損失，我們能夠建立從訓練FLOP（浮點運算數）到Loss之間的映射。 如下圖所示，不同大小的模型飽和的訓練數據量不同，隨著模型大小的增加，所需的訓練數據也增加。 為了滿足目標模型的精確數據需求，我們使用了冪律公式來擬合模型的擴展規律，並預測出3B參數模型的訓練數據量與Loss數值，並與實際結果進行對照（圖中星標）。

數據混雜與數據課程

數據對模型的影響主要涵蓋兩個方面：（1）混合比例，涉及如何將來自不同來源的數據組合在一起，以在有限的訓練預算下構建一個特定大小的數據集; （2）數據課程，涉及來自不同來源的數據的排列方式，以訓練模型特定的技能。

我們將每個數據來源等比例縮小，用於訓練15M參數量的模型。 如下圖所示，不同類型的數據對學習效率和模型最終結果有不同的影響。 例如，數學題數據的最終損失較低，學習速度較快，表明它具有更為明顯的模式且容易學習。 相比之下，來自資訊豐富的書籍或多樣化的網路文本的數據需要更長的適應時間。 一些領域相似的數據可能在損失上更為接近，例如技術相關數據和百科全書。

為了進一步探究模型從單一數據泛化到其他數據的性能，我們使用這些在單一數據上訓練好的模型在其他數據上進行測試，結果如下圖所示：

不同數據集展現出不同程度的泛化能力，例如：網頁文本、百科全書和問答數據訓練的模型在多個數據源上展現出較強的泛化能力，表明它們的內容包含了各個領域的多樣資訊。 相比之下，學術論文數據和代碼數據訓練的模型在數學能力上表現出色，但在泛化方面較弱，可能是由於領域特定性和獨特的格式資訊。

此外，我們進行了多次的數據比例調整，以平衡模型在各種技能和數據類型之間的表現。 基於我們的實驗，我們最終確定了數據混合比例的一些原則：

• 保持高品質網路文本和百科全書數據的比例，因為它們具有多樣性。
• 降低數學數據的比例，以避免過擬合。
• 利用代碼和學術數據來增強數學能力，同時通過多樣化的抽樣和相關處理減輕格式的影響。
• 保留一些對話和書籍數據，有助於學習長程依賴關係。

除了混合比例，數據課程（數據的訓練順序）也會影響模型的能力學習。 實驗表明，不同來源的數據將使模型學習不同的技能，由於技能之間的相關性，採用特定的學習順序可能有助於模型學習新的技能。 我們的實驗集中於非均勻混合數據和語言遷移學習對模型能力的影響。 我們的實驗表明，非均勻混合數據會導致模型在同一類型數據上進行連續訓練，這更接近於上下文內學習的情境，因此在少樣本學習方面表現更好; 然而，由於學習的不均勻性，後期可能會出現明顯的遺忘現象。 此外，語言遷移學習有助於模型獲得雙語能力，通過語言對齊可能提高整體性能，但我們認為使用混合語言數據進行訓練更有利於模型能力的分配與習得。

MindLLMs 模型架構

MindLLM-1.3B採用的是GPTNeo-1.3B相同的模型架構，而MindLLM-3B則是在此基礎上增加了一些改進。 基於訓練穩定性和模型能力方面的考慮，我們使用旋轉位置編碼（RoPE）DeepNorm、RMS Norm、FlashAttention-2、GeGLU等優化算子。

我們在GPTNeo-1.3B的基礎上增加了中文詞表，並採用遷移學習的策略訓練MindLLM-1.3B的雙語能力。 而MindLLM-3B，我們則是使用來自SentencePiece的BPE來對數據進行分詞，我們的Tokenizer的最終詞彙量大小為125,700。 通過兩種不同的雙語訓練方式，我們總結了一些普遍實用的預訓練方法。

預訓練

預訓練細節

我們使用了兩種不同的策略從頭訓練雙語模型MindLLM。 對於MindLLM-3B，我們直接在混合的中英文雙語數據上預訓練了800,00步，同時學習中英文能力; 對於MindLLM-1.3B，我們首先在英文數據集上進行預訓練101,100步，然後使用中英文混合數據訓練了105,900步。 預訓練細節如下：

### 預訓練階段評估

較小的模型可以擊敗更大的模型

為評估模型的中英文能力，我們使用MMLU（5-shot）和AGI（4-shot）評估模型英文能力，使用C-（5-shot）和CMMLU（4-shot）評估模型的中文能力。 其中AGI採用英文部分的多選題部分。 評估結果如下：

在英文表現上，MindLLMs平均水平超過了GPT-J-6B，MPT-7B，MOSS-Base-16B等更大的模型，並接近Falcon-7B，而後者均有更大的模型規模和更多的預訓練數據。 在中文能力上，MindLLMs則和開源的LLMs表現相當。 值得說明的是，目前MindLLMs仍在訓練增強中。

此外，我們發現數據量更少，但是使用了中英文數據訓練的MindLLM-1.3B在MMLU上的表現優於GPT-Neo-1.3B，我們推測這可能是雙語學習帶來的增益，因為不同語種在能力之間也存在共通性。 詳細實驗和分析可查看論文4.4節。

較小的模型在具體能力上存在巨大的潛力

對於羽量級模型，在應用於下游任務時，只需要存在相關的能力上展現出出色的表現即可。 因此，我們本部分想要探究MindLLMs和其他羽量級LLM在（≤7B）具體能力上的表現和影響因素。

我們主要從數學能力、推理能力和雙語對齊能力三個角度評估不同模型表現，因為這三種能力複雜且對於雙語模型的應用相對重要。

（1） 數學

我們使用Arithmetic（5-shot）數據集評估模型的算數能力，使用GSM8K（4-shot）和MATH（4-shot）評估模型的通用數學能力。 評估結果如下：

我们发现，MindLLM-3B在数学能力上的平均分数达到了16.01，超过了MOSS-Base-16B(15.71)和MPT-7B(13.42)，GPT-J-6B(13.15)。此外MindLLM-1.3B的数学平均水平也超过了相同大小的GPT-Neo-1.3B。以上结果表明，轻量级模型在数学上有着巨大的潜力，较小的模型也可以在具体领域表现出超越或者与更大模型相当的水平。进一步，我们可以看到数学能力较为出色的(均分≥15) ，除MindLLM-3B，均為7B左右的模型。 這表明，如數學能力類似的複雜能力的全面獲取可能會收到模型規模的限制，這一猜測可以進一步在模型雙語能力和推理能力的評估進一步體現。

（2） 推理

我們使用HellaSwag、WinoGrande評估模型語言推理能力（5-shot），使用LogiQA評估模型邏輯推理能力（5-shot），使用PubMedQA、PIQA、MathQA評估模型知識推理能力（5-shot），使用BBH評估模型綜合推理能力（3-shot）。 具體評估結果如下：

首先，在模型容量有限的條件下，雙語帶來的能力增益可能需要和語言學習對模型能力容量的消耗進行平衡。 語言學習會佔據部分模型能力容量，使得複雜能力如推理能力可能無法全面獲取。 比如MindLLM-1.3B在英文MMLU評估指標上均優於GPT-Neo-1.3B，但在推理能力的平均水準上弱於後者（35.61 vs 38.95）。 而Blooms的推理能力沒有特別出色，但後續評估的雙語能力出色，這也一定程度上印證了以上觀點。 其次，規模越大的預訓練數據集可能包含的世界知識更多，這樣邊有助於模型進行推理任務，例如Open-LLaMA-3B的推理表現和較大的模型表現相當，而其預訓練數據為1T B，超過了其它同規模的模型所使用的預訓練數據。 因此，較小規模的模型依舊能夠有潛力在推理能力上獲得和較大模型相當的表現。 另外，我們發現MOSS在推理上的水準似乎沒有從前期代碼數據的學習獲得增益而表現更好（MOSS在CodeGen上進行了繼續訓練），但相關工作表明，代碼確實有利於模型推理能力的提升，那麼到底代碼數據如何以及何時加入訓練來增強模型的推理能力值得進一步探討。

（3） 雙語能力

我們使用Flores-101（8-shot）中的zh-en部分評估雙語或者多語模型在中英文上的對齊能力。 我們加入Chinese-LLaMA-2-7B進行評估，其為在LLaMA-2-7B基礎上進行中文領域適應的模型。 結果如下所示：

我們發現，模型在英文到繁體中文的翻譯表現均不佳，這主要是預訓練數據中的繁體中文佔比很少。 除此外，只有Blooms和MindLLM-3B在中文到英文和英文到中文雙向的語言對齊上表現出色，其次為LLaMA-2-7B和MOSS-Base-16B。 而LLaMA-7B和Open-LLaMA-7B則只能在中文到英文上對齊。 結合模型預訓練的數據可以知道，Blooms和MindLLM-3B的預訓練數據中中英文比例較平衡，而LLaMA-2-7B中中文數據比例遠低於英文，在LLaMA-7B和Open-LLaMA-7B的預訓練數據中中文比例更少。

因此，我們有兩個結論，其一是模型可以通過在某種語言上進行大量的訓練學習到通過的語言表示，同時混入少量的另一種語言就可以理解並進行單向對齊，如LLaMA-7B和Open-LLaMA-7B的表現。 其二則是，若需要獲得更好的雙語或多語對齊能力，那麼在預訓練開始階段就需要有較平衡的雙語或多語數據比例，如Blooms和MindLLM-3B。 進一步，我們發現MOSS-Base-16B和Chinese-LLaMA-2-7B存在較合理的中英文數據比例，單依舊沒有表現出雙向對齊，我們的假設是雙語對齊能力在遷移訓練的時候加入是困難的，因為此時的模型已經存在了大量的知識，這在容量較小的情況下會產生矛盾衝突。 這也解釋了容量更小，前期單語訓練的數據量少的MindLLM-1.3B也沒有獲得雙語對齊能力的現象。 而Baichuan2-7B在其他表現方面非常出色，可能也就佔據了較大的能力容量，無法學習到較好的雙向對齊能力。

（4） 總結

通過評估預訓練階段的評估結果，我們有一下兩個結論：

• 輕量級模型在特定的領域或者能力上有巨大的潛力超過或者達到更大模型的水準。
• 對於容量有限的模型（≤7B），我們可以在預訓練數據中根據下游任務的具體能力需求合理分配數據比例，這樣有利於模型從頭穩定地學習獲取目標能力，並進行不同知識與能力的融合和促進。

此外，論文中還對比了是否保持數據均勻分佈對模型預訓練性能的影響，實驗結果顯示類似課程學習的數據構造方式可能在前期和均勻混合的數據構造方式下訓練的模型表現相當，但是最終可能出現災難性遺忘而導致表現突然下降，而後者表現則更持續穩定，獲取的預訓練數據知識也更加全面，這也佐證了以上第二點結論。 另外我們發現類似課程學習的數據構造方式可能產生更多有利於增強模型上下文學習能力的數據分佈。 具體細節可以查看論文4.5部分。

指令微調

我們想要探討在輕量級模型上，不同類別數據集的指令微調會有什麼樣的性能表現。 下表是我們使用的指令微調數據集，包含我們重新構造的中文數據集MingLi、公開數據集Tulu（英文）和中英雙語數據集MOSS。

**對於MindLLM來說，指令微調的數據品質要比數據數量更加重要。 **

MindLLM-1.3B和MindLLM-3B模型在不同數據下指令微調後在C-上的性能表現如下。 從實驗結果看，使用精心挑選的50,000條指令微調數據集訓練的模型性能要高於多樣性高、數據量大的指令微調數據集訓練的模型性能。 同樣，在英文指標MMLU上，模型也表現出相同的性能（詳見論文Table 14）。 因此，對於羽量級模型來說，如何定義和篩選出高品質的指令微調數據集是非常重要的。

基於數據熵的指令微調數據篩選策略

如何定義高品質的指令微調數據？ 有學者提出指令微調數據的多樣性可以代表指令微調數據集的數據品質。 然而根據我們的實驗發現，指令微調的數據熵和數據長度會更加影響輕量級模型的性能。 我們將每條數據在預訓練模型上的交叉熵損失定義為該數據的數據熵，並通過K-Means演算法依據數據熵對數據進行聚類得到不同的數據簇。 MindLLM經過每個數據簇的指令微調後再C-的結果如下表所示（MMLU的結果詳見論文Table19）：

依據表中結果可知，MindLLM-1.3B和MindLLM-3B在不同數據簇上的表現相差明顯。 進一步的，我們對數據熵和模型在C-和MMLU上的準確率的關係進行和函數擬合分析，如圖所示：

圖像中紅色五角星的點為預訓練模型的熵值。 根據分析可知，當數據的熵比預訓練模型的熵高1-1.5時，模型經過該區間的數據指令微調后性能最佳。 因此，我們通過數據熵定義了高質量數據，並且提出了篩選高質量數據的方法。

MindLLM可以經過指定指令微調數據集獲得特定能力

為了探究MindLLM能否經過指令微調有效的提升其特定能力，我們使用萬卷數據集中的exam數據部分微調模型，目的是為了增強模型的學科知識能力。 我們在C-上進行了評估，結果如下：

可以看到，經過指令微調之後，模型在學科知識能力上有了很大的提升，1.3B的MindLLM的性能甚至超過ChatGLM-6B、Chinese-Alpaca-33B等更大規模的模型。 因此我們認為MindLLM在指令微調後可以提升其特定能力，又鑒於其羽量級的特點，更適合部署在下游垂直領域任務之中。

領域應用

為了展示小模型在具體領域應用的效果，我們採用了在金融和法律兩個公開數據集來做出驗證。 從結果中可以觀察到，模型的參數大小對領域性能有一定影響，但表現並不明顯。 MindLLM的性能在領域應用內超越了其它同等規模的模型，並且與更大的模型有可比性。 進一步證明瞭小模型在領域應用落地有極大潛力。

金融領域

在該領域，對金融數據進行情緒感知分類任務。 首先，我們從東方財富網爬取了2011年5月13日至2023年8月31日的數據，並根據接下來的股價波動對數據進行了標記。 隨後，按照日期將數據劃分為訓練集和測試集。 考慮到類別的不平衡性，我們對數據進行了採樣，最終使用了32萬條數據作為訓練集，而測試集則採用了2萬條數據。

我們通過兩種不同的訓練方法來比較不同模型的表現。 第一，僅適用簡單的監督微調（Supervised Fine-Tuning， SFT）對文本進行分類訓練。 第二，從ChatGPT中蒸餾推理過程數據，並將其作為輔助數據添加到訓練中，具體採用了COT（Chain-Of-Thought）訓練方式。

實驗結果表明，通過補充輔助資訊，可以在不同程度上提升所有baseline模型和MindLLM模型效果。 進一步可觀察到，COT 訓練使得 MindLLM-1.3B 和 3B 的性能比 SFT訓練性能分別提高了 27.81% 和 26.28%，除了Baichuan-7B以外，MindLLM比其他模型提高幅度更加顯著。 此外，MindLLM-1.3B 和 3B 在相同規模下達到了最佳性能，而且超過了 ChatGLM2-6B 和 Open-LLaMA-7B。

法律領域

我們收集了一些公開的法律相關數據，並結合了一些通用指令數據對 MindLLM 進行指令微調 （SFT）。 為了探究數據的 token 長度是如何影響模型在具體領域上的性能的，我們使用不同數據長度的數據來分別訓練 MindLLM。 我們首先篩選了長度小於450的全部數據，然後分別使用MindLLM-1.3B和MindLLM-3B的Tokenizer篩選出長度在200-300和300-450之間的數據。 數據統計和所對應的訓練模型如下表所示：

為了避免人類評估產生的偏差和專業知識不足造成的錯誤，我們使用採用chatgpt作為評估器，具體方法如下。 由ChatGPT生成的多輪法律諮詢對話數據集，提取了其中100個對話作為我們的評估數據。 我們使用ChatGPT來評估模型對於法律諮詢的回復，讓ChatGPT對於模型的回復進行排序，再根據排序結果計算Elo分數。 最終篩選出一個最佳模型作為 MindLLM-Law 和其它開源模型相比較。

對於 Bloom，GPT-Neo 和 Open-LLaMA 模型使用了和 MindLLM-Law 一樣的數據集進行了微調，比較結果如下所示：

結果顯示 MindLLM-Law 尚未超越具有 13B 參數的模型和 ChatGLM2-6B，其主要原因是我們在預訓練階段法律方面數據不足，未能帶來更大的增益。 但是，MindLLM相較於Baichuan2-7B-Chat、微調後的Open-LLaMA-7B和其他同規模模型來講，整體優勢非常明顯。

總結

本文介紹了 MindLLM 系列模型，目前包括兩款羽量級大語言模型。 我們詳細探討了它們的訓練過程，包括數據處理、預訓練、微調、以及領域應用，分享了在這些領域所積累的寶貴經驗和技術應用。 儘管 MindLLM 的參數規模相對較小，但它們在多個性能評測中表現出色，甚至在某些方面超越了一些更大體量的模型。 MindLLM 在領域適應方面相對於其他羽量模型表現出更卓越的性能。 同時，與更大規模的模型相比，它們能夠以更快的訓練速度和更少的訓練資源取得相當的成績。 基於以上分析，我們認為小模型仍然具有極大的潛力。 我們將進一步提升數據品質，優化模型訓練過程和擴展模型規模，以多維度方式提升 MindLLM 的性能。 未來，我們計劃在更多下游任務和特定領域進行嘗試，以更深入地實現羽量級大模型的具體應用。