國產語音對話大模型來了：李開復零一萬物參與，中英雙語多模態，開源可商用

來源：量子位

首個中英雙語的語音對話開源大模型來了！

這幾天，一篇關於語音-文本多模態大模型的論文出現在arXiv上，署名公司中出現了李開復旗下大模型公司01.ai——零一萬物的名字。

這篇論文提出了一個中英雙語可商用對話模型LLaSM，同時支持錄音和文本輸入，“混合雙打”也沒有問題：

論文認為，“語音聊天”才是AI與人之間更方便自然的交互方式，而不僅僅是通過文本輸入。

用上大模型，有網友已經在想像“躺著說話就能寫代碼”的場景了。

這項研究來自LinkSoul.AI、北大和零一萬物，目前已經開源，也可以在抱抱臉中直接試玩。

一起來看看它的效果如何。

支持文本語音輸入，手機也可玩

據研究人員表示，LLaSM是第一個支持中英文雙語語音-文本多模態對話的開源可商用對話模型。

那麼，就來看看它的語音文本輸入和中英雙語能力如何。

首先來個中英文化碰撞，讓它用英文評價一下李白：

還可以，正確地說出了李白的朝代。如果看不懂英文，讓它直接翻譯成中文也沒問題：

接下來再試試中英混合提問，在中文裡面摻雜一個“fried food”，模型輸出也不錯：

再試探一下模型，讓它進行一些評價，看看李白和杜甫哪個更厲害。

可以看出，模型思考一會後給出了非常中立的評價，也具備大模型的基本“端水常識”（手動狗頭）

當然，不止是電腦，手機也能玩。

我們試著用語音輸入“給我推荐一個菜譜吧”：

可以看到模型準確地輸出了一個“茄子芝士”的菜譜，就是不知道好不好吃。

不過，我們在嘗試的時候也發現，這個模型有時候會出bug。

例如有時候它並不能很好地“聽懂人話”。

要求輸出中英混合的內容，它會假裝看不懂並輸出英文：

而當中英混合詢問想听“Taylor Swift的Red”時，模型更是直接出大bug，反反复复輸出一句話，甚至停不下來……

總體來看，當遇到中英混合的提問或要求時，模型輸出能力還是不太行。

不過分開的話，它的中英文表述能力還是不錯的。

那麼，這樣的模型究竟是怎麼實現的呢？

**做了個什麼新模型？ **

從試玩來看，LLaSM主要有兩個特點：一個是支持中英輸入，另一個是語音文本雙輸入。

要做到這兩點，分別需要在架構和訓練數據上做一些調整。

架構上，LLaSM將當前的語音識別模型和大語言模型做了個整合。

LLaSM由三個部分構成，分別包括自動語音識別模型Whisper、模態適配器和大模型LLaMA。

其中，Whisper負責接收原始語音輸入，並輸出語音特徵的向量表示；模態適配器負責對齊語音和文本嵌入；LLaMA則負責理解語音和文本輸入的指令，並生成回复。

模型的訓練一共分為兩個階段，第一階段訓練模態適配器，凍結編碼器和大模型，也就是讓它來學習語音和文本對齊；第二階段凍結編碼器，訓練模態適配器和大模型，來學習多模態對話能力。

訓練數據上，研究人員整理出了一個包含19.9萬個對話和50.8萬個語音-文本樣本的數據集LLaSM-Audio-Instructions。

而在50.8萬個語音-文本樣本中，有8萬個中文語音樣本，42.8萬個英文語音樣本。

研究人員主要基於WizardLM、ShareGPT和GPT-4-LLM等數據集，通過文本轉語音技術，給這些數據集生成語音包，同時過濾掉無效對話。

這也是目前最大的中英文語音文本指令遵循數據集，不過目前還在整理中，據研究人員表示，整理完後會進行開源。

不過，論文暫時沒有對比它和其他語音模型或文本模型的輸出效果。

作者介紹

這篇論文來自LinkSoul.AI、北京大學和零一萬物。

共同一作Yu Shu和Siwei Dong均來自LinkSoul.AI，此前曾經在北京智源人工智能研究院工作。

LinkSoul.AI是一家AI初創公司，之前推出過首個開源Llama 2的中文語言大模型。

作為李開復旗下的大模型公司，零一萬物也在這次研究中有所貢獻。作者Wenhao Huang的Hugging Face主頁顯示，他畢業於復旦大學。

論文地址：

演示站點：