GAIR Paper 102 ｜不靠真實語音堆料，低資源 TTS 也能 SOTA ｜ICML 2026

SE-Bridge-TTS：合成數據也能訓出穩定、自然、可克隆的低資源語言 SOTA TTS。

作者丨邏輯智能

SE-Bridge-TTS 是一套面向低資源語言的語音合成方案，核心能力是：在真實語音數據稀缺的情況下，仍然生成穩定、自然、可克隆的多語言語音，可用于博客配音、視頻翻譯配音、跨語言內容本地化、數字人、語音助手和小語種內容生產。

邏輯智能邀請您體驗免費配音，官網：https://luoji.cn/

開源項目 Video Translator：面向 AI 編程助手和 Agent 工作流，支持通過 Skill 方式快速接入，方便開發者在現有工具鏈中一鍵安裝和使用，也可參考其實現擴展到更多國內外 AI 編程工具。

項目地址：https://github.com/InsiderX-Pro/video-translator

近一年，多語言 TTS 正在成為語音生成領域的主流方向。新的系統不斷出現，目標也越來越統一：支持更多語言、更多說話人、更強的跨語言提示合成，以及 0-shot voice cloning。

但多語言覆蓋并不等于低資源語言真的被解決了。對泰語、老撾語這類小語種來說，模型能“支持”某個語言，和模型能在這個語言上穩定、自然、像目標說話人一樣生成語音，是兩件不同的事。

SE-Bridge-TTS 的切入點正是在這里。它沒有從頭訓練一個更大的多語言基礎模型，而是基于 CosyVoice2 這樣的開源底座，從數據層面重新拆解低資源 TTS：真實語音稀缺時，合成數據該如何使用？合成數據越多是否一定越好？當發音穩定性和語音表現力發生沖突時，訓練流程應該如何修正？

這項工作已被 ICML 2026 接收。更關鍵的是，項目近期公開了 Thai / Lao 權重，并補充了 FLEURS Lao/Thai 多語言提示評測：在與 Higgs Audio v3、OmniVoice、X-Voice Stage1 等近期開放多語言 TTS 系統的對比中，SE-Bridge-TTS 在老撾語和泰語目標語言上達到與現有 SOTA 一致甚至更優的效果。

論文標題

Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models

項目名稱

SE-Bridge-TTS

會議

ICML 2026

關鍵詞

Spoken Language Models · Low-Resource TTS · Preference Alignment · Zero-Shot Voice Cloning

論文鏈接

https://arxiv.org/abs/2605.27383

項目主頁

https://insiderx-pro.github.io/SE-Bridge-TTS/

官方倉庫

https://github.com/InsiderX-Pro/SE-Bridge-TTS

模型權重

https://huggingface.co/isabeth/SE-Bridge-TTS

開源項目地址

https://github.com/InsiderX-Pro/video-translator

項目企業官網

https://luoji.cn/

低資源語言的 TTS 系統長期受限于真實標注語音不足。合成數據看似是最直接的擴容方案：它能提供穩定的文本-語音配對，幫助模型學會發音和讀詞。但論文系統性地證明，合成數據并不是簡單的“越多越好”。

在泰語實驗中，隨著合成數據比例提高，詞錯誤率（WER）持續下降，說明發音穩定性確實改善；但超過關鍵比例后，語音 token 熵、自然度 MOS、說話人相似度 MOS 都開始下降，重復率顯著上升。論文將這種現象命名為 Synthetic Erosion：低熵、平坦的合成語音分布逐漸侵蝕模型從預訓練骨干中繼承的表現力。

圍繞這一問題，論文提出“穩定性-表現力鴻溝”（Stability-Expressivity Gap），并給出兩套自對齊框架：DGSA 用于有一定真實參考語音的場景，通過韻律-音色解耦自動構造偏好樣本；TDSC 用于幾乎沒有真實語音錨點的極低資源場景，通過多溫度采樣、ASR 過濾和迭代偏好學習，讓模型在純合成訓練下逐步自我修正。

01

多語言 TTS 的主流趨勢，和低資源語言的真實缺口

語音大模型（Spoken Language Models, SLMs）正在成為下一代文本轉語音、實時語音交互和跨語言語音生成的核心技術路線。相比傳統 TTS 依賴字素到音素（Grapheme-to-Phoneme, G2P）規則，SLM 可以直接建模離散語音 token，從而減少復雜語言規則帶來的工程負擔。

不過，在低資源語言上，問題并不會因為模型變大或覆蓋語言更多而自然消失。泰語有復雜聲調和發音變化，語音自然度、韻律和說話人身份保持都很敏感；老撾語公開高質量語音資源更少，很多通用系統即使能生成，也未必能穩定進行 0-shot voice cloning。

這些語言真正缺的往往不是一個更復雜的模型結構，而是高質量訓練數據，以及圍繞這些數據設計的訓練策略。合成數據可以補足文本-語音配對，但大量平坦合成語音也會壓縮模型輸出分布，讓語音變得更單調。因此，SE-Bridge-TTS 關注的不是“如何再做一個大而全的多語言 TTS”，而是一個更可復用的問題：能不能基于現有開源底座，用一套數據層面的訓練方案，把低資源小語種做到足夠強？

02

核心發現：合成數據不是越多越好

論文最重要的發現，是合成數據比例與語音質量之間存在非單調關系。研究團隊固定 300 小時真實泰語語音，并將合成語音從 10 小時逐步增加到 1,500 小時，對應合成比例 α 從 3% 到 100%。

在第一階段（α ≤ 50%），合成數據同時提升穩定性與表現力。WER 從 75.0% 降到 47.0%，說明發音錯誤顯著減少；自然度 NMOS 從 3.82 提升到 4.51，說話人相似度 SMOS 從 4.31 提升到 4.63。

但在第二階段（α > 50%），穩定性繼續改善，表現力開始坍縮。當 α 提升到 80% 時，WER 進一步降到 38.9%，但 NMOS 降到 3.61，SMOS 降到 3.54，重復率從 2.16% 上升到 6.51%。進入 100% 純合成訓練時，WER 雖然達到 36.2%，但 NMOS 只有 3.08，重復率升至 9.83%。

這說明低資源語音模型面臨的不是單一的數據規模問題，而是穩定性和表現力之間的結構性權衡。WER、CER 這類指標更容易自動評估，也更容易推動系統“讀對”；但真正可用的語音系統還必須“說得自然”，并保留目標說話人的身份特征。

圖 1：合成數據比例變化下的穩定性與表現力指標

03

SE-Bridge-TTS 的路線：不重造底座，而是重做數據方案

SE-Bridge-TTS 基于 CosyVoice2 生態發布 Thai / Lao 兩個可加載 checkpoint。官方 Hugging Face model card 明確說明，這些權重是 CosyVoice2 LLM checkpoints，需要配合 CosyVoice2-compatible checkout 和標準 CosyVoice2 base model assets 使用。

也就是說，這項工作并不是閉源大模型式的一體化發布，而是一套圍繞開源底座可復用的低資源訓練 recipe。它先識別低資源語音合成中的 Stability-Expressivity Gap，再分別針對“有一定真實參考語音”和“幾乎沒有真實語音錨點”的兩類場景提出 DGSA 與 TDSC。

04

DGSA：有真實參考語音時，恢復表現力

DGSA（Disentanglement-Guided Self-Alignment）適用于一種相對有利的低資源場景：目標語言有一定真實語音，可以作為韻律參考，但數量不足以支撐大規模訓練。

它的關鍵觀察來自 Flow-Matching SLM 的結構解耦：Text-Speech LM 更負責內容和韻律相關的離散 token，Flow-Matching Transformer 則通過參考語音提取音色 embedding，維持說話人身份。換句話說，韻律和音色在結構上存在一定分離。

利用這個解耦特性，DGSA 讓同一個模型對同一段文本和同一個參考說話人生成兩類互補輸出：打開 style token，得到更有表現力但可能更容易出錯的語音；關閉 style token，得到更穩定但更平坦的語音。真實語音同時具備穩定性和表現力，因此可以作為偏好對齊中的正樣本。

隨后，DGSA 使用雙目標 DPO 進行偏好對齊：一組偏好糾正表現力輸出中的發音錯誤，另一組偏好糾正穩定輸出中的韻律平坦。動態權重調度會控制表現力目標何時介入：在 α ≤ 50% 時，模型尚未出現明顯 Synthetic Erosion，系統主要維持穩定性訓練；當 α 超過臨界點后，表現力目標逐步被激活。

在 α = 80% 的高合成比例設置下，DGSA 的效果很直接：它保持了 SFT 基線的 WER，同時顯著恢復自然度、說話人相似度和 token 熵。相比之下，標準 DPO 雖然可以提高表現力，但會導致 WER 惡化，說明單目標偏好優化容易犧牲發音穩定性。

圖 2：DGSA 方法結構：利用 style token 生成互補候選，并用真實語音構造偏好對

05

TDSC：幾乎沒有真實語音錨點時，讓模型自我改進

老撾語代表的是更難的設定：真實高質量目標語言語音錨點非常有限。此時，DGSA 很難直接依賴真實語音來構造偏好樣本。TDSC（Temperature-Driven Self-Critique）解決的正是這個問題。

TDSC 的思路是讓模型自己探索、自己篩選、自己迭代。它對每個輸入文本使用低、中、高多個采樣溫度生成候選語音：低溫度輸出更保守，發音更穩，但韻律可能更平；高溫度輸出更有探索性，韻律更豐富，但錯誤風險更高；中溫度則提供二者之間的候選。

隨后，Judge 模塊基于 ASR、長度和重復率等自動指標過濾候選。通過過濾的樣本進入 accepted set，錯誤更高但仍滿足基礎約束的樣本進入 rejected set，二者組成偏好學習數據。訓練循環分兩步：先用 accepted samples 做 SFT，讓模型建立穩定生成能力；再用 accepted/rejected pairs 做 DPO，讓模型學會區分好壞候選，抑制幻覺、重復和錯誤發音。

隨著迭代推進，系統會逐步擴大高溫采樣上限，讓模型先獲得發音穩定性，再恢復韻律探索空間。在老撾語實驗中，TDSC 從同一個純合成 SFT 基線出發，將 WER 從 38.5% 降到 29.8%，重復率從 7.62% 降到 4.15%，NMOS 從 3.12 提升到 3.94。這說明 TDSC 不是簡單的推理時篩選，而是通過閉環訓練改變了模型策略本身。

圖 3：TDSC 方法結構：多溫度采樣、自動過濾與偏好學習閉環

06

實驗與新公開評測：在近期多語言 TTS 對比中仍然領先

論文在泰語和老撾語上比較了開源系統、商業 API 和本文方法。泰語使用 DGSA，老撾語使用 TDSC；評價包括標準 TTS 和 0-shot 語音克隆兩個任務。整體結果顯示，低資源語言并不只能在“發音準確”和“說話自然”之間二選一：只要對合成數據帶來的分布壓縮進行顯式建模和偏好修正，模型可以同時維持穩定性、自然度和說話人身份。

圖 4：泰語與老撾語 低資源TTS 性能對比：

我們的方法在發音準確性與語音自然度上整體優于開源及商業系統

項目近期還新增了一個可復現的 FLEURS Lao/Thai benchmark，用于比較 SE-Bridge-TTS 與 Higgs Audio v3、OmniVoice、X-Voice Stage1 等近期開放多語言 TTS 系統。評測覆蓋 255 組 Lao/Thai paired target sentences，并使用 Lao、Thai、Chinese、English 作為 reference prompt language。模型需要根據同樣的 target_text、prompt_audio、prompt_text、target_language_id 和 prompt_language_id 生成語音。

最緊湊的主結果，是 Chinese/English prompt → Lao/Thai target 的跨語言提示合成設置。這里的 Accuracy 來自 calibrated CER：先用 ground-truth CER 扣除 ASR 在原始 FLEURS target audio 上的識別誤差，再衡量合成語音額外帶來的退化。這樣能減少識別器本身對低資源語言不完美造成的偏差，更聚焦模型合成質量。

指標定義

calibrated CER = max(0, generated CER - ground-truth CER)；Accuracy = 1 - calibrated CER。

模型

支持樣本

Accuracy ↑

Speaker similarity ↑

Higgs Audio v3

1020/1020

78.2%

OmniVoice

1020/1020

75.9%

SE-Bridge-TTS

1020/1020

83.4%

X-Voice Stage1

510/1020

53.7%

表 2：Chinese/English prompt → Lao/Thai target 的跨語言提示合成主結果

從結果看，SE-Bridge-TTS 的優勢很清楚：在跨語言 prompt 到 Lao/Thai target 的總體 accuracy 上，SE-Bridge-TTS 為 83.4%，高于 Higgs Audio v3 的 78.2%、OmniVoice 的 75.9% 和 X-Voice Stage1 的 53.7%。在 speaker similarity 上，SE-Bridge-TTS 為 0.593，僅低于 OmniVoice 的 0.645，仍明顯高于 Higgs Audio v3 和 X-Voice Stage1。X-Voice Stage1 在該評測中的 Lao 方向不支持，覆蓋率為 510/1020；SE-Bridge-TTS 則完整覆蓋 1020/1020。

這說明 SE-Bridge-TTS 并不是只在論文原始設定里有效。即使放到近期多語言 TTS 系統的統一評測框架下，它仍然保持了很強的低資源語言合成能力。

07

為什么這套方案值得復用

SE-Bridge-TTS 的先進性不只是“某個指標更高”，而是它提供了一個低資源 TTS 可復用范式。首先，它把瓶頸放在數據分布，而不是單純模型規模。對于低資源小語種，最難的問題往往不是模型不會生成語音，而是有限真實數據和大量合成數據之間存在分布沖突。

其次，它基于開源底座完成增強。項目公開的 Thai / Lao 權重是 CosyVoice2-compatible checkpoint，推理說明也直接圍繞 CosyVoice2 展開。這降低了復現和遷移門檻，避免把方案綁定在不可控的閉源系統上。

第三，它同時覆蓋兩類低資源場景。DGSA 面向“有一定真實參考語音”的語言，TDSC 面向“真實語音錨點非常少”的語言。前者解決高合成比例下的表現力恢復，后者解決純合成或近似純合成訓練下的自改進。

第四，它提供了完整公開資產。官方倉庫包含 project page、音頻 Demo、FLEURS 評測協議、結果 CSV 和 table renderer；Hugging Face 提供權重和推理說明。這讓結果不只是論文里的表格，而是可以被聽、被測、被復現的工程方案。

從產業和研究角度看，如果一個語言缺少大規模高質量錄音，但可以獲得基礎文本、少量真實語音和可用 ASR，那么類似流程就有遷移空間：使用開源 TTS/SLM 底座作為初始化；用合成數據補足發音覆蓋；監控合成比例帶來的穩定性和表現力變化；在有真實參考時使用 DGSA 做偏好對齊；在真實語音不足時使用 TDSC 做多溫度自批判和迭代篩選。

08

結語

多語言 TTS 的趨勢還會繼續，模型也會越來越大、覆蓋越來越廣。但 SE-Bridge-TTS 提醒我們：低資源小語種真正需要的，不一定總是更大的模型，而是更懂數據分布的訓練方案。

基于 CosyVoice2 這樣的開源底座，SE-Bridge-TTS 通過合成數據 scaling、DGSA 和 TDSC，把低資源語言中的穩定性與表現力矛盾拆開處理，并在新的 FLEURS Lao/Thai 評測中達到甚至超過近期多語言 TTS SOTA 的效果。

一句話概括：合成語音不只是更多數據。它能補足穩定性，也會壓縮表現力；SE-Bridge-TTS 的價值，就是讓低資源語言模型重新學會自然地說話。

09

更多信息

再次邀請體驗免費配音：https://luoji.cn/

開源項目 Video Translator：支持主流 AI 編程助手和 Agent 工具通過 Skill 方式快速接入，包括 Codex、Claude Code 等，也方便開發者參考實現，遷移到更多國內外 AI 編程工具鏈中。

項目地址：https://github.com/InsiderX-Pro/video-translator

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。