AI華語歌，終于能聽了！從零預訓練十億參數(shù)，告別「人機味」

Jay 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

AI華語音樂，終于能聽了。

母語羞恥、咬字飄忽、人機味……

沒有。

全都沒有。

這首歌，是我讓它以一首我特別喜歡的Jazz Hiphop為靈感，給定歌詞，zero-shot生成的。

命名為——《關于小羊》（doge）。

說實話，太靈了。

特別是verse第四句歌詞開頭那個「塞」的咬字，我很少聽到AI國語音樂注意到這個細節(jié)，像s、c這種舌尖前音，其實是特別適合用帶停頓的短促發(fā)音來制造律動的。

還有Pre-Hook前bridge結(jié)尾那個轉(zhuǎn)音，我反復拉了無數(shù)遍進度條……

當然，最讓我驚喜的還是最后一遍Hook。我歌詞里明明沒寫，結(jié)果——

它自己即興發(fā)揮加了段哼唱？？

這首《Coco》的結(jié)尾也用了這種手法。

另一個版本的《關于小羊》我也蠻滿意的，大家可以邊讀文章邊當bgm掛著。

上面這些音頻丟給身邊幾位音樂發(fā)燒友聽了下，得到的評價大多三個字：

很清爽。

說實話，我已經(jīng)很久沒有用「清爽」這個詞來形容任何一首AI歌曲了。

這個清爽的模型，叫歌歌AI。

他們只做一件事——

讓AI音樂，聽起來像中國人寫的歌。

重做AI音樂模型

聽起來挺簡單對吧。

但為了這一句話，他們從零預訓練了一個十億參數(shù)的模型。

端到端那種，用戶輸入歌詞、風格情緒描述與指定歌手，模型一次性直接生成長達3分鐘、人聲與伴奏俱全的完整立體聲歌曲，還能同步輸出獨立的人聲分軌與伴奏分軌。

我猜你看到「預訓練」這三個字的第一反應，應該和我最開始一樣：

哈？為啥不直接微調(diào)？？

這事吧，得先從一個更本質(zhì)的問題聊起——

為什么以前的AI唱不好中文歌？

現(xiàn)在市面上的主流AI音樂模型，從出生的第一天起就是為英語準備的。

但漢語的演唱邏輯完全不同。

1、固定聲調(diào)。

中文每個字本身帶音高走勢，四聲之別，「媽」和「罵」就是完全不同的兩個字。

2、音節(jié)邊界。

英語里一個詞可能有多個音節(jié)，而且弱讀、連讀、吞音很多，比如I wanna know，唱起來可以糊成一串，也能聽懂。

但中文是一個字一個音節(jié)，邊界很清楚，一旦連得太厲害，基本聽不懂。

這也是為什么，YouTube英文播客基本無自帶字幕，但在中文社區(qū)，內(nèi)嵌字幕是必備的。

3、字音對齊邏輯。

簡單來說就是，模型得知道哪個字落在哪個拍子上，哪個字可以拖，哪個字不能亂拖。

英語是重音計時型語言，一個音節(jié)可以拉多長都行，無所謂；中文歌詞和旋律、節(jié)拍之間的對應關系會更難把握。比如愛可以拖成「愛～～」，但如果把「的」「了」「著」這種輕聲助詞拖得特別長，會巨奇怪。

總而言之就是，基于英語AI音樂模型做本土化，無異于強行讓外國人唱京劇。

結(jié)果就是——

人聲機械生硬、情感表達空洞干癟，對國風、華語流行、民謠等國民主流曲風適配度極低。

問題根本不在參數(shù)上。

在架構(gòu)。

這也是為什么歌歌AI選擇從零開始，為華語音樂重新設計一套技術(shù)棧。

主要有三層——

雙流獨立生成架構(gòu)

一首AI音樂，人聲和伴奏是怎么組合起來的？

傳統(tǒng)AI音樂的做法是「事后對拍」。人聲和伴奏各自生成完畢，再像兩個圖層一樣硬疊在一起。

拆開做當然技術(shù)難度更低，但總會覺得人聲和伴奏之間隔了一層什么東西。各唱各的，沒有呼吸感。

真人歌手在錄音棚里是什么狀態(tài)？

他聽著伴奏的律動，感受著鼓點的推進，然后決定——這個氣口落在哪里，這個音要怎么咬，這段尾音該收還是該放。

這是一個和伴奏「對話」的心流過程。

歌歌AI做的事情，正是把種「心流」，搬進了模型里。

原生雙流設計——人聲一條通路，伴奏一條通路，各走各的生成鏈路。兩條線并行往下跑，中間通過跨流注意力機制，實時完成節(jié)奏與和聲的精準對齊。

音素時序軟對齊

咬字一直是個大坑。

模型如果搞不清每個字在時間軸上的精確位置、發(fā)音時長，就會出現(xiàn)音節(jié)錯位、字音模糊。聽著像嘴里含著糖在唱歌……

正常聊天無所謂，音樂是有「節(jié)奏」限制的，人耳在這種場景下非常敏銳，模型即便每句歌詞只有一個字沒咬對，那就是災難。

怎么讓AI維持更穩(wěn)定的咬字？

歌歌AI的解法是：先畫一張地圖。

在模型「開嗓」之前，先告訴它每個字的拼音在時間軸上大致落在哪個位置。這張“地圖”作為先驗知識，直接注入到生成過程中。

按圖索驥——每個字什么時候起、什么時候落，有這套上下文后會穩(wěn)定很多。

分層多維條件控制

最后，也是我覺得最能體現(xiàn)他們野心的。

情緒。

亞洲和歐美所有文化作品（小說、電影、音樂……）的差異，幾乎都能收縮到一個第一性原理——情感表達。

老外要直抒胸臆點。情情愛愛啥的很正常，歌詞本里love you、baby當標點符號用。

老中含蓄得多。更喜歡用意象做暗示，說月光不說想你，說落葉不說離別，巴拉巴拉。

演唱方式同樣也是這種理念的一個抽象。我們更偏愛細膩的人聲處理——華語流行樂壇的黃金時代，從鄧麗君到四大天王，幾乎全是這個路子。時間也證明了，這類風格就是比爵士、福音（gospel）啥的更受市場歡迎。

但「細膩」這個概念，太難了。

音樂是千人千面的。你很難用一句自然語言描述，去如此高顆粒度地對齊人聲的情緒。

大學時去過不少次錄音棚，我常能聽到這類云里霧里的對話：

好聽的兄弟，唱得再傷感一點就更好了，但不要太沉了，有空氣感一點。

為了更好地翻譯這類抽象需求，歌歌AI的解法是——一套分層多維條件控制體系。

情緒、曲風、調(diào)性這些全局風格信息，通過一個叫AdaLN-Zero的機制，去逐層調(diào)制模型的生成行為。從第一層到最后一層，情緒基調(diào)始終貫通，不會唱著唱著就「跑調(diào)」。

更關鍵的是，他們在不同條件維度上，各自裝了獨立的引導強度旋鈕。比如你可以讓模型「貼緊歌詞情緒」，同時讓「旋律自由發(fā)揮」。

是的，就跟個混音臺一樣。

只不過這次你混的不是音軌，而是情緒本身。

王炸！AI音樂+抖音

聊了這么多技術(shù)，你可能會問一個問題。

技術(shù)確實看著挺厲害。但AI寫歌，會員買了，Token也燒了，然后呢？

確實，這正是目前AI音樂賽道最尷尬的地方。

市面上的AI音樂工具一抓一大把。你花五分鐘做了一首歌，覺得挺好，發(fā)個朋友圈，收獲幾十個贊——

然后……就沒有然后了。

沒有分發(fā)渠道的AI音樂，本質(zhì)上只是高級玩具，純自嗨。

歌歌AI顯然不想只做一個玩具。他們在商業(yè)閉環(huán)這件事上，直接找到了一張王牌——跟字節(jié)跳動簽了版權(quán)分成合作。

是的，你用歌歌AI生成的原創(chuàng)歌曲、錄音制品、MV版權(quán)內(nèi)容，全部可以合規(guī)上架抖音、剪映、汽水音樂、西瓜視頻、今日頭條……整個字節(jié)系全家桶。

什么意思？

數(shù)以億計的創(chuàng)作者，他們可以直接從歌歌AI的版權(quán)曲庫里選歌，拿去做短視頻配樂、直播間BGM、翻唱二創(chuàng)。

AI音樂，不再只是躺在云盤上的音頻文件。

歌曲在汽水音樂的會員付費、數(shù)字專輯、單曲售賣、平臺廣告分成，以及番茄系平臺有效播放產(chǎn)生的收益，全部按照合同約定，真金白銀地分成結(jié)算。

更關鍵的是，后續(xù)歌歌AI新生成的非獨家版權(quán)曲目，會自動納入授權(quán)曲庫。你每多做一首歌，這個正版曲庫就厚一分。

這就是常說的飛輪效應。

這，是最好的傳承

好，技術(shù)和商業(yè)都講完了。

最后，是這篇文章我最想聊的部分。

「歌歌AI正式啟動了民樂專屬AI模型的研發(fā)項目。」

大家應該知道我想說什么。

我太清楚現(xiàn)在的AI生成的國風音樂是什么樣子了——

古箏彈得像電子琴，戲曲能比念稿還令人母語羞恥……

絕大多數(shù)AI模型，根本沒聽過真正的中國民樂。它們訓練用的素材，大多是從網(wǎng)上扒來的、經(jīng)過二次加工的電子音源。骨子里的韻味和靈氣，在一遍遍電子化的過程中，早就被濾干凈了。

這不是一個可以通過調(diào)參來解決的問題。

訓練數(shù)據(jù)里沒有真正的民樂，模型就永遠生成不出真正的民樂。

這也是為什么，歌歌AI決定自己補上這塊數(shù)據(jù)空缺。

他們要去陜西的老戲臺找秦腔老藝人、去江南水鄉(xiāng)錄評彈琵琶、去云南的村寨采葫蘆絲和蘆笙、去陜北的黃土高坡聽嗩吶……請那些守了一輩子的非遺傳承人、民間老藝人，在他們最熟悉的角落里打開錄音機，錄下那些指尖自然流淌出來的聲音。

這些一手采集的原聲，全部會完成正版版權(quán)歸檔，用來訓練一個真正的民樂AI模型。

說實話，我難以想象內(nèi)部在頭腦風暴時會是個什么場景。

誒，我有個好主意，要不咱直接去錄吧？
對，就是背上錄音機走到黃土高坡去。跟《海上鋼琴師》里，唱片公司到船上找1900錄音一樣。

（doge）

不開玩笑了，講講為什么我對這件事特別有感概。

傳統(tǒng)民樂這些年在中國的處境，說實話，不太好。

你在街上隨便拉住一個00后，他大概率說不全五種傳統(tǒng)民族樂器。再問他，上次聽秦腔是什么時候，他可能歪頭一愣。

這些聲音，正在從日常生活中消失。

不是沒有人想保護它們。有非遺項目，有紀錄片，有各種各樣的文化保護行動。

但傳播太難了。

你讓一個不看紀錄片、不聽戲曲頻道的年輕人，主動去接觸秦腔、評彈、葫蘆絲，幾乎不可能。

但這是個幸運的時代，我們有AI。

如果神經(jīng)網(wǎng)絡的權(quán)重記住了這些聲音，它就可以把它們?nèi)谶M任何一首新創(chuàng)作的歌里。

而這些歌，可以輕易生成數(shù)十首類似的，投放到抖音上。只要有一首中了，就有可能被千萬人刷到，被用來做短視頻配樂，甚至走在路上就無意識哼唱出來……

這就是最好的傳承。

我們不需要只被供在博物館里的傳承。

歌歌AI官網(wǎng)：https://gegemusic.cn/