專訪面壁智能CTO曾國洋：「Her」成為現(xiàn)實(shí)，還有幾道坎

最早看見大模型的人，

轉(zhuǎn)身去做最密的模型。

那是一個(gè)簡(jiǎn)陋，但是中國大模型行業(yè)不該忘記的晚間聚會(huì)。

時(shí)年22歲的曾國洋簡(jiǎn)單支了張桌子，放了個(gè)電腦，展示了一個(gè)打字機(jī)一樣的網(wǎng)頁——打幾個(gè)字，按Tab鍵，它就能自動(dòng)往后補(bǔ)內(nèi)容，不斷吐出略顯奇怪的內(nèi)容情節(jié)。這個(gè)“打字機(jī)”背后，是中國第一個(gè)大語言模型CPM-1。

那是2020年，大模型的前傳時(shí)代。GPT-3出現(xiàn)了，但只引起了曾國洋這樣一小撮AI研究者的注意。曾國洋發(fā)現(xiàn)，和之前AI訓(xùn)練主流路線BERT不一樣，GPT-3“不是理解，而是生成。生成模型讓我們看到了一個(gè)無法想象的上限。”曾國洋第一時(shí)間就想在國內(nèi)也做一個(gè)。于是，在智源研究院的支持下，曾國洋作為核心工程負(fù)責(zé)人，負(fù)責(zé)訓(xùn)練框架、算力調(diào)度、模型落地，最終有了這個(gè)能展示“打字機(jī)”的夜晚；再之后，才又有了更大尺寸的盤古、悟道模型項(xiàng)目。

曾國洋那晚支的桌子不大，里里外外圍了兩三圈人，這就是中國最早了解大模型、注意到Transformer架構(gòu)能量的一小撮“革命火種”。你可以叫他們“智源系”，也可以叫“清華系”——其中產(chǎn)生了今天中國最重要的幾家AI模型公司，包括市值一度超過萬億港元的智譜，估值正在急速翻倍的月之暗面，也包括曾國洋所在、以清華NLP實(shí)驗(yàn)室成員為創(chuàng)始班底的面壁智能。

不過，在大模型一浪一浪的熱鬧中——天量融資的軍備競(jìng)賽、C端投流補(bǔ)貼、新模型不斷發(fā)布和打榜、AI Coding掀起收入狂潮也掀起程序員裁員潮……曾國洋和面壁智能卻在這些熱鬧之外。

過去兩年，面壁智能作為在中國很早看到大模型威力、也是很早一批成立的AI模型公司，卻選了一條少有人走的冷清道路：做端側(cè)模型，濃縮到能跑進(jìn)手機(jī)、汽車甚至一個(gè)毛絨玩具里。

“未來的智能不可能只存在于云端。歷史上，計(jì)算本身就一直同時(shí)存在超級(jí)計(jì)算、云計(jì)算、端側(cè)計(jì)算，人工智能也一定會(huì)是這樣。”面壁智能創(chuàng)始人劉知遠(yuǎn)曾說，“既然已經(jīng)有人在做云端模型，我們?yōu)槭裁催€要重復(fù)做同樣的事情？而端側(cè)，既有非常清晰的技術(shù)支撐，也有非常清晰的歷史類比。”

做端側(cè)模型，在技術(shù)上并不比做大更簡(jiǎn)單。恰恰相反，如何在壓縮模型尺寸的同時(shí)，卻不顯著減損智能，是技術(shù)難題，也是工程難題。面壁智能在端側(cè)模型上的底氣在于，提出了一套原創(chuàng)方法論——“模型風(fēng)洞”，即在小規(guī)模實(shí)驗(yàn)中快速驗(yàn)證和預(yù)測(cè)模型效果。面壁智能相信，“知識(shí)密度”是衡量模型的真正標(biāo)尺，并喊出一條“面壁定律”：知識(shí)密度每3.5個(gè)月翻一番，同等智能所需的參數(shù)規(guī)模呈指數(shù)級(jí)下降。

最初，市場(chǎng)也快速給出了正反饋。面壁發(fā)布的一個(gè)2B參數(shù)的模型MiniCPM，表現(xiàn)碾壓了同期8B的同行競(jìng)品，開源發(fā)布后，還適配了安卓手機(jī)，跑了速度、掛了榜單。手機(jī)廠商一下就卷起來了，紛紛來問“為什么我的（速度）沒他的快”。

但是，做端側(cè)模型這條路，意味著大量的約束條件：配合芯片功耗和電池電量，不能模型一運(yùn)轉(zhuǎn)，電量就撐不住了；配合端側(cè)硬件本身的使用場(chǎng)景，比如如果喚起AI比直接在手機(jī)上點(diǎn)幾下更麻煩，大家就不會(huì)用AI……

云端模型跟最終用戶的距離，可以短到只有一個(gè)聊天窗口；但走端側(cè)模型這條路，要在真實(shí)世界里闖過重重關(guān)卡，任何一關(guān)卡住，終端用戶的感知就為零。

所以，過去三年，熱鬧都是云端模型的，面壁智能卻在一片喧囂中堅(jiān)持走上端側(cè)這條旁路。當(dāng)云端大模型領(lǐng)域追逐一個(gè)又一個(gè)“天才少年”、技術(shù)偶像時(shí)，大二就在清華NLP實(shí)驗(yàn)室實(shí)習(xí)、22歲做出中國第一個(gè)大語言模型、24歲擔(dān)任面壁智能CTO的曾國洋，卻鮮少在媒體露面。

那么，這家中國較早做大模型的公司，和“年紀(jì)很小、資格很老”的曾國洋在做什么？

在做芯片和內(nèi)存適配。面壁智能已完成對(duì)高通、聯(lián)發(fā)科、英特爾、瑞芯微、英偉達(dá)、AMD等主流芯片平臺(tái)的全面適配；在內(nèi)存價(jià)格飛漲的當(dāng)下，面壁智能新發(fā)布的BitCPM-CANN模型系列，能跑在華為昇騰芯片上，讓同一塊內(nèi)存多裝約6倍大的模型，或者讓本來帶不動(dòng)的設(shè)備帶得動(dòng)。

在做“更懂你”的模型。端側(cè)的操作更智能更簡(jiǎn)潔，才能戰(zhàn)勝上一代人機(jī)操作的體驗(yàn)。現(xiàn)在的記憶框架一般只是把你的對(duì)話記錄存進(jìn)數(shù)據(jù)庫，但面壁智能引入了行為模式庫。例如，你上車時(shí)問你：“你昨天聽了周杰倫，今天要繼續(xù)播放嗎？”這叫記憶，但它依然需要你應(yīng)答。而行為模式庫想打造的“默契系統(tǒng)”，是不需要開口，就把空調(diào)調(diào)到你最習(xí)慣的溫度，然后放一首你最近頻繁收聽的歌。一句"去接孩子"即可自動(dòng)補(bǔ)全目的地、規(guī)劃路徑并結(jié)構(gòu)化為待辦提醒。

在做端側(cè)所需、更自然的人機(jī)交互。面壁智能的全雙工全模態(tài)模型MiniCPM-o4.5像一個(gè)時(shí)刻在線的真人，能邊看、邊聽、邊說。你可以隨時(shí)打斷它，它也能根據(jù)你的實(shí)時(shí)反應(yīng)調(diào)整語速和情緒，讓交互從“觸發(fā)指令”變成了“自然對(duì)話”。

這背后，依然滲透著曾國洋和面壁智能對(duì)AI模型的理解。

“做模型就是做數(shù)據(jù)。”曾國洋反復(fù)強(qiáng)調(diào)。端側(cè)模型要追上大模型，光靠架構(gòu)不夠，真正卡上限的是訓(xùn)練數(shù)據(jù)的知識(shí)密度。面壁把數(shù)據(jù)治理拆成L0到L4五級(jí)，像芯片制程一樣分層精煉：原始數(shù)據(jù)、過濾、精篩、合成增強(qiáng)，再到可直接編排，每一級(jí)都對(duì)應(yīng)明確的處理標(biāo)準(zhǔn)和訓(xùn)練階段。

他要求每個(gè)算法工程師必須親自看數(shù)據(jù)，一百多個(gè)訓(xùn)練數(shù)據(jù)集要挨個(gè)檢查到“沒有任何問題”才會(huì)開始訓(xùn)練。他舉了一個(gè)令人印象深刻的反例：上萬條微調(diào)數(shù)據(jù)中，僅兩條因?yàn)樘幚聿划?dāng)截?cái)嗔税刖湓挘?xùn)練完的模型就開始在和人的對(duì)話中“說到一半戛然而止”。“兩萬條里兩條有問題，模型就學(xué)壞了。”

曾國洋相信，用AI來訓(xùn)練AI，是模型進(jìn)化的必然之路。“以前是八個(gè)程序員抬著一個(gè)架構(gòu)師往前走，現(xiàn)在變成一個(gè)架構(gòu)師開著AI的車嘩嘩地往前走。如果你沒辦法擁抱這個(gè)變化，就會(huì)在這邊被碾碎。”他相信，所有高度數(shù)字化的事情都可由AI替代，同理，AI模型的訓(xùn)練全程都是數(shù)字化的，也該是如此。

他自嘲自己“要失業(yè)了”--據(jù)其介紹，面壁智能開發(fā)了全球第一個(gè)完全由AI編寫的生產(chǎn)級(jí)大模型訓(xùn)練框架ForgeTrain。這意味著有更高的工程效率，和能在更緊的算力預(yù)算下保持前沿模型研發(fā)節(jié)奏；面壁智能配套提出的Forge Engineering是一種新的軟件工程范式：把代碼從“一份需要長(zhǎng)期維護(hù)的實(shí)現(xiàn)”解綁成“按需鍛造的一次性快照”。同一套評(píng)測(cè)標(biāo)準(zhǔn)，可以為不同硬件、不同場(chǎng)景各自算出最優(yōu)實(shí)現(xiàn)，通用性和效率不再二選一。

簡(jiǎn)單來說，過去兩年，走上端側(cè)之路的面壁試圖變得越來越懂工程、懂落地——在電池和芯片約束最小的智能汽車上，面壁已經(jīng)在吉利、上汽大眾、廣汽、馬自達(dá)等的車型上完成定點(diǎn)、走向量產(chǎn)——但面壁和曾國洋依然很懂模型。

在這個(gè)時(shí)點(diǎn)，36氪跟如今28歲、“年紀(jì)依然很小，資歷依然很老”的面壁智能CTO曾國洋，聊了聊他們走上端側(cè)模型之路的始末，過去兩年的端側(cè)實(shí)踐、AI模型團(tuán)隊(duì)建設(shè)，以及他如何看待AI模型的未來。

視頻｜36氪獨(dú)家專訪面壁智能聯(lián)合創(chuàng)始人兼CTO曾國洋

以下為訪談實(shí)錄，有編輯刪減。

不在云端擁擠，去端側(cè)開路

36氪：你的經(jīng)歷看著蠻驚人的：8歲學(xué)編程，高二拿了信息學(xué)競(jìng)賽金牌保送清華，大二就進(jìn)了清華的NLP實(shí)驗(yàn)室。NLP實(shí)驗(yàn)室，包括唐杰老師所在的清華知識(shí)工程實(shí)驗(yàn)室又是中國較早看到大模型潛力的地方。能不能講講你的經(jīng)歷和親身體感？

曾國洋：這里邊都是一系列的機(jī)緣巧合。我剛進(jìn)NLP實(shí)驗(yàn)室的時(shí)候，還沒有大模型，甚至連預(yù)訓(xùn)練都沒有。大家那時(shí)候的技術(shù)還是按方向劃分和具體應(yīng)用場(chǎng)景有關(guān)。我剛進(jìn)去做的是法律智能，當(dāng)時(shí)做了個(gè)罪名預(yù)測(cè)系統(tǒng)想試一試，我剛把名字輸進(jìn)去，就已經(jīng)開始判刑了（笑）。

真正的大變革是2018年出現(xiàn)了預(yù)訓(xùn)練技術(shù)——BERT和GPT同年出現(xiàn)，但當(dāng)時(shí)GPT被BERT壓著打。第二個(gè)轉(zhuǎn)機(jī)在2020年，OpenAI幾乎用全部身家訓(xùn)練了GPT-3，能力也不是特別好，還沒法像今天一樣做對(duì)話，更多像一個(gè)打字機(jī)，但想象空間非常大——它是一個(gè)能像寫文章一樣的模型。我們?cè)嚵酥蟀l(fā)現(xiàn)和之前訓(xùn)練的BERT不一樣，好像突然有了智能。這對(duì)我觸動(dòng)非常大，我們第一時(shí)間就想在國內(nèi)做一個(gè)。

36氪：Transformer預(yù)測(cè)下一個(gè)token，BERT做的是完形填空。為什么最終是預(yù)測(cè)下一個(gè)token的路線勝出了？

曾國洋：做理解任務(wù)的話，BERT統(tǒng)治力很強(qiáng)。但生成創(chuàng)造比理解更有想象空間，生成本身是在做創(chuàng)造，理解只是在做選擇。就像今天大家看到的生成圖片、視頻、文章——你需要的是創(chuàng)造性，不是對(duì)已有東西的判斷選擇。

36氪：ChatGPT是2023年才爆火的，但你們2022年就創(chuàng)立面壁了，那時(shí)你們就知道要做什么嗎？

曾國洋：公司是2022年成立的，但我們更早就開始做大模型了。最早在智源那邊一個(gè)創(chuàng)新中心，把一個(gè)小會(huì)議室改造成辦公室，只能坐不到十個(gè)人。

當(dāng)時(shí)也是不太清楚往哪個(gè)方向做。我們找了很多智能客服公司，對(duì)方不會(huì)說要一個(gè)ChatGPT，而是說“能不能在客服的意圖識(shí)別方向，提升幾個(gè)百分點(diǎn)，且不增加額外成本”。試了半天發(fā)現(xiàn)不太行，大模型畢竟比較大，提升效果沒問題，但成本不變很難。

后來我才意識(shí)到，這樣的新技術(shù)特別需要愿意接受變革的人來做。

36氪：ChatGPT爆火之后，是不是給你們帶來了很不一樣的外部環(huán)境？創(chuàng)業(yè)爆火，比如，更早之前楊植麟還在做循環(huán)智能，那會(huì)兒出來做了月之暗面；投資人也很瘋狂，當(dāng)時(shí)所有投資機(jī)構(gòu)都在尋找會(huì)做大模型的公司，但這樣的公司沒有幾家。

曾國洋：ChatGPT算是救了我們一命。之前融資非常難——不是沒前景，而是投資人看不懂。當(dāng)時(shí)很多投資機(jī)構(gòu)找不到懂的人，甚至拉做語音的來評(píng)估，覺得“語音和語言很像”。ChatGPT一出，大家立刻就懂了。

36氪：你們?cè)?023年下半年就決定做端側(cè)模型。但那時(shí)所有人都要做大模型參數(shù)、追趕OpenAI，為什么你們做了這樣的選擇？

曾國洋：我們?cè)谫惖郎洗锰昧恕?020年做出國內(nèi)第一個(gè)大模型后，國內(nèi)廠商從2021年到2023年初的核心就一個(gè)字：大。參數(shù)量從二十幾個(gè)一直卷到阿里M6的十萬億，但十萬億參數(shù)沒帶來真正的智能。最早ChatGPT也就250到500億參數(shù)，效果卻讓人驚訝。我們經(jīng)歷過這些實(shí)踐，所以知道單純把模型訓(xùn)練更大是條死路。

36氪：展開講講？

曾國洋：很多人覺得把參數(shù)做大比做小難，其實(shí)是反過來。最早的計(jì)算機(jī)ENIAC有幾間房大小，但算力不如一臺(tái)手機(jī)。我們提出了“知識(shí)密度”——在相同尺寸下模型能達(dá)到多少智能。

所以我們一直以“知識(shí)密度”做牽引來研發(fā)模型。最開始我們也是模型越做越大，最大也做過千億規(guī)模的模型。但到我們做第四代模型的時(shí)候，研發(fā)了“模型風(fēng)洞”技術(shù)：就像造飛機(jī)不用造完整了再試飛，可以先把外殼放風(fēng)洞里吹，我們能在小規(guī)模實(shí)驗(yàn)中預(yù)測(cè)完整訓(xùn)練后的水平。

基于這個(gè)技術(shù)，我訓(xùn)了一個(gè)2B的小版本做驗(yàn)證，發(fā)現(xiàn)效果比同期Meta的LLaMA 8B、Mistral 8B都要好。我當(dāng)時(shí)很震驚，趕緊先發(fā)布開源了（MiniCPM）。

36氪：能拆解一下“模型風(fēng)洞”的技術(shù)邏輯嗎？

曾國洋：核心是OpenAI提出的Scaling Law。Scaling Law提出了一條曲線，而且提出另一個(gè)觀點(diǎn)——縮放之后的效果是可預(yù)測(cè)的。我們可以在更小規(guī)模上快速實(shí)驗(yàn)，預(yù)測(cè)更大規(guī)模的表現(xiàn)，不需要像其他公司一樣在目標(biāo)尺寸上完整訓(xùn)練再驗(yàn)證。可以并行快速跑很多實(shí)驗(yàn)，幾天內(nèi)就出結(jié)果。

36氪：你們覺得核心是知識(shí)密度，但當(dāng)時(shí)大家都在講“智能涌現(xiàn)”，先把模型做大了再說。你們選端側(cè)模型這個(gè)方向，是不是選早了？

曾國洋：智能涌現(xiàn)這個(gè)理論很快就被推翻了，只是這個(gè)詞太出圈了，大家沒意識(shí)到。所謂“涌現(xiàn)”，其實(shí)是因?yàn)闇y(cè)量手段太簡(jiǎn)陋。比如一個(gè)數(shù)學(xué)題有五個(gè)步驟，之前的統(tǒng)計(jì)只看到做對(duì)還是沒做對(duì)，突然從0變成1，就好像涌現(xiàn)了，但內(nèi)部其實(shí)是連續(xù)性變化——先對(duì)一步，再兩步、三步。

從另一個(gè)角度說，涌現(xiàn)是可以被預(yù)測(cè)的，只要找到合適的尺子，能給它量出來。

36氪：最近大家越來越認(rèn)識(shí)到數(shù)據(jù)質(zhì)量的重要性。越來越認(rèn)識(shí)到說高質(zhì)量數(shù)據(jù)、怎么構(gòu)建數(shù)據(jù)，對(duì)模型的智能是特別關(guān)鍵的，而不是堆一堆數(shù)據(jù)量上去。你講的密度和這是一脈相承的？

曾國洋：是的。影響模型效果的因素，比較基礎(chǔ)的包含了模型架構(gòu)、訓(xùn)練方法以及數(shù)據(jù)。幾年下來，模型架構(gòu)和訓(xùn)練方法都收斂了，大家越來越趨同，做啥改動(dòng)對(duì)效果影響都不大了。所以大家發(fā)現(xiàn)，現(xiàn)在最影響效果的就是數(shù)據(jù)。

我經(jīng)常說，做模型就是做數(shù)據(jù)。我要求每個(gè)人必須親自看數(shù)據(jù)，MiniCPM每個(gè)版本訓(xùn)練前，我會(huì)組織所有算法同事在一個(gè)會(huì)議室里，一百多個(gè)數(shù)據(jù)集每人分幾個(gè)挨個(gè)看，到?jīng)]有任何問題才真正開始訓(xùn)練。

36氪：現(xiàn)在模型架構(gòu)創(chuàng)新不再提了？

曾國洋：Infra和架構(gòu)都收斂了。Infra不影響效果，只影響訓(xùn)練和推理成本。端側(cè)Infra特別難搞，端上芯片多樣復(fù)雜，比如功耗——以前我做算法從不用考慮功耗。模型落在端上不是尺寸小、效果好就萬事俱備了。

云端一般是浮點(diǎn)運(yùn)算，終端上要用整型運(yùn)算來降低功耗，需要做模型量化，量化會(huì)損失效果，又要研究怎么恢復(fù)。就很復(fù)雜。

36氪：選端側(cè)這個(gè)方向，今天看是重的——參與方多，要跟芯片適配，跟硬件和場(chǎng)景適配。但是例如coding，把模型做好就行了。你們當(dāng)時(shí)預(yù)想到端側(cè)的復(fù)雜性了嗎？

曾國洋：云端競(jìng)爭(zhēng)也很激烈，真正有效果能掙錢的只有AI Coding。Coding也沒啥忠誠度，哪個(gè)便宜送得多、哪個(gè)效果好就用哪個(gè)。Anthropic經(jīng)常封Claude第三方客戶端，很多用戶在罵，Anthropic也不管。但GPT 4.5一出，Anthropic立馬認(rèn)慫送優(yōu)惠。這里邊沒有軟柿子，沒有啥事特別好做。

我們當(dāng)時(shí)去做端側(cè)還有一個(gè)考慮，國內(nèi)資源有限——人才沒問題，數(shù)據(jù)也能解決，短板在算力。所以我們一方面想嘗試擁抱國產(chǎn)算力，一方面做端側(cè)。

36氪：能展開講知識(shí)密度和端側(cè)模型的關(guān)系嗎？

曾國洋：在端側(cè)，大家對(duì)知識(shí)密度的依賴會(huì)更重一些。云端還有彈性——可以把Infra優(yōu)化好、或者你錢多補(bǔ)貼用戶。但端側(cè)是硬限制：如果模型太大，跑不動(dòng)就是跑不動(dòng)，補(bǔ)貼錢沒用；功耗太高會(huì)發(fā)熱，你不可能補(bǔ)貼一個(gè)冰塊。

36氪：你們2024年決定往端側(cè)轉(zhuǎn)，有過猶豫和討論嗎？

曾國洋：討論了很久。當(dāng)時(shí)我們技術(shù)很領(lǐng)先，2B規(guī)模模型戰(zhàn)勝8B。我們當(dāng)時(shí)討論最多的問題是：要不要訓(xùn)個(gè)100B戰(zhàn)勝400B——一聽就激動(dòng)，但卡在算力上。

36氪：所以你們是痛心地放棄了做一個(gè)更大尺寸模型的想法？

曾國洋：兩條都是很好的路。就像高考考得很好，選清華還是北大的糾結(jié)。

36氪：做端側(cè)的決定性因素是什么？

曾國洋：客觀資源限制。其實(shí)當(dāng)時(shí)云端應(yīng)用場(chǎng)景也不明朗——三個(gè)大場(chǎng)景：Coding效果爛、收不到錢，情感陪伴也沒跑起來，搜索被Google內(nèi)嵌了大模型做掉了。最后活下來的只有Coding一條路。

36氪：你們選了端側(cè)，打算怎么走？

曾國洋：持續(xù)提升知識(shí)密度，這個(gè)方向無論如何不會(huì)變。端上有豐富的場(chǎng)景——手機(jī)、AI PC、汽車、機(jī)器人、智能家居，怎么收費(fèi)一眼就能想明白。汽車是目前走得最快的，體積夠大、電池夠大、功耗要求不嚴(yán)。

端和云也是互補(bǔ)的：端側(cè)打通數(shù)字世界和真實(shí)世界的邊界，把真實(shí)世界信息傳遞給云端，像氣球的外皮；云端，是在數(shù)字世界里提高效率，像里邊的氣。

端側(cè)模型，更要足夠理解人

36氪：走端側(cè)這條路，沒預(yù)估到的難點(diǎn)是什么？

曾國洋：我們當(dāng)時(shí)都不太懂。第一個(gè)事就是功耗。和手機(jī)廠商聊，第一反應(yīng)是趕緊看功耗是多少，還要拿功耗儀測(cè)。散熱也分被動(dòng)、主動(dòng)。非常復(fù)雜，不是模型效果好就萬事俱備。

比如智能眼鏡，空間太小、電池不夠、續(xù)航有限——它是一個(gè)體系問題。落到產(chǎn)品上，端側(cè)模型要和人交互，怎么降低延遲和首響應(yīng)時(shí)間。模型一秒生成一百個(gè)字，但人說不了那么快，這中間就有很多優(yōu)化和調(diào)度技巧。

36氪：那是怎么選優(yōu)先落地場(chǎng)景的？

曾國洋：功耗續(xù)航直接用戶體感，其實(shí)是影響最大的，算力反而是影響最小的，因?yàn)閮?yōu)化和操作空間大。汽車好做，是因?yàn)殡姵卮蟆⒐囊笙拗粕伲皇謾C(jī)其實(shí)也不錯(cuò)，因?yàn)橄冗M(jìn)制程芯片能耗好。

36氪：在大模型市場(chǎng)上，模型表現(xiàn)好就能很容易拿到市場(chǎng)。但在端側(cè)，模型表現(xiàn)好就能高枕無憂了嗎？模型的表現(xiàn)是最核心的嗎？

曾國洋：端側(cè)模型不單看評(píng)測(cè)效果，還有響應(yīng)時(shí)間、硬件成本，它很難從單一維度勝出。

36氪：大家對(duì)端側(cè)終極想象像電影《Her》，每個(gè)人有個(gè)隨身AI。因?yàn)槊姹谠谑謾C(jī)和隨身設(shè)備方向都有探索，你們實(shí)踐下來覺得差距在哪？

曾國洋：最終目標(biāo)是想做到那樣，但現(xiàn)在實(shí)際情況比較復(fù)雜。模型智能可以，但關(guān)鍵是要足夠理解人，真正個(gè)性化。

朋友給我說了一個(gè)真實(shí)的例子：下屬給領(lǐng)導(dǎo)反饋說，大模型很好用。領(lǐng)導(dǎo)就想試一下：他把文檔拖給AI說“你幫我弄一下”。這樣效果當(dāng)然很差。但好的秘書，你不用說那么復(fù)雜，領(lǐng)導(dǎo)說“弄一下”，秘書就能做好，那是因?yàn)槊貢芏I(lǐng)導(dǎo)。

在端側(cè)擁有簡(jiǎn)單的智能是不夠的，它還要必須真正懂你。

36氪：這就涉及模型怎么記憶和存儲(chǔ)偏好？

曾國洋：大模型核心處理記憶的機(jī)制是Attention，但人腦里沒有Attention，也沒有調(diào)動(dòng)100兆上下文。

再比如說，模型的痛點(diǎn)是并沒有“干得越多越熟練”——Agent犯一次錯(cuò)糾正了，第二次同樣的錯(cuò)還會(huì)再犯，第三次還犯。人不一樣，踩一次坑就不會(huì)有第二次。空間記憶、工作記憶也很難用現(xiàn)在機(jī)制表達(dá)。

這就是大模型像人又不是人的核心原因。人腦是很好的參照系——功耗不高、智能程度高、更靠譜。所以這方面還有很多可以探索空間，Transformer也許不是最終的架構(gòu)。

36氪：手機(jī)按理說是最重要的AI隨身設(shè)備，但手機(jī)廠商行動(dòng)不激烈，為什么？

曾國洋：一大問題是交互。手機(jī)的圖形交互界面，手操作非常快。當(dāng)智能助手不了解你，你得說好幾分鐘指令，自己早都點(diǎn)幾下點(diǎn)完了。你要更快，就得真正懂用戶，“一切盡在不言中”——我沒說話但需求已被完全理解，這才有價(jià)值。否則花幾分鐘干十秒的事，沒必要。

36氪：那AI手機(jī)離大家還有距離？

曾國洋：不好說，大模型技術(shù)發(fā)展非常快，沒人知道什么時(shí)候就突破了。就像Coding去年下半年才火起來，之前可靠性太低，大家都不愛看。和“智能涌現(xiàn)”一樣——大家只看成不成，不看過程中成了幾步。大家雖然感覺現(xiàn)在AI蠢蠢的，不是很理解你，但是隨著它的發(fā)展，也許從10%理解你，到50%，再到99%理解你，感受一下就完全不一樣。

36氪：你的觀察對(duì)業(yè)界做端側(cè)模型的其他玩家有什么觀察？

曾國洋：做端側(cè)的人很少，它要打通算法、軟件、硬件，要求非常高。

36氪：端側(cè)這條路走了這幾年，你覺得業(yè)界對(duì)端側(cè)有什么誤判？

曾國洋：常見的說法是“端側(cè)不就是把模型做小一點(diǎn)”。做小是非常難的，不是越大越簡(jiǎn)單。

做模型就是做數(shù)據(jù)

36氪：從你24歲當(dāng)CTO，現(xiàn)在也過去4年了，怎么建一個(gè)模型訓(xùn)練團(tuán)隊(duì)？好的模型團(tuán)隊(duì)和一般的差距由什么造成？

曾國洋：訓(xùn)練好一個(gè)模型包含很多模塊——數(shù)據(jù)團(tuán)隊(duì)（收集、管理、清洗、標(biāo)注），算法團(tuán)隊(duì)（架構(gòu)、訓(xùn)練方法、數(shù)據(jù)混合比例），Infra團(tuán)隊(duì)（讓算力集群不要掛，用最高效率訓(xùn)練），評(píng)測(cè)團(tuán)隊(duì)，以及上硬件終端的部署和優(yōu)化團(tuán)隊(duì)。

但最重要的是數(shù)據(jù)。好的團(tuán)隊(duì)對(duì)數(shù)據(jù)質(zhì)量要求高、挑剔。我們最早有上萬條微調(diào)數(shù)據(jù)，兩條因?yàn)樘幚聿划?dāng)截?cái)嗔耍Ｐ陀?xùn)練完，經(jīng)常聊天聊到一半突然停了——兩萬條里兩條有問題，模型就學(xué)壞了。

36氪：姚順宇說“訓(xùn)練大模型需要的不是聰明人，而是靠譜的人”，我理解就是跟這個(gè)有關(guān)？你認(rèn)同這個(gè)話嗎？

曾國洋：認(rèn)同。需要非常靠譜細(xì)致的人，他看過的數(shù)據(jù)就是真的沒有問題的數(shù)據(jù)，他做的實(shí)驗(yàn)就是真的沒有問題的實(shí)驗(yàn)。

大模型現(xiàn)在越來越像實(shí)驗(yàn)科學(xué)。它本身太復(fù)雜了，從理論上去描述的話，理論離實(shí)踐已經(jīng)差得太遠(yuǎn)了。所以大家為了更好理解大模型，要做非常多的實(shí)驗(yàn)。做實(shí)驗(yàn)，就要嚴(yán)謹(jǐn)，要靠譜，控制變量就得控制住。

36氪：如果一個(gè)做生物學(xué)實(shí)驗(yàn)很靠譜的人，不是學(xué)計(jì)算機(jī)的，他也適合進(jìn)模型團(tuán)隊(duì)嗎？

曾國洋：?jiǎn)栴}不大。我們很多團(tuán)隊(duì)成員在大模型火之前就加入的，那時(shí)候大家也沒有做大模型的經(jīng)驗(yàn)。但需要你真的去感知、理解、做實(shí)驗(yàn)和探索。

36氪：你在尋找什么樣的人？

曾國洋：靠譜之外，還要愿意擁抱變化。大模型革命了很多舊技術(shù)，不愿意舍棄積累、不愿意從零開始接觸新技術(shù)是不行的。最近AI Coding很火，很多程序員焦慮被替代，但我們的人用得可高興了——以前自己干不完，現(xiàn)在指揮好幾個(gè)人干。

我們還把辦公點(diǎn)設(shè)在清華門口，就是為了招周邊高校的實(shí)習(xí)生。開玩笑說正式員工寫數(shù)據(jù)，實(shí)習(xí)員工搞論文。

36氪：AI領(lǐng)域有種“年輕化”審美，比如技術(shù)帶頭人要你這樣的“年輕小天才”，招人也愛招博士生干活，為什么？

曾國洋：大模型是全新事物，找不到有經(jīng)驗(yàn)的人，有沒有積累沒啥區(qū)別。我們有些做算法的人以前是做工程開發(fā)的，甚至沒做過AI，完全不影響。

團(tuán)隊(duì)里有靠譜踏實(shí)的人，同時(shí)有愿意探索創(chuàng)新、有能力實(shí)踐自己想法的人，就更有價(jià)值。

36氪：你怎么理解“AI Native的組織”？

曾國洋：AI Native是把AI當(dāng)成更自然的東西。遇到事不會(huì)先想怎么做，而是先想用AI怎么做。AI就像一雙手。我們現(xiàn)在做內(nèi)部分享，PPT全是用AI做的。你不會(huì)想“手動(dòng)做PPT”，而是AI就是我的一雙手，自然而然就用。

36氪：怎么用好AI？你們有什么實(shí)踐？

曾國洋：花了很長(zhǎng)時(shí)間探索，有很多坑。有人會(huì)問“我們有沒有過度壓榨AI？”“AI要是反叛了我會(huì)不會(huì)第一波被剿滅？”其實(shí)AI和人不一樣，但很多人把AI等同于人，這樣很多事就辦不好。要用好AI，不能像簡(jiǎn)單和人打交道一樣。

所以我們內(nèi)部有課程——第一教大家認(rèn)識(shí)AI的機(jī)制，它不是許愿機(jī)器和阿拉丁神燈。第二教大家使用技巧。就像開車，踩油門就動(dòng)了，但不會(huì)開半路就撞。AI是跑得很快的車，不會(huì)用方向盤，就很快跑偏了。

另外AI提效是非均質(zhì)的。比如，三十人的開發(fā)團(tuán)隊(duì)能壓縮到三人，代碼開發(fā)提效了，但溝通沒提效——原來三十人的會(huì)，變成這三個(gè)人來開。可能產(chǎn)能上升了，接活能力沒變強(qiáng)。所以我們也在找這些卡點(diǎn)來優(yōu)化。

36氪：能數(shù)字化的崗位就先被AI替代？

曾國洋：大家經(jīng)常有個(gè)誤解，以為AI會(huì)先替代簡(jiǎn)單工作，現(xiàn)實(shí)是反過來的——數(shù)字化得最好的工作先被替代。比如寫代碼，從頭到尾都在數(shù)字環(huán)境里，模型訓(xùn)練也是。我們已經(jīng)在嘗試用AI制造AI——整個(gè)流程在云上，容易被AI接管。以前是八個(gè)程序員抬一個(gè)架構(gòu)師，現(xiàn)在是架構(gòu)師開著AI的車嗷嗷向前。如果沒辦法擁抱變化，就會(huì)被碾碎。

36氪：你們AI Token預(yù)算情況怎么樣？Token支出的帳算得過來嗎？

曾國洋：很寬裕，連PR同事一個(gè)月都有近一千美金預(yù)算。雖然賬單大，但這是階段性的苦惱，生產(chǎn)效率長(zhǎng)期是一個(gè)核心競(jìng)爭(zhēng)力。

某個(gè)方向效率暴漲后，其他方向顯得慢了，把各方向的效率拉到新狀態(tài)下，整個(gè)公司又能很好地運(yùn)轉(zhuǎn)起來。

模型會(huì)先吞噬 最賺錢的賽道

36氪：你怎么看DeepSeek？

曾國洋：DeepSeek腦子很清楚——知識(shí)密度不落后，模型越大效果越好，同時(shí)優(yōu)化推理成本。這就是云端大模型的邏輯，簡(jiǎn)單粗暴。

邏輯雖然簡(jiǎn)單，但不同的團(tuán)隊(duì)會(huì)做不同取舍，比如有的團(tuán)隊(duì)想做陪伴，就要重點(diǎn)訓(xùn)高情商。我們做端側(cè)也一樣，為了在端上運(yùn)行好，有自己的量化和適配團(tuán)隊(duì)，這是在創(chuàng)業(yè)公司里只有我們能做端側(cè)的原因。

36氪：Coding這個(gè)賽道上，未來的競(jìng)爭(zhēng)點(diǎn)可能在什么地方？什么樣的公司能做得非常優(yōu)秀？

曾國洋：核心是做數(shù)據(jù)。大模型數(shù)據(jù)經(jīng)歷了三波：第一波用公開數(shù)據(jù)，2024年左右就枯竭了，所以好多報(bào)道說遭遇了“數(shù)據(jù)墻”。第二波自己創(chuàng)造數(shù)據(jù)，基于真實(shí)數(shù)據(jù)做改造，把不同形式變成AI Coding的數(shù)據(jù)形式，能做好的話2025-2026能訓(xùn)練出一流模型。第三波是“AI制造AI”——讓AI接管從數(shù)據(jù)生產(chǎn)到訓(xùn)練評(píng)測(cè)的完整流程，因?yàn)槿荚跀?shù)字化環(huán)境中，反而是容易做到的。

36氪：未公開的垂直領(lǐng)域數(shù)據(jù)有價(jià)值嗎？

曾國洋：肯定有提升，但是量太少。

36氪：我舉個(gè)例子，做醫(yī)療模型的公司，有的在試圖拿醫(yī)院里的真實(shí)處方數(shù)據(jù)，但也有人說，最重要的成果都已經(jīng)第一時(shí)間發(fā)表成公開論文了，公開數(shù)據(jù)已經(jīng)很夠用了。

曾國洋：這兩種數(shù)據(jù)，如果分布差異大就有用，分布沒差異，所謂的獨(dú)有數(shù)據(jù)其實(shí)就是公開數(shù)據(jù)的一部分，沒什么額外作用。

數(shù)據(jù)的數(shù)量和質(zhì)量都很重要。我們做法律方向就拿到了不少正經(jīng)渠道合作來的未公開數(shù)據(jù)，人無我有，模型就能學(xué)到很不一樣的知識(shí)。

36氪：這是否意味著，已經(jīng)擁有很多視頻數(shù)據(jù)的公司最適合做多模態(tài)，如果不擁有這些數(shù)據(jù)，最終模型效果不會(huì)太好？

曾國洋：有獨(dú)到數(shù)據(jù)，意味著你能摘到低垂的果實(shí)。其實(shí)別人也能摘，只是時(shí)間長(zhǎng)一些。模型公司的業(yè)務(wù)能力如果強(qiáng)，還是能搞到很多數(shù)據(jù)的。

36氪：模型還能繼續(xù)進(jìn)步的話，下一個(gè)突破點(diǎn)在哪？

曾國洋：需要解決用人去迭代模型的效率問題——也就是用AI去造AI，用AI去優(yōu)化AI。就像芯片設(shè)計(jì)，最早用鑷子電焊焊不出集成電路，必須靠工具迭代。

記憶也是關(guān)鍵的突破方向，我們剛已經(jīng)聊了很多，如果能解決機(jī)制上的問題，能讓模型更像人。

36氪：你對(duì)世界模型怎么看？

曾國洋：世界模型還遠(yuǎn)沒到ChatGPT時(shí)刻。現(xiàn)在的大模型，智能來自于互聯(lián)網(wǎng)數(shù)據(jù)，像一個(gè)人他只讀書，讀著讀者就足夠聰明了、好像理解世界了一樣，這其實(shí)聽著也挺奇怪的。所以很多人在想，有沒有更直接地去理解這個(gè)世界的方法，所以他們會(huì)做世界模型的探索。

36氪：對(duì)未來1-5年的AI發(fā)展做個(gè)預(yù)測(cè)？

曾國洋：我可能真的快失業(yè)了。數(shù)字化越好的工作越容易被替代，不是有技術(shù)含量就安全。但新變化也會(huì)來新機(jī)會(huì)——工作被替代了，就當(dāng)老板就好了。我現(xiàn)在已經(jīng)不親手寫代碼了，全是AI寫，我就像以前的領(lǐng)導(dǎo)，不用看代碼，問它寫了啥、為什么寫，再指導(dǎo)它重點(diǎn)注意什么，就行了。

36氪：業(yè)界有什么你不認(rèn)同的認(rèn)知？

曾國洋：很多。“智能涌現(xiàn)”當(dāng)時(shí)是主流，在學(xué)術(shù)界很快被推翻了。

另外，很多公司說想做AI-native的公司，但全卡在數(shù)字化做的不好的地方——流程卡在同事、審批流上，不是找個(gè)好工具就能解決的，所以這是個(gè)系統(tǒng)性問題。

36氪：AI最難辦到的事情是什么？

曾國洋：最難數(shù)字化的事情。比如跟人打交道的工作——銷售和HR。有的銷售場(chǎng)景就是需要見到人，不然顯得太不尊重客戶。HR跟員工溝通的情商，也很難被替代。

36氪：做AI應(yīng)用的公司都很恐懼自己的能力被模型覆蓋。你能不能預(yù)測(cè)一下模型進(jìn)步的方向，隨之AI的哪些應(yīng)用不值得做？

曾國洋：其實(shí)是反過來的——哪些AI應(yīng)用火了，模型公司一定會(huì)跟進(jìn)。因?yàn)槟Ｐ托Ч蕾嚁?shù)據(jù)能力，大模型公司搞數(shù)據(jù)效率非常高，而且非常有錢，應(yīng)用創(chuàng)業(yè)公司很難卷得過。Coding火了，Google、OpenAI、Anthropic全做了。包括Coze、Dify的工作流，全被AI替代了，AI自己規(guī)劃了工作流就執(zhí)行完了。

所謂模型吞噬一切，其實(shí)是先吞噬最賺錢的賽道。