00后和院士同臺產學研趟出新路，大模型下一戰要拼全模態和真對齊

智東西

作者 | 陳佳

編輯 | 云鵬

智東西7月7日報道，昨日，中國中文信息學會把學界教授、企業負責人和投資人拉到了同一張桌子上，聯合聯想控股、中科院軟件研究所等單位，成立了產學研創新生態工作委員會（下稱“工委會”）。

聯想控股CEO于浩出任工委會首任主任。過去產學研的典型路徑是“成果后轉化”，即科研機構先做出成果，再找市場。于浩認為，現在要轉向“協同前創新”，讓產業端從研發階段就加入，資金同步跟進，形成閉環。

會上，百度CTO、中國中文信息學會副理事長王海峰發表“原生全模態大模型”主題演講。他認為大模型不能停留在ASR、LLM、TTS等模塊級聯，或視覺、語言模型的架構拼接，關鍵是把文本、音頻、圖片、視頻統一成離散Token，在共享表示空間和自回歸框架下建模。AI競爭已從單模型能力走向工程平臺、算力適配和產業落地的系統能力。

微軟亞洲研究院首席研究員劉樹杰作圓桌引導報告，他從VALL-E的語音離散化路線講到多模態大模型，并認為當前多模態大模型推理弱、魯棒性差，根源不在于模態疊加得不夠多，而在于模態沒有真正對齊。

在隨后的圓桌環節中，拓爾思董事長、中國中文信息學會監事施水才說，過去產學研的線性轉化路徑已經太慢，現在必須并聯融合；科學家創業不能“既要又要”，團隊必須互補。北京前沿國際人工智能研究院理事長、英諾科創基金合伙人王晟認為：“VC投的不是科學家，是有科技基因的企業家。”他判斷，絕大多數教授只能做首席科學家，能當CEO的是極少數。

聯想控股副總裁紀朝峰坦言“最怕院士創業”，因為在學術圈習慣了權威，“誰敢提管理意見？”。而00后魔芯科技創始人、在讀博士陳天潤則提供了一個反直覺的觀察：在大模型等前沿方向，真正推動技術進展的往往不是導師，而是親手做實驗的博士生。

一、百度CTO王海峰：大模型從多模態拼接走向原生全模態

王海峰是國家卓越工程師、百度首席技術官，也是深度學習技術及應用國家工程研究中心主任、中國中文信息學會副理事長。在這場演講里，他把人工智能的下一個關鍵方向放在“原生全模態”上。

他先把現有多模態路線分成兩類：一類是系統層級的級聯，比如語音對話系統里ASR把語音轉文字、LLM做推理、TTS再合成語音。另一類是模型內部的架構拼接，通過跨模態對齊模塊連接視覺和語言模型。問題在于，這兩種方式都容易帶來信息損耗、表示空間不統一、跨模態對齊困難等問題。

所謂原生全模態，是讓文本、音頻、圖片、視頻等輸入和輸出都進入一個統一模型框架，而不是讓多個獨立模塊在外部接力。在文心大模型5.0的設計中，多模態輸入被序列化為統一的離散Token，映射到共享表示空間，再在自回歸Transformer主干上以“下一Token預測”一類統一目標進行建模。

王海峰提到，文心嘗試用彈性預訓練（Once-For-All）一次訓練多種規格子模型，以適應不同算力、延遲和成本約束。其還用超稀疏MoE和動態路由在“容量”和“效率”之間找平衡，專家激活率低于3%。文心在語音上用多層Codec Token完成理解和生成，在視覺上把圖片視作單幀視頻，將圖片與視頻統一為視覺Token序列。

他還提到了后訓練和工程平臺側的幾個關鍵點：用訓推一致的強化學習后訓練保障稀疏MoE穩定收斂；用多教師在線策略蒸餾降低不同能力相互干擾；用FlashMask面向復雜掩碼的高效注意力計算，降低長上下文和多模態異構輸入帶來的算力壓力。在底層適配上，飛槳深度學習框架已覆蓋60多個系列芯片，覆蓋主流國產人工智能芯片。

大模型競爭不只是單點模型參數或榜單名次，而是統一建模、工程平臺、多硬件適配和應用落地的組合能力。王海峰認為，人工智能技術及產業創新依賴大規模數據和工程平臺，需要產學研共同凝練真問題，建立更有耐心、有容錯空間的創新環境。

二、微軟研究員劉樹杰：多模態不是把模態加進來，而是把表示對齊

劉樹杰是微軟亞洲研究院首席研究員，長期從事自然語言處理、語音處理和機器學習研究。他的研究成果已應用到Microsoft Translator、Skype Translator、Microsoft IME和微軟語音服務等產品中。

他以VALL-E為例講了一條把語音當作語言建模的路徑。傳統文本到語音（TTS）任務，可以被改寫為在離散神經音頻編解碼Token上的條件語言建模。一旦語音變成Token序列，就能借用大語言模型的訓練思路，實現零樣本個性化TTS、語音編輯和更富有表現力的語音生成。

后續VALL-E X進一步做到跨語言零樣本TTS，讓用戶可以用自己的聲音說外語。VALL-E 2則把零樣本TTS效果推到更接近人類水平。

劉樹杰對多模態大模型的判斷是，純文本模型的輸入干凈、符號化，推理能力和穩定性更強；多模態信號則更含噪、更非符號化，還帶有長程時序結構。

在他看來，多模態大模型推理和魯棒性不夠好，根本原因往往不是模態不夠多，而是表示不匹配、噪聲信號太多，模型的建模能力被消耗在處理噪聲上，而不是用在推理上。

因此，劉樹杰認為，關鍵不是把音頻、圖片、視頻等模態直接“加進來”，而是真正解決表示與對齊問題。

語音介于文本和視覺之間，既是語言，也是信號，因此可以成為連接文本大模型和更復雜多模態任務的橋。在視頻方向，他提到ARLON一類思路，即把連續視頻信號壓成離散視覺Token，讓自回歸模型提供粗粒度語義和時序引導，再用DiT細化出高質量畫面，兼顧長程一致性和畫面質量。

落到產學研，劉樹杰認為，要攻堅大模型的核心問題，如表示、對齊、評估與推理，而不是停留在跟隨和調參。還要和產品團隊、產業界保持足夠緊密的合作，讓研究問題來自真實場景，也讓成果更快回到產品和業務中。

三、研產融合共同答題，把科研團隊和產業需求接到一起

在于浩看來，產業端不能等技術成熟后再找應用場景，科研端也不能只等論文和項目結題后再尋找市場。產業和科研不是一方出題、一方作答，而是雙方聯合出題，依靠研產融合共同解題。

工委會具體要做什么？于浩給出了一個縱橫兩條線的框架。

縱向是打通科研端、產業端和投資端。橫向是在學會內部打通各個專委會。中文信息學會下設機器翻譯、信息檢索、語音處理等多個專業委員會，但于浩認為，在AI技術快速迭代的環境下，按傳統技術方向劃分的組織形式已經不夠靈活，工委會要做資源的橫向連接。

落地層面，工委會計劃搭建三個平臺。一是評測平臺，把過去學術導向的評測改為“產業出題”模式，引入企業真實需求來設計評測任務。二是信息樞紐平臺，改變過去老師和企業點對點對接的零散合作，做成系統化的生態。三是背書平臺，借助學會作為國家一級學會的公信力，降低產學研合作中的信任和溝通成本。

圍繞這三個平臺，工委會公布了未來18個月的工作計劃，主要做四件事。

一是技術前瞻，產業界、投資界和科技界能夠一起去探索、預測真正前沿一些技術的節點。

二是項目孵化，完成標桿項目的孵化落地，希望把智譜模式能夠復制出去，不是單點，而是多面。

三是專業評測，把企業真實問題轉化為評測任務來驅動技術團隊解決實際問題。

四是人才發現，即從評測和企業互訪中挖掘優秀的青年技術人才。

四、圓桌激辯產學研合作模式，最怕院士創業，絕大多數教授只能當首席科學家

在隨后的圓桌環節，來自產業、高校、資本和創業一線的嘉賓圍繞產學研合作話題進行了探討，話題集中在兩個問題：產學研的合作模式變化是什么？科學家創業該怎么定位？

拓爾思董事長、中國中文信息學會監事施水才說，過去產學研轉化更多是線性的，從實驗室到公司，再到資本和市場，但今天這個路徑已經太慢。他判斷，新的變化至少有幾個特征：硬科技創業地位更高，科學家需要更深度參與，技術迭代進入“生死時速”，企業必須做到行業頭部，同時也更需要資本和政府基金護航。

施水才談到，現在不少高校教授其實都有產業化想法，但創業不能“既要又要”，團隊也不能只有一類人，科學家、工程化、商業化、財務和管理角色都要互補。

00后陳天潤提供了另一個視角。他是在讀博士，同時創辦了做世界模型的魔芯科技。他的觀察是，在大模型和世界模型等前沿方向，一兩個關鍵研究者的想法就可能改變項目走向，這些人未必是導師，很多時候可能是在讀博士或剛畢業的年輕人。但年輕團隊也需要高校、產業和資本資源支撐，才能把研究想法變成更有行業影響力的產品。

哈爾濱工業大學教授、中國中文信息學會常務理事趙鐵軍對此感到認同，他說，創新的主要力量確實來自在讀學生，他們思維活躍。他還提到，AI技術迭代很快，很多創新力量來自在讀學生和年輕研究者，高校老師需要把心態放得更開，與年輕人形成更自然的協作關系。

北京前沿國際人工智能研究院理事長、英諾科創基金合伙人王晟從投資人角度給的判斷是：“VC投的不是科學家，是有科技基因的企業家。”

他把高校創業者分成三類：商業和學術都頂尖的極少數人可以做CEO；只有學術能力的占絕大多數，必須找商業搭檔；介于兩者之間的可以多承擔管理職責，但仍需互補。核心原則是“責、權、利對等”。

聯想控股副總裁紀朝峰則坦言“最怕院士創業”，院士在學術圈習慣了權威地位，辦企業容易出現管理盲區，“誰敢提管理意見？”。他強調，投資和孵化不能只在給錢之后補救，而要在投資前就判斷團隊能力、組織機制和關鍵人的性格邊界。

圓桌最后的共識是：人無完人，科學家創業最重要的不是補齊所有短板，而是找到互補的搭檔，把責權利理清楚。