WAIC五位首席科學家交鋒：多模態是LLM的“外掛”，還是下一代智能的“靈魂”？

智東西
作者 李水青
編輯 漠影

7月18日上午，作為WAIC 2026最受關注的論壇，由商湯科技承辦的“基座大模型架構創新與生態合作論壇”吸引了無數AI研究者、產業專家和投資機構的目光。因它直面了當前大模型行業最核心的焦慮：當Scaling Law在逼近物理極限，多模態究竟是破局的“解藥”，還是新瓶裝舊酒的延伸？

由商湯科技首席科學家林達華主持，復旦大學邱錫鵬教授，達摩院首席科學家趙德麗、階躍星辰首席科學家張祥雨、新加坡南洋理工大學劉子緯教授共同參與的“首席科學家”圓桌對話，覆蓋頂級研判矩陣，堪稱多模態AI邁入“深水區”后，中國AI行業的首次集體審視與深度交鋒。

▲幾位科學家在同臺探討

過去一個多月，GPT-5.6等國際最新模型陸續亮相。林達華開場便指出，如今最先進的大模型幾乎都已經把多模態理解能力變成“標配能力”。

但另一個問題隨之浮現：多模態到底只是大語言模型能力邊界的延伸，還是下一代智能真正的起點？進一步說，今天依靠Next Token Prediction建立起來的大模型，真的能夠理解物理世界嗎？

在高密度思想碰撞中，五位科學家圍繞多模態的內生本質、核心瓶頸以及5年后的終極圖景，展開了一場足以重構行業認知的“生死局”辯論。

一、“走出洞穴”，再論多模態是“外掛”還是“靈魂”？

林達華一開場就拋出了這個核心問題，也是整場論壇最核心的一次思想碰撞。

當前業內存在兩種截然不同的聲音。一種認為，大語言模型已經成為未來AI的核心，多模態只是語言模型能力邊界的自然延伸；另一種則認為，當AI真正從數字世界走向物理空間、開始構建世界模型時，多模態就是智能最基礎、最原生的組成部分，而不是語言模型的外掛。

未來AI到底應當以語言為中心，還是以世界為中心？林達華把這個問題直接擺上了臺面。

對此，邱錫鵬的觀點鮮明：智能還是要依賴語言的。他認為，多模態未來的發展重點不是取代語言，而是如何把多模態信息與語言真正對齊。

不過，在他看來，今天的大模型距離真正理解世界還相差很遠。“模型真正欠缺的，不只是多模態，而是Context。”這里的Context是指真實世界復雜情境的理解能力。未來模型面對的不只是更多圖片、更多視頻，而是如何把現實世界復雜情境轉化成模型能夠理解的信息。未來多模態的發展，很可能需要一整套圍繞現實環境構建的Harness以支撐模型理解真實世界。

與邱錫鵬的觀點不同。趙德麗認為，基于多模態的模型，是下一代智能的范式。

他首先從更宏大的視角總結出通向智能的四條路徑：大語言模型、走向開放空間的機器人、基于數字生命的模擬、基于神經信號的交互。這四條路徑有一個共同特點，都與人類產生智能的源頭信號有關，而且全都是多模態的，沒有一個單一模態。

“大語言模型是知識的壓縮，視頻生成模型也是人類行為的壓縮和記錄。大語言模型可以學習智能，視頻生成的模型一樣可以學習智能。”趙德麗強調，他舉了獵豹捕獵、螞蟻尋路的例子，這些高超的技能都不是通過語言學習的，而是通過與環境的交互、模仿、反饋。

趙德麗更進一步指出，物理世界需要的是四維因果關系的建模：物理空間、物理屬性、因果關系、動作與運動，而大語言模型只是一維的。因此，“無論從智能生發的原理還是算法的邏輯，基于多模態的模型，都是下一代智能的范式”。

與邱錫鵬和趙德麗的角度都不相同，張祥雨則把焦點轉換了。

他認為核心不是語言還是視覺的路線之爭，而是“學習范式”：怎么讓智能體學會自主學習，或者叫后天學習、在線學習。“這個不解決，你不管是走語言還是視覺，其實都是一樣的。”

為什么語言模型今天看起來更成功？張祥雨認為，我們現在的訓練數據是靜態的，是經過人類大量收集、清洗、整理得到的。語言天生信息密度高，在這種“模仿學習”范式下自然占優。而視覺信號稀疏、高維，在這套范式下工作得不好。

但問題來了，張祥雨話鋒一轉，當大模型走向智能體時代，一切都在變化。“智能體跟環境做交互，但并不能從反饋中高效、自動地學到東西，缺少了自我進化能力。”他舉了一個生動的對比：“Codex訂閱一個人頂十個人，但用了多久提升都有限；招來的實習生一開始不行，通過實際工作很快就進步了。這是自我提升的能力，而我們的模型沒有。”

眼看討論在語言中心論和世界中心論之間形成了張力，劉子緯從從哲學層面給出了一個富有深意的判斷。他引用了柏拉圖的洞穴比喻——語言是真實世界的低維投影，“我們在洞穴里觀察投影，總結世界規律，但終歸需要邁出洞穴，走向真實的世界”。

具體到數據層面，他把語言比作化石燃料，“人類積累了很久，但終歸有限，我們肯定會走向下一個時代，利用其他能源形態——多模態數據”。任務層面，“很多高價值的任務，比如制造業，一定脫離不了多模態，而且多模態真的能涌現出下一代智能”。

可以看到，從林達華的“語言中心與世界中心”之問，到邱錫鵬的“情境智能”、趙德麗的“第一性原理”，再到張祥雨的“持續進化”、劉子緯的“脫虛向實””，盡管各位學者的切入角度各不相同，但指向的趨勢是高度一致的：多模態正在從“輔助工具”走向“核心基礎設施”。

而這種轉變的真正驅動力，是AI應用場景從數字空間向物理空間的不可逆遷移。

二、數據、架構、范式，多模態下一次躍遷，缺的是什么？

從第一性原理展望長期AI前景之后，林達華把問題拉回現實：當前主流AI方法，比如數據、模型結構、訓練范式，足以支撐我們走到下一階段嗎？真正的瓶頸在哪？

這個問題在業內已經有了明顯的觀點分野。一種判斷是樂觀的：當前的模型架構已經具備?夠潛?，真正的限制在于?質量多模態數據仍然稀缺。特別是帶有時間關系、空間關系、?為過程和結果反饋的數據，?互聯??本更難獲取、標注和使?。只要解決數據與算?問題，現有路線仍有很?的提升空間。

另一種聲音更為審慎：問題并不只是數據量不?，而是基于下?個 token 預測的訓練?法，可能天然不擅?學習物理規律、因果關系和持續變化的環境。真正的突破可能需要原?多模態架構、世界模型、強化學習、主動探索或持續學習等新的范式。

那么限制多模態 AI 繼續突破的?要因素究竟是什么？擴?數據和算?是否仍然有效，還是我們已經接近必須改變模型架構和訓練?式的階段？

首先，劉子緯給出了一個冷靜的判斷：“這三個方面（數據、模型結構、訓練范式）都不足以推向下一個階段，都有改進的空間。”

他先從數據層面拆解了“為什么語言行、多模態不行”：語言模型撞上了好運，互聯網20年積累的語料、為玩游戲而發展起來的GPU算力，所有要素恰好齊備。但多模態呢？“互聯網上有很多視頻圖片，大部分是相對靜態的，沒有太強的長程關聯。”做家務、每天工作這種長程任務很難被記錄下來。“語言模型是無心插柳柳成蔭積累數據的，多模態需要一個更好的范式來記錄、保存、標注數據，這不僅僅是技術問題，更是組織問題、社會問題。”

緊接著，他把矛頭指向了架構：“整體架構還是以語言模型為核心，多模態能力以橋接方式進入。”他提出了“原生多模態”的挑戰：輸入側怎么做到原生？輸出側怎么做到原生？長上下文、稀疏編碼、在哪一層做表征——這些問題都還沒有答案。

最后落到學習范式，他承認這是“更大的問題”。“所有做視覺的人都有這個感覺，10年前大家就在講這個問題，依然沒有被解決。”

劉子緯的“三連擊”把問題拆得很開，但張祥雨或許覺得還可以更徹底。他接過“持續進化”這個命題繼續深挖。

他認為，自主學習是共識，但具體路徑存在分歧。今天的模型有比較長的上下文，但“還遠遠不夠長”，而且有嚴重的上下文退化。工程上靠上層Harness做上下文管理、做Self Evolve，是一條有人在嘗試的路線，但問題很明顯。

多模態讓這個問題變得更嚴重。“多模態的信息太長了，壓縮多模態信號不像壓縮文本那么自然。如果塞滿了100萬token的圖呢？壓縮率非常有限。”

然后他拋出了一個犀利的問題：“僅通過外部記憶，真的能讓智能體本身產生演化嗎？就像一個學生很會記筆記，但假如他的海馬體無法再記憶新的東西，僅靠外部記憶，他能取得長遠進步嗎？不可以的。”

張祥雨繼續拆解，下一代自主學習要解決三大問題：怎么學（在線學習問題）、學什么（探索與好奇心建模）、怎么學得高效（效率問題）。而當下最值得投入、最有可能短期內出成果的，就是在線學習。

在線學習又面臨兩個核心挑戰，他繼續展開，第一是層次化記憶建模，今天的Transformer建模短期記憶很優秀，但瞬時記憶（感知記憶）完全沒有，長程記憶又分為情境記憶和語義記憶，對應著不同的機制。“Transformer的上下文從原理上更像一種工作記憶，它是無損的，但有效長度比較短。你在用一個試圖把工作記憶變長的方式來建模原理上不同的記憶，這肯定有問題。”

第二是學習算法本身。很多人把賭注押在強化學習上，但張祥雨提出了不同觀點：“RL在過去推理時代很成功，數據效率很高，但這個效率很大程度來自On Policy，自己生成數據再蒸餾回去。滿足這個特性的不止RL，蒸餾本身、Self Correction都滿足。”他認為On Policy可能是解決監督信號稀疏問題的出路，而世界模型則是解決效率問題的另一個關鍵。

林達華插進來追問了一句，把討論引向Memory機制。“現在的模型，不管是Dense還是MoE，本質上都靠Context承載記憶。Context從1兆推到2兆，但有效的還是前面一小段。這是不是說明，我們用一個短期工作記憶的機制去承載本該屬于長期結構化記憶的功能，需要有較大的革新？”

張祥雨立刻點頭表示認同：“沒錯，這也是非常重要的一個前沿研究點：如何建模Memory機制。”人類的記憶機制是分層的，包括瞬時感知記憶、持續2-4秒的短期工作記憶、長期的情境記憶和語義記憶。Transformer的Context從原理和特性上就更像工作記憶，它不會丟信息，但有效長度就是有限。當視覺信號輸入以后，它就永遠留在Context里，機制上不允許壓縮掉。而人類會主動選擇、壓縮、清除。這是根本性的差異。

此時，趙德麗加入了這場關于”瓶頸在哪”的討論。他先提了一個行業現象：“模型架構逐漸收斂，算法本身沒人關心了，大家接下來都去做應用”。作為算法出身的科學家，他認為這是巨大的誤區。

“AI從數字空間走向物理世界，首先面對的就是數據問題。”趙德麗指出，語言模型和視頻生成模型的數據都來自互聯網積累，而物理世界的數據極其稀少。“以機器人為例，去年誰能有10萬小時數據就很牛了，今年大家才談論大幾十萬小時，但遠遠不足以支撐GPT-3.5水平的訓練。”

▲幾位科學家在同臺探討

不過，趙德麗話鋒一轉，給出了一個極具產業洞察的判斷：“中國的工業場景、服務業場景、家電場景，多樣性和需求遠遠大于歐美。所有數據都來自實際場景，從這個角度看，中國在具身方向上有天然的巨大優勢。”

關于訓練范式和算法架構，趙德麗強調了一個容易被忽視的事實：AI有技術共享的傳統，論文和技術報告公開，這“給人一個誤區，認為技術不重要”。但實際上，“把強化學習引入基礎模型，PPO、GRPO這類具體算法，Sparse Attention、Sliding Window這些架構創新，DeepSeek底層的優化機制——每一個技術進步都推動著領域發展”。

回到Memory創新，趙德麗認為它涉及兩個層面：一是與芯片架構深度耦合的軟硬件協同；二是個人數據和工作數據如何長期供模型使用。“DeepSeek的Ingram算法把知識注入模型、耦合成一體、端到端訓練，這是架構創新的一個具體范例。”

至此，關于”瓶頸是什么”的討論呈現出四層遞進：林達華首先定位問題，劉子緯拆解了數據、架構、范式三方面的局限，張祥雨深入記憶機制和在線學習的技術細節，趙德麗則從產業落地和數據獲取的現實中找到突破口。科學家的視角彼此交錯，又相互補充。

三、高估Agent，低估社會變遷：五年預言

林達華把最后一個問題留給了時間尺度。回望2022年底-2023年初的AI產業，現在發生的很多事完全預想不到。那么從未來5年后看現在，什么會被高估？什么會被低估？

林達華自己先分享了一段感受。2023年初大家最焦慮的是AI會不會取代人類工作，但到今天看，AI更多是在改變工作方式而非消滅工作，這可能是被高估的；而被低估的，是范式變革的速度，2023年沒幾個人能預料到強化學習會在2025-2026年重新成為核心方法，也沒人預料到“測試時擴展”會成為一個獨立的競賽維度。

邱錫鵬坦言：“預測一向是非常難的。未來AI大部分應該不是我們今天所想象的。如果刻意去追求某些東西，不一定會朝預期發展。相反，現在看起來不那么受關注的，反而可能得到充分發展。”

他給出一個判斷：下一代的范式變革可能是“AI for AI”。“既然Coding Model、Agentic Model已經走出了突破，不如先把它走到極致，再讓它去設計未來的多模態模型到底是什么樣的，有沒有更好的范式。”

邱錫鵬強調漸進式演化的力量。“ChatGPT在2023年看起來是很大的范式革新，但它也是一點點走出來的。Transformer還在其次，更前面的是Seq2Seq的范式，我可以統一所有自然語言處理任務。有了這種大的潛力認知，再去優化模型，直到某個突變的節點，突然成功了。未來肯定和我們現在預測的不太一樣。”

與邱錫鵬的“無心插柳柳成蔭”觀點形成對比的是，趙德麗的預測相對具體。他認為，被高估的可能是“Agent在具體企業級、商業級場景落地時的自主化能力”。被低估的則是“AI對社會運作方式的改變”。5年對AI來說是一個非常大的周期。

他舉了一個很具體的例子：支付。“現在逐漸走入人與智能體、智能體與智能體之間的交互。這里涉及一個簡單的問題，智能體怎么做支付？整個支付體系都是圍繞人構建的，移動支付是增加社會效率最有效的工具。但智能體支付呢？這背后是整個社會運作方式的重構。”

一個偏重“演化不可測”，一個偏重“社會確定性”。這兩種預測方向看似迥異，實則互補：邱錫鵬提醒我們保持對技術路徑的開放心態，趙德麗則提示AI將如何滲透社會肌理。

結語：多模態，正在成為AI產業新的主戰場

在通往物理世界智能的道路上，語言模型至關重要，但遠遠不夠。

從邱錫鵬的“情境智能”、趙德麗的“四條智能路徑”、張祥雨的“自主學習范式”，到劉子緯的“走出洞穴”，每一位頂尖學者都從不同維度指向了同一個方向：多模態不是大語言模型的附屬品，而是下一代智能的原生基礎。

當前的多模態AI正處在一個關鍵的轉折點。算法架構的創新遠未停止，從Memory機制的重新設計到強化學習的深度融合，從世界模型的構建到在線學習范式的突破。這些都是通向物理世界智能必須跨越的門檻。

而在產業落地上，中國在具身智能、工業場景、服務業場景上的多樣性優勢，有望成為下一階段全球AI競爭中的關鍵變量。正如趙德麗所說，5年后我們可能會驚訝地發現，AI對社會運作方式的改變，遠比今天預想的要深遠得多。

多模態，正在成為AI產業新的主戰場。而關于“靈魂”與“外掛”的論戰，也許短期內沒有標準答案，但決定了物理AI下半場的最終走向。