馬毅：主流網絡架構能從"壓縮"一個原理推導出來，大模型有知識但還沒有智能

★ 本文內容整理自 馬毅 在 UC Berkeley EECS 的演講，公開發表于 2026年05月07日。 原文鏈接：https://www.youtube.com/watch?v=Az9sfy3jWNU

2019 年，馬毅給自己的研究組下過一道禁令：不許再寫"解釋某個 trick 為什么好使"的論文。dropout 提升 5%、加一層 normalization、ReLU 比 sigmoid 好、雙下降、殘差連接——每隔三個月就有一個新現象冒出來，然后學界寫上幾百篇論文去追認它。他說自己也寫過這類論文，但決定不再署名，理由很直接：這只是在追著實踐者的尾巴跑（chasing the tails of practitioners）。

七年后，他在 UC Berkeley 的 EECS Colloquium 上講的，就是這道禁令之后另起爐灶的成果。這場講座由認識他三十多年的 Jitendra Malik 主持，主線只有兩條，但都不小：一條是，深度學習十年來靠試錯攢出來的主流網絡結構——注意力、卷積、殘差、Mixture-of-Experts——其實可以從一個數學假設演繹地推導出來，把黑箱變成白箱；另一條是，知識和智能是兩回事，按這個標準，今天的大模型只有知識，還談不上智能。

先問"要學什么"，而不是"網絡怎么搭"

馬毅的出發點是把研究對象換掉。過去十年，深度網絡本身是被研究的對象，大家反復問"這個結構為什么有效"。他認為這問錯了——網絡只是手段，真正該先想清楚的是學習的目的：我們到底要從數據里學到什么。

他給的答案是一個假設：可預測的信息，本質上是高維空間里一個支撐集極低維的分布。一張圖片是上百萬個像素、也就是百萬維空間里的一個點，但所有"看起來正常"的圖片只集中在其中極小的一塊低維結構上。牛頓定律說無外力的粒子只能走直線，就是把一個三維里的運動限制在一維上——正是這種低維性讓世界變得可預測、可補全、可去噪。馬毅主張，"數據分布是低維的"是深度學習唯一需要的歸納偏置，其他都能從這里往下推。

他專門拿這個和 Bengio 抬過的杠打了個照面：兩人曾就"什么是 inductive bias"爭論得不太愉快，Bengio 甩給他一篇五十頁、通篇沒有一個公式或定義的論文，讓他一頭霧水。馬毅的態度是，歸納偏置應該能被數學定義、能拿來演繹，而不是"有效就說你用對了 bias、無效就說你沒用對"的事后定性。

低維假設能直接兌現幾件事：圖像被遮擋可以補全，觀測有噪聲可以去噪——維納（Norbert Wiener）最有名的工作維納濾波做的就是這件事，只不過是在低維線性模型上。放到人臉上，有人估計人臉分布大約只有九維;哪怕隨機裁掉 30% 到 70% 的像素，只要利用這個低維結構，機器不僅能認出是誰，還能把整張圖恢復出來。

把"學到了多少"變成一個能算的量

光知道"分布是低維的"還不夠，因為它沒法比較好壞。數據落在一條直線上還是幾個孤立點上，兩者的體積都是零；連續分布的微分熵是負無窮，兩個負無窮之間也沒法排序。馬毅借用了香農（Claude Shannon）的率失真（rate distortion）：先設定一個有限內存、給定精度的"碼本"，測量編碼這份數據需要多少比特，編碼長度的減少量就是信息增益。這一步的意義在于把"學到了多少"變成一個真正可計算、可比較的量。

他用一個思想實驗說明為什么必須帶上"精度"這個約束：假設世界上只有 e 和 π 兩個點，各占一半概率，編碼它們只要 1 比特，可解碼卻需要無限內存,因此是不可計算的。所以任何對世界的解釋都只能精確到某個程度，必須構造有限復雜度的有損碼本。這也順帶回答了一個常見困惑——為什么樣本足夠多時，模型會收斂到那條直線，而不是把每個樣本點都背下來：覆蓋整個空間要一大堆"藍球"當碼本，而只標記數據附近的"綠球"碼本要緊湊得多，后者的信息增益更大。樣本太少或網絡容量太大時，模型確實會退化成逐點記憶。

需要說明的是，一般分布的率失真計算是 NP-hard、不可計算的。馬毅的推導建立在一個近似上：把復雜低維分布用若干子空間或分段高斯去逼近。對高斯，率失真有現成的解析公式，整套東西才算得動。這個近似能推廣到多真實的數據分布，講座里沒有給出嚴格邊界。

注意力、卷積、殘差，都能從這個目標函數里長出來

把"學一個好表示"寫成"最大化碼本層面的信息增益，同時讓表示盡量線性化、正交、稀疏"，就得到一個目標函數。對它做梯度下降，推出來的算子結構，和今天試錯攢出來的主流網絡高度一致。

壓縮項算出來就是注意力頭的樣子——一個二次轉線性的算子加軟閾值;而且比標準注意力更省，K、V、U 可以共享同一個線性投影，不需要三個獨立的參數矩陣。稀疏化項對應經典的 ISTA 軟閾值。把這些迭代堆疊起來，就是一個殘差網絡式的深層結構，只不過每一層都在對同一個目標函數做優化，因此完全可解釋。這套架構馬毅團隊早年叫它 ReduNet。

其中一個讓他自己都意外的結果是卷積：只要要求這個目標函數對平移不變——同一個物體挪個位置還是同一個物體，把所有平移后的圖像當成一個集合一起壓縮——梯度算子會自動變成卷積，不需要人為設定。他說這是他第一次從第一性原理把卷積推導出來。附帶的一個發現是，這類由平移不變性導出的卷積算子在頻域計算，復雜度能從二次降到線性。

有了這個視角，架構設計就變成了做題。訓練出來的 ViT 里，每個注意力頭會按幾何結構自動把腿、身體、耳朵這些相似部分分到一起——每一層學到的都是統計和幾何上有意義的結構。團隊用同一原則重寫了 DINO 的 v1、v2 和掩碼自編碼，網絡大幅簡化、超參數基本消失，性能反而更好;想要線性復雜度的注意力，也是換一個變分形式的目標函數推出來的，而不是像 Mamba、Samba 那樣試出來的。馬毅說，從 2023 年起他的組不再做任何經驗性設計。

他也借此點了一句行業現狀：當你花了上百億訓練，最后告訴投資人"學到的東西在隱空間里、你不知道是什么"，這就是為什么滿世界都是 prompt 工程師、都在寫各種 skill——都是在給一個看不透的隱空間打補丁。

知識不是智能，閉環才是分界

講座后半段，馬毅把"知識"和"智能"分開。他給智能下的定義是：一個具備自我糾正、自我提升現有知識機制的系統。知識是智能的產物，兩者常被混為一談，就像把 Apple 和 iPhone 搞混。順著這個定義，他給出一個會讓不少人不適的判斷——GPT 只有靜態知識，沒有智能;而小孩有智能，只是還沒有知識。

分界點在閉環。自然界沒有實驗室那種"拿真值來比對"的條件，沒有 3D ground truth 可用，只能在潛空間內部做閉環校驗——這正是維納約八十年前提出、如今被"端到端"范式忘掉的思路。馬毅和楊立昆（Yann LeCun）及其學生的工作顯示，把率失真當作獎勵、玩一個 min-max 博弈去探索并檢驗預測對錯，可以完全無監督地學出與猴子 IT 皮層類似的、塊對角的分類結構;這項工作是疫情期間和神經科學家曹穎（Doris Tsao）合作做的。他還提到，辛頓（Geoffrey Hinton）在 2022 年承認，大腦并不做反向傳播，它只能閉環學習。

現場有人追問：既然人打籃球不需要懂牛頓定律，為什么不能只靠強化學習黑箱試錯，非要把黑箱打開？馬毅的回答是，黑箱當然也能試出結構，但那是買彩票——ViT 試出來的表示可視化之后是一團亂麻，你不知道學到了什么，只能靠 ControlNet 這類事后條件化去補救;而白箱結構在統計幾何上是透明的。長期看，自然選擇會淘汰那些能耗高、結構冗余的方案，所以結構化表示是被"選"出來的優勢。他補了一句對照：人腦只用 18 瓦，而現在訓練大模型的人已經在談多個吉瓦。

需要區分的是，這里馬毅論證"白箱更可取"更多依賴"自然選擇會淘汰低效結構"這類類比，而不是嚴格證明了白箱的必要性;他自己也承認這套框架未必最優——即便收斂到局部極大值，也仍能對應有效的分段線性結構，只是可能有子空間缺失或合并。

學術界該當那個"去噪器"

馬毅把這套演繹路線放進了一條更長的脈絡里。他反復強調，人工智能真正的起點是 1940 年代而不是常被引用的 1956 年，源頭是維納——是他啟發了皮茨的人工神經元、香農的信息論，以及馮·諾依曼的計算機架構。圖靈 1950 年那篇論文也從沒真正回答"機器能否思考"，它的核心是嘗試定義這個問題。馬毅把它翻譯成一個更可操作的版本：能不能檢驗一個系統是在歸納地還是演繹地做事，能不能自我學習，能不能區分"幻覺"和"假設"——幻覺是你不知道自己可能錯、只當它對，假設是你知道自己可能錯、所以要去驗證。

他給學術界和產業界劃了分工：產業界負責把已知的東西做得更大更快、把 benchmark 刷得更高;學術界的角色應該是"去噪器"，負責找對方向、提對問題。他對當下"發現一個東西就往死里工程化"的做法不客氣——那能產出很多有影響力的論文，diffusion 模型的補丁和 prompt 工程的技巧各有上萬篇，但在他看來"熵太高了"。

講座留了不少沒展開的口子。馬毅自己承認沒時間講這套原則怎么落到真實問題上，提問環節里他快速帶過了一項工作：把生成和重建統一到同一個優化框架里做視覺記憶，從幾張圖就能重建并理解場景，區分以自我為中心、以物體為中心和以環境為中心的表示——這是他三十年前跟著 Malik 學 3D 重建時就想做的事。"幻覺與假設""意識"這些話題也只是提綱式地點到。這套從壓縮出發的框架能走多遠，得看這些口子后面能填出什么。

術語注解

正文里幾個專有名詞，展開說明如下，方便非專業讀者對照。多數出自馬毅團隊公開的一條研究線（MCR2 → ReduNet → CRATE → SimDINO / ToST），鏈接見文末。

率失真理論（rate distortion）：香農信息論的一個分支，研究"在允許一定失真（誤差）的前提下，把一個信源壓縮到最少需要多少比特"，是有損壓縮的理論下界。馬毅用它把"學到了多少"變成可計算量——編碼數據所需比特數（編碼率）的下降幅度，就是信息增益。一般分布下這個量的精確計算是 NP-hard，所以他退而用高斯/分段高斯去近似，才有解析公式可算。

最大編碼率約減（MCR2，Maximal Coding Rate Reduction）：馬毅團隊 2020 年提出的目標函數。直覺是讓學到的特征同時滿足兩點——不同類的特征落在彼此正交的低維子空間里（判別性最大化），同類特征擠進同一個低維子空間里（可壓縮性最大化）。最大化"整體編碼率 ? 各類編碼率之和"這個差值，就同時做到這兩件事。它是后面 ReduNet、CRATE 的共同源頭。

ReduNet：2021 年的工作（Chan、Yu、You、Qi、Wright、Ma）。把 MCR2 目標函數的梯度一步步"展開"（unroll），每一步梯度上升對應網絡的一層，于是一個前向、可解釋的深度網絡被"推導"出來而不是設計出來。給它加上平移不變約束時，其中的算子自動變成卷積——這正是正文"卷積從第一性原理推出來"的出處。

CRATE（Coding RAte reduction TransformEr）/ 白箱 Transformer：2023 年 NeurIPS 論文《White-Box Transformers via Sparse Rate Reduction》。目標換成"稀疏率約減"，每一層做一步交替最小化：先用多頭子空間自注意力（MSSA）做壓縮、去噪，再用 ISTA 做稀疏化。整個 Transformer 由此被推導成完全可解釋的結構，注意力頭自帶語義。正文"注意力、殘差、MoE 都能從目標函數里長出來"說的就是這條線。

K、V、U 共享同一線性投影：標準注意力里 Query、Key、Value 各用一個獨立的投影矩陣。CRATE 的推導表明，從壓縮/去噪的目標出發，這幾個投影在數學上應當相同，只需一個投影矩陣——辛頓早年也提過"Q、K、V 設成相等更合理"的猜想，這里從原理上印證了它。正文"K、V、U 共享投影、比標準注意力更省"即指此。

ISTA 軟閾值（Iterative Shrinkage-Thresholding Algorithm，迭代收縮閾值算法）：求解稀疏優化（LASSO / 稀疏編碼）的經典一階算法。每次迭代兩步：先沿梯度下降，再過一個"軟閾值"函數——把絕對值小于閾值 λ 的分量直接壓成 0、其余向 0 收縮 λ。作用是逼出稀疏解（只讓少數分量非零）。CRATE 用它實現"某個神經元只在該激活時才激活"的稀疏表示。

維納濾波 / 卡爾曼濾波：兩種經典去噪、估計方法。維納濾波（維納提出）在低維線性模型假設下，從含噪觀測里恢復原信號;卡爾曼濾波是它在動態系統里的遞推版本。馬毅用它們說明"低維結構?可去噪"這件事信號處理界早就在做，只是過去局限在低維。

score function / 去噪擴散：把干凈數據不斷加噪會讓分布越來越彌散（熵增），這就是擴散過程;反過來，沿著"分數函數"（對數概率密度的梯度）一步步把噪聲往數據高概率區域推，就是去噪、熵減的逆過程，也是 Sora 等生成模型的原理。馬毅把學習整體看作這個去噪/壓縮過程在高維空間的版本。

SimDINO（簡化版 DINO）：2025 年 Berkeley 團隊工作。DINO/DINOv2 是自監督視覺預訓練方法，訓練管線復雜、超參多、易坍縮。SimDINO 證明只要在損失里加一個顯式的編碼率（coding rate）項來防止表示坍縮，就能刪掉大量經驗性設計，網絡更簡單、性能反而更好。正文"兩個 Berkeley 學生做的簡化版 DINO"即此。

Token Statistics Transformer（ToST，線性復雜度注意力）：ICLR 2025 工作。標準注意力復雜度隨 token 數二次增長;把率約減目標改寫成變分形式后，可以推導出一個復雜度隨 token 數線性增長的注意力算子。這是正文"換一個變分形式的目標函數、推出線性復雜度注意力"的出處，作為對 Mamba/Samba 等試錯式線性注意力的原理化替代。

塊對角結構（block-diagonal）/ IT 皮層：把學到的相似度矩陣按類別排序后呈現的對角分塊形態，意味著同類聚在一起、異類分開。靈長類下顳葉皮層（IT cortex）對物體類別的表征也呈類似結構。馬毅與神經科學家曹穎（Doris Tsao）的合作用它作為"閉環預測編碼能無監督學出類腦結構"的證據。

系統發生智能 / 個體發生智能（phylogenetic / ontogenetic）：馬毅借生物學術語區分兩種智能。前者是物種層面靠自然選擇"進化"出的能力，個體只繼承、按本能反應（他類比今天的大模型）;后者是個體一生中通過感知、反饋、糾錯自己習得的能力（對應"具身智能"）。這是"知識 vs 智能"論點的生物學鋪墊。

• MCR2：《Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction》(2020) — https://github.com/Ma-Lab-Berkeley/MCR2

• ReduNet：《ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction》(2021) — https://arxiv.org/abs/2105.10446

• CRATE：《White-Box Transformers via Sparse Rate Reduction》(NeurIPS 2023) — https://ma-lab-berkeley.github.io/CRATE/ ; https://arxiv.org/abs/2311.13110

• SimDINO：《Simplifying DINO via Coding Rate Regularization》(ICML 2025) — https://arxiv.org/abs/2502.10385

• ToST：《Token Statistics Transformer: Linear-Time Attention via Variational Rate Reduction》(ICLR 2025) — https://arxiv.org/abs/2412.17810