小米羅福莉：MiMo-V2.5如何做到又快又強又便宜？ | ICML 2026

當所有人都在卷參數，MiMo選擇了另外兩個被忽視的智能維度——上下文長度與推理速度。

作者丨陳淑瑜

編輯丨岑峰

2026年7月，機器學習領域的頂級學術會議ICML（International Conference on Machine Learning）正式召開。大會首日，小米MiMo團隊負責人羅福莉（Fuli Luo）發表了題為“MiMo-V2.5 Series: Efficient Intelligence via Architecture–Training–Inference Co-Design”的主題演講。

這場演講直擊當前大模型領域的核心痛點：強大的推理能力往往依賴更長的注意力機制、更多的計算資源和龐大的KV緩存，而效率則要求極力壓縮計算與存儲空間，兩者在傳統架構下天然互斥。

面對這一挑戰，MiMo團隊選擇跳出單純調和矛盾的固有思路，轉而從架構、訓練、推理三個技術棧層面展開端到端的協同設計。

羅福莉系統性地展示了MiMo-V2.5系列如何在這三個層面的創新中，將"聰明、快速、便宜"這三個看似不可兼得的目標同時收入囊中。

▎預訓練：用極致稀疏架構砍掉 70% 成本

針對長文本導致的算力與顯存暴漲，MiMo 進行了兩代架構演進：

• MiMo-V2.5引入“混合滑動窗口注意力”（Hybrid Sliding Window Attention）機制，憑借 7:1 的極端稀疏比、僅 128 token 的超小窗口和可學習的注意力沉沒值（Attention Sink），成功將算力消耗（FLOPs）和 KV 緩存壓縮了 7 倍。

• 下一代 MiMo-V3則推出“High Sparse（高維稀疏）”架構，將稀疏比推至 11:1 的極限。它直接讓少量的全局全注意力層充當“先知（Oracle）”，為后續稀疏層篩選關鍵 token 并跨層共享 KV 緩存。

實驗表明，在 11:1 的極端稀疏下，傳統方案會導致 MMLU 得分暴跌 7 分，而 High Sparse 卻能在所有基準測試中匹配甚至超越全注意力模型。羅福莉指出，不少于 3 層的全注意力層是長上下文的“定海神針”，在此基礎上，稀疏比仍能通過精細化工程繼續推高。

▎后訓練：無損融合專家能力，馴服 MoE 強化學習

在對齊階段，MiMo 貢獻了兩項已被行業廣泛采納的硬核算法：

• MOPD（多教師在線策略蒸餾）：通過“教師與學生 log 概率相減”的極簡公式，實現了數學、代碼等多個領域專家模型能力向單個學生模型的無損融合，摒棄了傳統參數合并或級聯 RL 的繁瑣流程，有效避免了能力折損。

• R3（Rollout Routing Replay，推理路由回放）：針對 MoE 架構在強化學習（RL）訓練時極易崩潰的痛點，團隊挖出根因：訓練與推理引擎在同一采樣（rollout）中存在約 10% 的專家路由決策分歧。

R3 巧妙地在訓練前向傳播時強制回放推理側的專家選擇（Top-k Mask），固定路徑的同時保持路由器動態更新。

該方法讓 KL 散度差距降至 Dense（稠密）模型水平，實現了訓練全程零崩潰。

▎推理加速：萬億參數大模型跑出 1000 TPS

團隊成員曹士杰展示了 Ultra Speed 的上線數據。萬億參數模型在通用GPU上實現1000 TPS的token生成速度，背后是dFlash推測解碼、FP4量化、基于上下文長度的bucket分配策略等一系列系統工程優化。

該服務上線僅一個月便吸引了超 10 萬用戶申請，在金融、醫療等行業需求旺盛。

曹士杰特別分享了一個令團隊深受觸動的場景：在手術中，AI快幾秒檢測到風險或輔助醫生做出關鍵決策，可能挽救一個病人的生命——速度不僅僅是基準測試的分數。

總而言之，MiMo-V2.5 的核心方法論在于打破割裂優化的傳統思維。架構的選擇決定了推理的底線與價格優勢，而訓練的創新又反哺了架構的穩定性。

這種“三位一體”的系統級協同，正是 MiMo 在當前大模型價格戰中持續保持核心競爭力的根本原因。

以下為羅福莉 and 曹士杰在ICML 2026大會上的演講精編，雷峰網&AI科技評論在不改變原意的前提下，基于原英文演講內容進行了編譯整理：

01

超越參數競賽：MiMo的三維智能觀

羅福莉：大家早上好，我是羅福莉，MiMo團隊的負責人。很高興來到ICML大會。今天我將主要介紹MiMo-V2.5系列，以及我們如何在架構、訓練和推理三個層面進行協同設計。這次演講探討的核心問題其實很簡單：我們如何構建一個既聰明、又快、又便宜的大模型？

在接下來的30分鐘里，我將向大家展示我們在技術棧的這三個層面是如何落地這一目標的。在此期間，我也會毫無保留地分享哪些方法踩了坑、哪些方法真正見效，以及我們學到了什么。在進入技術細節之前，我想先分享一個支撐MiMo所有研發工作的核心理念。“擴展參數規模”這件事大家都在做，但我們關注的是智能的另外兩個維度，這兩個維度受到的關注要少得多。第一個維度是上下文長度。我們從256K做到了100萬token。而真正的目標，是無限上下文。

為了達到這一目標，我們主要做了兩件事：

• 模型、基礎設施與推理框架的協同設計：我們從混合滑動窗口注意力（Hybrid Sliding Window Attention）演化出混合稀疏注意力（Hybrid Sparse Attention）等上下文高效架構，這是我們能夠不斷降低API價格的核心底氣。

• vLLM（我們的開源推理框架）中的上下文管理：我們設計了無損上下文管理和持久化記憶系統。

第二個維度是推理速度。我們在萬億參數規模、普通GPU上，將生成速度從每秒100 token提升到了1000 token。速度之所以至關重要，是因為在多智能體（Multi-Agent）系統中，更快的上下文切換意味著更高效的協同創新；同時在模型訓練中，更快的rollout速度也意味著模型能更迅速地收斂。

接下來看看MiMo在過去六個月取得的階段性成果。

今年三月，我們發布了MiMo-V2系列，其中包含擁有萬億參數和100萬token上下文的MiMo-V2 Pro，并首次通過SiliconFlow Hunter Alpha平臺進行對外服務。自API降價以來，MiMo-V2.5在調用量上一直穩居前兩名。這驗證了一個事實：開發者最終會傾向于選擇高性價比且快速的模型。

在Artificial Analysis Intelligence Index的最新排名中，MiMo-V2.5 Pro的綜合表現已與Kimi K2.6和DeepSeek V4處于同一梯隊。

那么，我們究竟是如何實現“兼顧高速度與強能力的長上下文智能”的？我們主要在以下三個方向做出了技術突破。

1. 預訓練層面：在MiMo-V2中，我們采用了混合滑動窗口注意力機制。通過7:1的極端稀疏比、僅128 token的微型滑動窗口，并結合可學習的注意力sink偏置，確保了小窗口的高效運轉。在MiMo-V3中，我們進一步升級為自主研發的High Sparse（混合稀疏注意力）結構，將稀疏比推向了11:1，由全注意力層為稀疏層篩選關鍵token并共享KV緩存。

2. 后訓練層面：為了進一步擴展計算規模，我們提出了兩種全新方法。MOPD（Multi-teacher On-Policy Distillation）通過在線策略蒸餾，將多個領域教師模型的能力完美合并到一個學生模型中。我們在去年完成了該方法的大規模落地驗證，目前它已成為行業通行做法。另一項早期工作R3（Rollout Routing Replay）則通過在訓練期間回放推理引擎的路由選擇，徹底解決了MoE強化學習訓練不穩定的難題。

3. 推理層面：我們構建了一套專面向滑動窗口注意力機制的推理管線，并通過FP4量化和dFlash將生成速度推向了每秒1000 token的里程碑。

下面，我將逐一詳細介紹這三個方向的技術細節。

02

預訓練：從混合滑動窗口到High Sparse

首先從預訓練講起，我將重點剖析注意力骨干架構的設計演進：即如何從MiMo-V2的混合滑動窗口注意力，升級為MiMo-V3的High Sparse（高維稀疏）。

混合滑動窗口注意力的結構非常簡潔：它由若干層滑動窗口注意力層與一層全局注意力層交替穿插構成。如圖所示，該結構頂部還包含了三層MTP（Multi-Token Prediction）。盡管128 token的窗口通常顯得捉襟見肘，但我們通過兩項核心設計打破了這一限制：一是引入了可學習的注意力sink偏置參數，二是采用了極端的稀疏比。

在具體的參數設置上，萬億參數的MiMo-V2.5 Pro與3000億參數的MiMo-V2.5有所不同。Pro版本中僅有10%的層使用全注意力（48層中的5層），而MiMo-V2.5則在48層中保留了9層。另一個區別在于KV頭數：Pro版本擁有8個KV頭并全面采用GQA（Grouped Query Attention）；而MiMo-V2.5在全局層使用8個KV頭，在滑動窗口層則縮減為4個。其余如MoE設置、100萬上下文支持以及三層MTP等配置，兩者基本保持一致。

這種高度稀疏化設計帶來了顯著的性能收益。上圖對比了在100萬上下文環境下，全注意力和混合滑動窗口注意力的表現：后者成功將注意力FLOPs和KV緩存降低了7倍，且序列越長，其優勢越明顯。

下圖展示了一個關鍵數據：在與DeepSeek、Gemini、Kimi、Qwen等前沿模型的KV緩存效率對比中，無論是預填充（prefill）還是解碼（decode）階段，MiMo的效率都高居第二，僅次于DeepSeek V3。在長上下文服務中，KV緩存直接決定了算力成本，這也解釋了為什么我們的API價格能持續走低。

不過，混合滑動窗口注意力仍有其局限性。為此，我們在MiMo-V3中設計并采用了High Sparse（高維稀疏）架構。之所以推行這一新結構，是因為早期的稀疏注意力方法通常依賴額外的預測器來評估token重要性，這導致預填充階段無法節省內存，且仍需保留完整的KV緩存。

High Sparse的核心思想在于直接復用全注意力層本身來選擇重要token，并供后續所有稀疏層使用。在具體實現中，每個block包含一層全注意力層和后續的 $$$$ 層稀疏層。我們在800億參數規模上，成功將稀疏比推到了1:11。

這一架構的成功運轉主要歸功于以下三項設計：

• 指令式選擇：全注意力層的FlashAttention在運行中已經自然產生了block級別的注意力分數，我們直接復用這些分數進行token篩選，無需引入額外開銷。

• 跨層KV共享：稀疏層不再維護獨立的KV緩存，而是直接共享全注意力層的KV緩存，使內存占用大幅降低10倍。

• Block級別的token選擇：支持容量動態配置。

實驗結果非常具有啟發性。在絕大多數基準測試中，全注意力、混合滑動窗口注意力和High Sparse三者的表現極為接近，且High Sparse在很多任務中已經取得了最優結果。有趣的是，在1:11的極端稀疏比下，混合滑動窗口注意力會出現性能崩潰（其MMLU得分比全注意力低了約7個點），而High Sparse在所有基準測試上均能匹配甚至超越全注意力。需要強調的是，稀疏層通過共享全注意力層的KV緩存，節省了10倍的緩存空間。

因此，MiMo-V3明確了未來的技術方向：保留少量的全注意力層并將其KV緩存共享給其他所有層，在確保模型質量無損的同時，實現效率的最大化。

03

后訓練：MOPD與R3--融合多教師能力，馴服MoE強化學習

高效的骨干架構必須配合強大的后訓練算法，才能真正轉化為模型能力。那么，我們該如何擴展計算規模？為此，我們提出了MOPD和R3兩項工作。

在傳統的后訓練流程中，通常的做法是基于一個共享的SFT基座，并行訓練各個領域的教師模型，最后再將它們進行整合。為了培養出數學、編程、安全和Agent等領域的頂級專家模型，我們也會在每個領域分別進行RL（強化學習）訓練。然而，如何將這些專門化的領域能力無損地合并到單個模型中，一直是行業難題。我們曾嘗試過參數共享、參數合并、在線策略微調、混合數據或級聯RL等各種手段，但它們要么伴隨著能力的折損，要么會帶來訓練不穩定的風險。

為了攻克這一瓶頸，我們提出了MOPD（多教師在線策略蒸餾）。MOPD最大的優勢在于其極致的簡潔性：通過“教師log概率減去學生log概率”進行逐token計算，能夠直接嵌入到標準的PPO或GRPO框架中。這一設計具備三個結構性優勢：

1. 密集的訓練信號：由于信號直接來自各個專門化的教師模型，學生模型得以高保真地繼承每個教師的核心能力。

2. 架構輕量化：訓練過程中不需要額外的獎勵模型（Reward Model）或價值網絡（Value Network）。

3. 極強的擴展性：可以根據需求靈活接入任意數量的教師領域。

在MiMo-V2 Flash的后訓練階段，我們首次在開源模型中大規模落地了這一方法，如今它也逐漸演變為開源社區的通用做法。

第二項工作R3（推理路由回放）則源于我們此前在研發中遭遇的MoE訓練易崩潰、不穩定的痛點。通過深入排查，我們鎖定了問題的根因：在MoE架構中，面對同一個rollout，訓練引擎和推理引擎在每層、每個token上會有約10%的路由決策不一致。這種底層路由的分歧會直接導致GRPO風格的訓練走向崩潰。

R3的解決方案非常直接：在rollout階段完整記錄推理引擎的專家路由選擇，并在后續的訓練前向傳播中強制回放相同的top-k mask。此時，門控權重仍然基于訓練logits重新計算，從而確保梯度能正常流經路由器。我們固定的是專家的選擇路徑，而不是路由器本身。這些mask會與KV緩存一同進行緩存，因此對訓練速度的影響微乎其微。

實驗數據的散點圖清晰地展示了R3的改進效果：圖中每個點代表一個token，橫軸和縱軸分別對應推理和訓練概率。在沒有引入R3時（紅色點），數據點大量游離于對角線之外；而引入R3后（灰色點），數據點緊密貼合在對角線上。此時，KL散度差距被成功壓低至Dense模型水平。從訓練曲線來看，普通的GRPO在迭代到100步左右時就會因不一致性而崩潰，而使用R3的訓練全程表現平穩。通過讓訓練階段的專家選擇與推理階段完全對齊，R3讓MoE的強化學習訓練擁有了如同Dense模型一樣的穩定性。

04

推理加速：萬億參數模型的1000 TPS突破

曹士杰：大家早上好，我是來自小米MiMo團隊的曹士杰。今天非常高興能在這里向大家介紹我們上個月正式發布的產品--MiMo-V2.5 Pro Ultra Speed。需要說明的是，這并不是一款全新訓練的模型，它依然基于我們的萬億參數Pro模型，但我們在token生成速度上實現了重大突破：首次在通用GPU上，讓萬億參數規模的模型跑出了每秒1000 token的驕人成績。

接下來，我想重點聊聊速度對于大模型的重要意義、我們的技術實現路徑，以及我們在生產環境部署中總結的實戰經驗。

為了讓大家直觀地感受Ultra Speed的威力，我們可以看一個測試案例：我讓模型構建一個AI服務儀表盤，并給出了具體的功能和設計要求。Ultra Speed僅用時約12秒就完成了全部代碼和設計輸出，而傳統的普通API服務完成相同任務通常需要耗時6分鐘左右。關于這項技術，我想強調三點：

1. 硬件零門檻：這是一款萬億參數的大模型，全部運行在通用的常規GPU上，不需要任何定制化的特殊硬件。

2. 真正的生產級服務：這絕非實驗室的demo展示，而是已經在線上穩定運行的生產級服務，所有用戶均可接入，且Web端聊天完全免費。

3. 極高的商業性價比：相較于普通版本，其API價格僅微增3倍，但換來的卻是10到20倍的生成速度提升。

在大模型服務中，吞吐量（Throughput）與用戶交互性（Latency）之間往往需要進行權衡。在絕大多數高并發場景下，傳統的API服務就像是城市公交車--單次可運載大量乘客，總體吞吐量很高，但每個乘客都必須接受更長的等待時間。然而，在許多追求極致生產力或處理緊急狀況的場景中，每一秒的延遲都關乎成敗。此時，我們更需要一輛救護車--它不需要一次性拉很多人，但必須以最快的速度抵達目的地。這正是Ultra Speed的研發定位。

Ultra Speed上線至今已近一個月，市場反饋令整個團隊倍感振奮。上個月有超過10萬名用戶提交了申請，受限于GPU算力瓶頸，我們目前僅篩選批準了約3萬名用戶。即便在控流情況下，我們依然觀察到Ultra Speed的用戶留存率顯著超越了標準服務。同時，來自企業側的需求同樣迫切，尤其是在金融、保險、教育以及醫療等行業。

在實際推廣中，我們發現不同行業對“速度”的商業估值呈現出有趣的差異。對個人開發者而言，速度直接等同于生產力；對量化交易等金融機構來說，速度可以瞬間轉化為真金白銀。而在與醫療合作伙伴的交流中，我們收獲了更深層次的共鳴：他們對利用Ultra Speed輔助醫生進行手術表現出了極大的期待。在復雜的臨床手術中，AI如果能提前幾秒檢測到潛在風險或輔助醫生下達關鍵決策，其背后拯救的就是一個鮮活的生命。這讓我們意識到，速度不僅是一個評測指標，更是在物理世界創造核心價值的基石。

以上就是關于Ultra Speed項目的分享，歡迎大家試用我們的服務，謝謝大家！

05

總結：架構-訓練-推理的“三位一體”協同設計

羅福莉：在演講的最后，我做個簡短的總結。我們的初衷是打造一個兼具強大推理能力與極致長上下文效率的模型。在傳統視角下，這兩者是不可調和的--強推理意味著更多的計算、更長的注意力和更龐大的KV緩存；而高效則要求盡可能削減這些開銷。我們的解題思路正是“架構-訓練-推理”三層技術棧的端到端協同設計。

• 在預訓練層面：我們實現了從MiMo-V2.5的混合滑動窗口注意力到MiMo-V3中High Sparse架構的平滑演進。通過讓全注意力層扮演“先知”角色，完美實現了跨層KV緩存共享。

• 在后訓練層面：MOPD攻克了多教師能力融合的難題，而R3則馴服了MoE強化學習訓練，使其具備了與Dense模型相同的穩定性。

• 在推理層面：依托FP4量化、dFlash以及工程層面的bucket策略，我們成功在萬億規模模型上實現了每秒1000 token的突圍。

這三個層面從不是孤立割裂的，它們構成了相輔相成的有機整體。架構的選擇決定了推理的邊界，而訓練的創新又反哺了架構的穩定性。這種“三位一體”的設計哲學，正是MiMo-V2.5系列能夠打破性價比僵局、在激烈競爭中持續勝出的根本所在。謝謝大家！

06

Q&A 問答環節

聽眾A：我的問題關于從混合滑動窗口（Hybrid SWA）到High Sparse的架構演進。全注意力層充當稀疏層的“先知”并共享KV緩存，這確實是個巨大的突破。我想請問，全注意力層的絕對數量會不會成為模型長上下文能力的瓶頸？另外，目前確定的1:11稀疏比是效率與性能的最優平衡點嗎？未來這一比例還有進一步推高的空間嗎？

羅福莉：非常深刻的問題。High Sparse的最終性能本質上取決于全注意力層建模的質量，而稀疏比本身并不是限制能力的枷鎖。我們之所以追求更高的稀疏比，是為了進一步釋放KV緩存壓力并削減注意力FLOPs。目前有許多精細的技術可以用來推高稀疏比，例如將現有的block級別token選擇細化至token級別，以獲得更大的語義容量。此外，將滑動窗口注意力與稀疏注意力機制進行融合疊加，也能進一步拉高稀疏上限。

但正如你所說，這里存在一個底線，那就是全注意力層的絕對數量。我們在早期探索中發現，全注意力層通常不能少于3層（特別是在特定的混合架構中），它是長上下文性能的“定海神針”。總結來說：全注意力層的基數很關鍵，而稀疏比則可以通過后續的一系列工程和算法優化繼續向上突破。

聽眾B：我很贊賞MiMo-V2.5在長上下文和KV緩存稀疏化上的成果。但我也很好奇，該模型在傳統的短上下文任務（例如文本分類、代碼補全等）中表現如何？

羅福莉：在短上下文任務上，我們的模型在標準基準測試中同樣表現出了極強的競爭力。High Sparse架構在短文本下不會發生性能退化，因為全注意力層依然完整覆蓋了整個短序列。在研發中，我們對短上下文的關注度與長上下文完全對齊，因為真實世界的業務場景往往是長短文本混合的。

聽眾C：我有兩個問題。第一，High Sparse架構對你們現有的推理系統會帶來額外的重構壓力嗎？第二，關于推測解碼技術，演講中提到針對不同上下文長度訓練了不同的dFlash模型，你們是否做過性能剖析（profiling）？這種針對特定長度定制的模型能否顯著提升token的接受率？

曹士杰：首先回答第一個關于High Sparse對推理系統影響的問題。我們在設計High Sparse之初，就確立了“不給推理框架增加額外工程負擔”的原則。High Sparse由于直接共享了全注意力層的KV緩存，放置不會產生額外的內存開銷，計算量也沒有增加。

如果關注最近行業內關于稀疏注意力的工作，你會發現很多方案都需要引入一個額外的Indexer（索引器），但Indexer本質上也是一個需要通覽全局的全注意力層，很多工作都卡在如何降低Indexer的計算開銷上。既然如此，我們為什么不直接復用模型中本就存在的全注意力層呢？在混合滑動窗口架構中，全注意力層天然就是最好的“先知”，它本身就包含哪些token重要的top-k信息。我們直接復用這些信息，既精簡了架構，又徹底解決了長上下文下全注意力層的瓶頸問題，這也是我們有信心持續推高稀疏比的原因。

關于第二個推測解碼的問題。在MiMo-V2 Flash的技術報告中，我們使用的是MTP方案。推測解碼的接受率在很大程度上取決于下一個token的熵。在代碼生成和Agent等邏輯清晰的場景中，token的熵較低，接受率自然非常高。

我們的線上服務也充分利用了這一特性：對于超長上下文的bucket（往往99%是編程或開發場景），我們為其訓練了專屬的dFlash模型，在測試中甚至能達到“每8個token中接受7個”的極高效率。但在普通的通用Chat場景中，由于語義發散，接受率會相對低一些，維持在4中接受3的水平。這也解釋了為什么我們沒有采取一刀切的策略，而是針對不同的業務bucket實施差異化的推測解碼方案。

聽眾D：我對MiMo模型采用的稀疏注意力和滑動窗口注意力技術很感興趣。據我所知，DeepSeek系列也采用了類似的技術路徑。而目前行業內還有另一類技術路線，即ChatGLM和Kimi等模型所嘗試的線性注意力（Linear Attention）。請問團隊是否對這兩者做過橫向對比？相比之下，MiMo目前的選擇具備哪些獨特優勢？

羅福莉：實際上，我們在去年對線性注意力（包括Mamba等開源SSM狀態空間模型架構）進行過非常深入的評測與嘗試。我們發現，線性注意力在處理短上下文任務時表現非常出色，但在面對超長上下文以及復雜的長文本推理任務時，其建模能力與基于標準自注意力（Self-Attention）機制的方法相比，依然存在較為明顯的代差。

我們最終選擇混合稀疏注意力是基于詳盡的實驗數據做做出抉擇。它的核心優勢體現在三點：第一，它完整保留了全注意力層的全局建模表現，這是目前線性注意力架構仍難以企及的；第二，得益于創新的跨層KV緩存共享，它在內存效率上已經無限逼近線性注意力；第三，在長上下文深度推理任務中，它依然是目前綜合表現最優的解法。

聽眾E：請問這些技術能否很好地支持大批量（Large Batch）或高并發的工業級場景？

曹士杰：完全可以。我們目前的線上生產環境已經在運行類似的機制。我們在系統層引入了基于上下文長度的bucket動態分配策略。例如，將請求劃分為32K以下、32K到128K、以及128K以上等不同的業務桶（bucket）。每個bucket會根據從真實業務中采樣的數據，動態匹配和訓練專屬的dFlash模塊，從而在保證大批量并發吞吐量的同時，兼顧單次請求的極致響應速度。

聽眾F：我對后訓練算法非常感興趣，尤其是技術報告中提及的MOPD。我自己也在在線策略蒸餾（On-Policy Distillation）方向做了一些針對Agent任務的研究，但在長周期（Long-horizon）任務中經常會遭遇錯誤累積以及學生模型分布偏移（Distribution Shift）導致的訓練失敗。我很想知道，MiMo在工業工程環境中是如何化解這些失敗模式的？有哪些實用的算法優化技巧可以分享嗎？

羅福莉：這是一個非常切中要害的問題，因為你提到的這些失敗模式也正是我們在研發早期花費了大量精力去攻克的硬骨頭。我們目前已經將最新的MOPD技術細節進行了開源。

在這里可以分享一些有用的早期實驗結論：例如，為了對抗長周期任務中的分布偏移，可以在訓練中引入啟發式的KL散度約束，動態過濾掉一些偏離過大的學生rollout數據，以此強力維持學生與教師模型之間的分布相對一致。工業界有很多類似的數據過濾與卷曲機制（Rollout Filtering）能讓MOPD在長周期任務中穩定下來。不過我們也承認，面對極長周期的復雜Agent任務，后訓練算法在基礎設計上仍有進一步迭代優化的空間。

聽眾G：我有一個關于稀疏注意力層間共享的問題。在你們的架構中，不同層之間的KV緩存是完全共享的，這意味著層與層之間唯一的變量就是Query（Q）的值。請問在實際訓練或推理中，你們有沒有觀察到Query在不同層之間展現出顯著的分布偏移？因為KV完全一致，Q的變動將獨自決定注意力的走向。

曹士杰：這個架構設計的核心靈感其實正是來源于對傳統全注意力模型的實證觀察--我們注意到在大模型中，相鄰幾層之間的注意力模式（Attention Patterns）高度相似，甚至幾乎完全一致。這給了我們直接拿掉稀疏層KV、實施跨層共享的底氣。在確立了這個架構并跑通了所有性能指標后，從實用主義角度出發，我們確實沒有再專門針對Query在層間的微觀分布演變進行更深度的統計學分析。

聽眾H：我注意到在推理側你們采用了MXFP4量化技術。這是一個相對前沿且仍在演進中的底層技術，目前行業存在很多變體（例如不同的訓練感知量化QAT方案等），也有部分學術論文指出了MXFP4在特定場景下的精度缺陷。請問團隊為什么堅定地選擇了MXFP4并結合QAT來落地？

曹士杰：探討大模型量化必須要同時兼顧“模型精度”與“硬件效率”這兩個維度。從精度角度來看，只要量化配置足夠精細（例如選擇極小的量化粒度和微型的塊大小/Block Size），MXFP4與其他主流低比特格式在最終的精度表現上幾乎沒有統計學差異。

然而，真正讓不同量化方案在工業界拉開差距的是硬件效率。MXFP4是NVIDIA在最新的Blackwell架構GPU上提供原生硬件級支持的低比特格式。這意味著它能直接享有底層算力核心的硬件加速，而不需要開發者像對待其他格式那樣去費時費力地編寫并優化自定義Kernel。對于瞬息萬變的線上生產部署而言，原生硬件的兼容性與運行效率就是核心生命線，這也是我們毫不猶豫選擇MXFP4的原因。

聽眾I：我注意到在MiMo-V2的預訓練流程中，團隊直接選擇了從32K的序列長度起跑，這與目前行業主流的從4K或8K逐步遞增的做法大相徑庭。請問組織是讓混合滑動窗口注意力機制成功運轉的關鍵決定性因素嗎？

羅福莉：不是的，序列長度的起點并不是決定性的因素。我們認為，讓滑動窗口注意力在性能上能夠真正媲美甚至超越全注意力架構的底層關鍵在于兩點：首先是Attention Sink（注意力沉沒值）的引入。當我們將模型規模推向萬億級參數時，Sink Value的初始化與更新機制變得無比嬌貴--如何在MoE龐大的訓練過程中優雅地初始化Sink Value并維持其穩定的梯度更新，才是架構不崩潰的核心。相較之下，初始的訓練序列長度更像是一個常規的超參數選擇，并非決定滑動窗口成敗的勝負手。

聽眾J：關于強化學習（RL）部分，團隊有沒有發現長上下文（Long-context）場景下的強化學習，在訓練特征上與傳統的短上下文存在很大不同？

羅福莉：絕對有。長上下文RL面臨最核心的挑戰就是獎勵信號（Reward Signals）極度稀疏，這導致訓練收斂的難度呈指數級上升。我們前面提到的R3（推理路由回放）技術在這種場景下發揮了至關重要的作用，因為它徹底對齊了訓練與推理側的路由行為，斬斷了額外的不穩定性源頭。目前，我們團隊也正在緊鑼密鼓地開展更多針對長上下文場景的專用RL算法擴展工作。

聽眾K：最后一個問題關于位置編碼。請問團隊是如何處理長序列下的位置編碼（Position Embedding）的？訓練和推理階段的處理存在差異嗎？另外，當滑動窗口在長文本上向前滑動時，位置編碼會被重置嗎？

羅福莉：在研究中我們發現，滑動窗口注意力內部的RoPE theta參數在整個訓練期間其實完全可以保持靜止。在訓練初始化階段，我們可以直接為滑動窗口注意力配置一個足夠大的基數（RoPE theta），并在后續的預訓練、后訓練階段全程凍結這一數值。不過需要注意的是，全注意力層自身的RoPE theta在進行長上下文縱向擴展（Extension）時，依然需要進行動態微調。

聽眾K：那在訓練和推理之間，這個處理是完全一致的嗎？

曹士杰：是的。訓練一旦收斂，RoPE theta以及模型的所有權重參數在推理服務期間都是完全靜態、不作任何改變的。

聽眾K：也就是說，即使窗口在持續滑動，每當模型新生成一個token，它的RoPE或位置編碼索引依然是在持續累加遞增的，對嗎？

曹士杰：是的，完全正確。參數和編碼機制本身保持絕對的一致與連續。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。