多模態大模型訓練的顯存與吞吐困局，被小紅書開源的BigMac打破了

BigMac 是原生多模場景下的流水并行訓練新范式。它針對多模態大模型訓練中計算效率與顯存占用難以兼顧的問題，提出了依賴安全的嵌套流水線：以成熟的 LLM 流水線為主干，在不打亂 LLM 執行順序的前提下，有序嵌入編碼器和生成器計算，從而在不增加 LLM 流水線空泡、保持激活顯存有界的同時，高效實現多模態流水訓練。相比傳統的流水并行實現方式，BigMac 在工程實現上進一步解耦了全局調度與運行時執行，并設計了一系列接口和工具鏈降低了模型接入與系統調優的成本。實驗中，其訓練速度較基線提升 1.08～1.9 倍，并在 global batch size 增大時保持的穩定顯存占用。目前，BigMac 已作為 dots 多模態模型訓練的核心組件之一應用于生產中。

多模態大語言模型（MLLM）的下一場硬仗，打到了訓練系統內部。

當前，覆蓋更多輸入模態并將理解、推理與生成納入同一套模型體系，正在成為頭部大模型廠商的重要技術方向。同時，英偉達 Megatron Core 等主流訓練框架也開始支持視覺、音頻和文本等模態，并探索統一的多模態輸入輸出訓練框架。

模型能力看起來越來越統一，底層計算卻變得更加異構。

一個典型的 MLLM 往往包含模態編碼器、LLM 主干和模態生成器等三個模塊，它們運行在同一套 GPU 集群上，卻遵循不同的計算節奏：編碼器將尺寸、數量和長度不斷變化的圖像或音視頻輸入轉換為 embedding，LLM 主干依賴經過高度優化的流水線進行推理，生成器則把 LLM 的輸出映射回目標模態。

圖 1：一個典型的 MLLM 架構，包含模態編碼器、LLM 主干和模態生成器。

單看每一個模塊，業界已經積累了相對成熟的并行方案。但把這些模塊接入同一套訓練流水線后，問題很快變得棘手：一個耗時較長的模態 microbatch，可能讓下游多個 LLM pipeline stage 停下來等待；為了避免這種等待而提前完成模態計算，又需要長期保留相應的 activation，最終撞上顯存上限。

多模態訓練由此受困于一個明確的帕累托前沿（Pareto frontier）：吞吐和顯存往往只能優先保住一個

第一種設計是計算高效的。它把編碼器和生成器計算從 LLM pipeline 中分離出來，類似 LongCat-Flash-Omni 中用于應對大規模多模態訓練異構性的 modality-decoupled parallelism。例如，系統可能先對所有 microbatch 運行 encoder forward，保留這些 activation，然后再啟動 LLM pipeline。這樣可以讓 LLM pipeline 不被模態模塊的耗時波動打亂：編碼器和生成器慢一點，不會直接在 LLM pipeline 內部制造 bubble。

然而，由于編碼器 activation 必須一直保留到對應的梯度返回，activation 顯存會隨著 microbatch 數量增長。如果模型中還有生成器，情況會更糟：LLM activation 也可能需要一直保留到生成器計算結束。在生產規模模型中，這尤其昂貴，因為 LLM activation 往往遠大于 encoder activation。

圖 2：計算高效的 pipeline。該設計將模態計算從 LLM pipeline 中分離出來，減少 bubble，但會保留大量 activation。

第二種設計是顯存高效的。它把編碼器和生成器整合進同一條 pipeline，把它們看作圍繞 LLM 的首尾階段；例如 Megatron Core 的多模態訓練示例中，vision-language 模型作為一個獨立的 pipeline stage，加入到了 LLM 的流水線中。這樣可以縮短 activation 生命周期，因此顯存占用更低。但是，所有模塊現在都被 pipeline 依賴耦合在一起。如果某個 encoder 或 generator microbatch 很慢，LLM pipeline 就必須等待。如果生成器運行時間變化較大，pipeline 尾部就會產生 bubble。系統通過犧牲計算效率來節省顯存。

圖 3：顯存高效的 pipeline。該設計將所有模塊整合到一條 pipeline 中，減少顯存占用，但會產生跨模塊 bubble。

小紅書 dots infra 團隊開源 BigMac，就是為了解決這樣的兩難問題。計算高效的系統速度快但顯存開銷大；顯存高效的系統節省顯存但容易產生 bubble。對于小規模訓練任務，這種二選一可能還可以接受。但對于大規模多模態訓練，尤其是包含模態生成器的訓練，這種兩難會成為瓶頸。

• 論文標題：BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training
• 論文地址：https://arxiv.org/pdf/2605.25451
• 開源地址：https://github.com/Dots-Infra/BigMac/

BigMac 的核心思想

BigMac 的出發點很簡單：調度的主干仍然應該是 LLM pipeline。大規模 LLM 已經依賴 1F1B 或 interleaved 1F1B 等精心優化過的 pipeline schedule。這些 schedule 成熟、高效，并且與生產級 LLM 訓練棧深度綁定。BigMac 不試圖替換它們，而是把 LLM schedule 作為基礎時間線。

BigMac 的思路是先穩住最重要的 LLM pipeline，再把編碼器和生成器的計算插入到合適的位置。這里的「合適」，指的是輸入已經準備好，而且插入這些計算不會打亂原本的 LLM 執行順序。這樣一來，LLM pipeline 可以持續推進，編碼器和生成器的激活也能更早釋放。團隊稱這種設計為依賴安全的嵌套流水線 (nested pipeline)

圖 4：BigMac 保留原始 LLM pipeline schedule，并把 encoder/generator 工作嵌入到依賴安全的位置。

這個設計給 BigMac 帶來了兩個重要性質。

第一，它保留了計算效率。由于編碼器和生成器不再被強行塞進 LLM 流水線，作為獨立的 pipeline stage 逐級推進，它們的耗時波動也不會沿著 LLM 流水線一路傳下去。LLM 仍然按照它在計算高效系統中本該遵循的 schedule 運行。

第二，它限制了模態 activation 顯存。BigMac 會在梯度就緒后盡快運行 encoder backward 和 generator backward。編碼器不需要一直為所有 microbatch 保留 activation，直到 LLM pipeline 結束。生成器也不需要保留很長的 activation 尾部。從算法層面看，BigMac 將編碼器和生成器 activation 顯存降低到 O (1)，同時保持 LLM activation 行為不變。

這就是整個流水線的核心：BigMac 不是在顯存和 bubble 之間做交換，也不是用 bubble 換顯存。它改變了 schedule 結構，讓這兩個目標不再必須相互沖突。

讓多模態流水訓練真正落地

在真實的多模態大模型訓練中，pipeline parallelism 的難點往往不只是「如何排 microbatch」，框架還必須解決一系列系統集成、接口定義、性能排查等工程問題。

BigMac 關注的正是這些從「能設計 schedule」到「能真正訓起來」的系統環節。它提供了三個關鍵能力：把 schedule 變成可見、可檢查、可執行的全局計劃；流水線無感的接口讓模型開發者仍然以模塊化方式編寫模型代碼；schedule-aware 工具鏈則把 profiling、simulation 和可視化接入到性能診斷閉環中。下面分別展開這三點。

1. 把全局 schedule 擺到明面上

先看系統集成層。BigMac 運行時的核心組件是 Scheduler 和 Executor，Scheduler 會生成一張全局 operator 表，覆蓋所有 pipeline rank、microbatch 和模塊類型。這張表包含 LLM forward/backward operator、encoder forward/backward operator、generator forward/backward operator，以及模塊邊界上所需的通信。Executor 隨后解釋每個 rank 上的本地 operator 序列，并把每個 operator 分發給對應后端：LLM pipeline operator 交給 Megatron Core，模態 operator 交給 encoder 或 generator runtime，數據搬運交給通信后端。

這種拆分給 BigMac 帶來了兩個實際優勢。第一，調度策略變得可見、可檢查。我們可以直接看到 encoder、LLM 和 generator 如何在所有 rank 上交錯執行，而不需要從一段很長的 rank-local runtime 函數中反推出全局行為。第二，執行仍然對后端友好。LLM operator 可以繼續復用 Megatron Core 等優化過的 pipeline runtime，而模態模塊可以保留自己的 data-parallel、FSDP 或 optimizer 實現。Schedule 也可以在不重寫模型 runtime 的情況下加入通信 operator、進行死鎖檢查。

更多細節建議通過 BigMac 官方的可視化工具查看。

2. 讓模型代碼自然接入 PP

在多模態訓練里，算法工程師會不斷調整 encoder、LLM、generator 的連接方式、loss 設計和數據形態，問題在于，傳統 PP 系統一旦擴展到多模態，這條協作邊界很容易變得模糊：一次模型結構改動可能要求重寫 stage 劃分和 send/recv 邏輯，系統側的優化也可能反過來侵入模型代碼。如果算法工程師每次 scale up 都要理解 PP runtime，BigMac 仍然不是一個好用的訓練系統。BigMac 的第二個關鍵能力，就是對算法工程師無感的流水并行接口。

圖 5：BigMac 的 pipeline-parallelism-transparent 接口示意。算法工程師描述模塊邊界，BigMac 在底層處理 schedule、handoff 和通信。

在這個接口下，算法工程師只需要說明每個模塊生產什么、消費什么；BigMac 負責把這些模塊接入全局 schedule，并在底層處理 pipeline stage、activation handoff、gradient handoff 和跨設備通信。換句話說，BigMac 讓一個已經在單卡或 data-parallel 環境中驗證過的多模態實驗，可以更自然地擴展到 pipeline-parallel training。

3. 用 schedule-aware 工具鏈定位瓶頸

BigMac 的最后一個關鍵能力，是一套理解 schedule 結構的 profiler、simulator 和可視化工具鏈。對于大規模多模態流水并行訓練來說，性能問題很少能只靠 iteration time 或幾行日志定位：bubble 可能來自某個慢 microbatch，可能來自 encoder/generator 的運行時間波動，也可能來自一次 activation handoff、gradient handoff 或跨 rank 通信等待。工程同學真正需要的是把一次訓練 iteration 拆回 operator 級別，看清楚每個 rank 在每個時間點到底在執行什么、哪里空轉、哪個依賴正在阻塞后續計算。

圖 6：傳統性能排查通常需要下載并手動關聯多個 rank 的重型 trace；BigMac PP profiler 將這些信息整理成 schedule-aware 的 pipeline 診斷流程。

BigMac executor 會記錄每個 operator 的執行時間，并導出 per-rank timeline /trace，如圖 7 所示。通過這個 trace，工程同學可以直接觀察 encoder forward/backward、LLM forward/backward、generator forward/backward 和通信操作在不同 rank 上如何交錯執行，從而判斷 pipeline bubble 是由 compute imbalance、communication wait、模塊 handoff，還是不合適的 microbatch grouping 引起的。

圖 7：由 per-operator 執行時間生成的 pipeline trace 示例。

團隊也提供了一個可交互查看的 PP Profiler trace example（https://github.com/Dots-Infra/BigMac/blob/main/assets/pp_profiler_example.json）。下載后可以直接在 Perfetto UI（https://ui.perfetto.dev/）中打開，觀察不同 rank、不同 operator 之間的時間線和依賴關系。

在 profiler 之外，BigMac 還提供 simulator 來支持更快的并行策略迭代。Profiler 告訴當前訓練為什么慢；simulator 在啟動下一次昂貴訓練任務之前，先嘗試不同的 PP/VPP 配置、microbatch 數量、模塊放置和 scheduling policy，預估它們對 bubble 和吞吐的影響。這樣，并行策略優化就不再完全依賴大規模訓練試錯，而可以先在 schedule 層面完成快速探索。

實驗結果

團隊在兩個代表性多模訓練負載（MLLM-Understanding 和 MLLM-Generation）上評估 BigMac。

MLLM-Understanding 代表多模態理解訓練，這個負載使用 Qwen3-30B-A3B 作為 LLM backbone，并使用一個 1.3B 參數的 ViT encoder。相比計算高效 baseline Optimus，BigMac 實現了 1.08x-1.1x 的訓練加速；相比顯存高效 baseline Megatron-DistTrain，實現了 1.6x-1.9x 的訓練加速。相比 Megatron-DistTrain 的加速來自消除跨模塊 pipeline 干擾。相比 Optimus 的優勢更微妙：BigMac 避免了 activation 顯存壓力，而這種壓力會隨著 global batch size 增大讓計算高效設計越來越昂貴。

圖 8：MLLM-Understanding 訓練負載上的整體性能。

顯存趨勢和速度提升同樣重要。隨著 per-GPU batch size 增加，BigMac 的 peak memory 保持穩定，類似顯存高效 baseline。相比之下，Optimus 會在 LLM pipeline 期間保留 encoder activation；它的顯存使用快速增長，并最終在更大的 batch size 下 OOM。

MLLM-Generation 代表同時包含理解和生成路徑的訓練，團隊使用相同的 LLM 和 encoder，但增加了一個 20B 參數的 MMDiT generator。在這個負載上，差異變得更加明顯。Generator 會讓計算高效設計更難擴展，因為 LLM activation 可能需要一直保留到 generator computation 完成。在論文實驗中，Optimus 在 MLLM-Generation 負載的所有測試 batch size 上都會 OOM。BigMac 通過及時運行 generator backward 并快速釋放 generator 側 activation 避免了這個問題。

圖 9：MLLM-Generation 訓練負載上的整體性能。

相比 Megatron-DistTrain，BigMac 在 MLLM-Generation 負載上實現了 1.5x-1.9x 的訓練加速，同時保持穩定顯存使用。這正是 nested pipeline 最有價值的場景：系統必須同時處理 encoder 和 generator 依賴，但又不能承受大量 activation retention 或嚴重 pipeline bubble。

總結

多模態大模型訓練的難點，并不只是模型更大或數據更復雜，而是不同模態模塊把流水線訓練限制在了一個尷尬的帕累托前沿內。BigMac 的核心是打破這個前沿，它保留 LLM pipeline 作為穩定主干，只在依賴滿足且不打亂 LLM 執行順序的位置嵌入 encoder 和 generator 計算。這樣，系統既能維持 LLM 流水的計算效率，又能盡早釋放模態模塊的 activation。

更重要的是，BigMac 不只給出一個 schedule，還把 schedule 變成可見、可檢查、可執行的全局計劃，并配套 PP-transparent 接口和 schedule-aware 工具鏈，讓這一設計真正進入可開發、可調試、可部署的訓練系統。

多模態模型打開了新的能力邊界，訓練系統需要補上另一半：結構各異的模塊能夠在大規模 GPU 集群中高效協作，模型架構創新不再頻繁受制于顯存壓力和流水線利用率。BigMac 拆掉了其中一道關鍵約束，它驗證了一種可能：計算效率和顯存效率之間的沖突，并不是只能通過犧牲一方來換取。

作者簡介

楊程旭

小紅書 dots infra 組工程師，博士畢業于北京大學計算機學院，曾在 TOSEM、TMC、FSE、WWW 等頂級會議 / 期刊發表論文 4 篇。

主要研究方向：多模訓練、分布式訓練框架

章梓立

小紅書 dots infra 組實習生，北京大學計算機學院在讀博士生，在 OSDI、NSDI、sigcomm 等系統領域頂級會議 / 期刊發表 9 篇論文。

主要研究方向：分布式系統、多模態模型

銘曦

小紅書 dots infra 組工程師，碩士畢業于卡內基梅隆大學，主要從事多模態模型，生成模型端到端訓練性能分析和優化工作。

主要研究方向：多模 / 生成訓練，分布式訓練框架

團隊介紹

dots infra 是小紅書內部負責支撐 dots 系列大模型的工程團隊。團隊業務覆蓋大模型 infra 的核心場景，包括文本 / 多模理解大模型的預訓練、多模生成模型的預訓練、通用 / 應用等方向后訓練、dots 系列模型的推理服務、data infra、模型 codesign 等多個方向。這里有硬核且純粹的工程師團隊，成員擁有頂級技術背景（多篇系統頂會、OI 選手 / ICPC world final），日常討論技術氛圍濃厚；還有行業內最頂級的施展空間，包括世界級算力規模、全棧自研技術棧、千萬級 DAU 戰場、Deep Co-design 機會。

這種工程體系成為了 dots 系列模型持續突破的基礎。在上周剛剛結束的第 67 屆國際數學奧林匹克競賽（IMO 2026）上，「dots-note-3.0」內部版本在全部六道題中均獲得滿分 7 分，取得了滿分金牌成績（42/42 分）。而在這屆比賽中，全球僅有 7 位人類選手獲得滿分。

詳細解決方案參考：https://studio-dots-ai.github.io/dots_imo_2026/en.html

熱招崗位速覽

• 訓練框架

負責 LLM / 多模態訓練框架的研究與開發，優化分布式 RL 訓練吞吐，處理長序列 / 推理 / CLI Agent 任務

• 算子優化

深入 CUDA/CuteDSL/TileLang 底層，攻克性能瓶頸（如 FlashMLA、Mega Kernel、低精度算子、通信計算重疊優化）

• 推理引擎

打造高并發、低延遲的推理架構，優化 PD/AF 分離 schedule、解耦架構及動態資源調度

• 數據工程

詳負責支撐 dots（LLM / 多模態 / Agentic）訓練與對齊所需的超大規模數據工程體系，覆蓋從 數據生產、清洗、存儲、調度、分布式讀取到質量閉環的全鏈路。

招聘官網

https://job.xiaohongshu.com/social/position/14633