騰訊發布兩大具身智能基座模型，VLM&RxBrain讓機器人更懂現實世界

7 月 15 日，騰訊 Robotics X 實驗室以及福田實驗室聯合騰訊混元推出兩款具身智能基座模型 —— 具身 VLM 基座模型 Hy-Embodied-VLM-1.0 以及 具身世界認知基座模型 Hy-Embodied-RxBrain-1.0，不僅讓具身大腦能夠 “看” 懂現實世界，還學會同時推理和想象。

Hy-Embodied-VLM-1.0 是騰訊推出的第二代具身 VLM 基座模型，從物理空間狀態理解、動作 - 變化理解、時序和自適應推理三個層次構建模型能力維度，增強了場景感知、行動分析規劃、導航等面向具身 agent 的多模態理解能力。新版依托最新混元 A3B 基座開發，通過增訓大規模具身數據，在擴充的 37 個評測任務上以 1/10 的計算量達到了和上一代 A32B 旗艦具身模型可比的效果，為高性能端側模型的開發提供了新基座。

Hy-Embodied-RxBrain-1.0 是一個具身世界認知基座模型，對世界理解、推理規劃、行動后果預測等統一建模，依托 Hy-Embodied-VLM 基座開發，基于 5w+ 小時高質量具身數據訓練，在一個模型中實現文本、圖像、視頻以及圖文交錯形式的統一理解與生成，將具身認知推理、行動規劃和目標狀態想象轉化為更清晰、更稠密的多模態 Condition，為下游動作模型提供高層指導。在同尺寸模型中形成差異化領先能力，為具身 Agent 的上層認知決策和下游動作生成都提供了新的基礎模型支撐。

目前，這兩個模型均已開源，開發者可以直接在開源社區下載部署。

模型開源地址：

【Hy-Embodied-VLM-1.0】

• https://github.com/Tencent-Hunyuan/HY-Embodied
• https://huggingface.co/tencent/Hy-Embodied-VLM-1.0

【Hy-Embodied-RxBrain-1.0】

• https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0
• https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0

一、Hy-Embodied-VLM-1.0：優化 “理解 — 行動 — 適應” 閉環

Hy-Embodied-VLM-1.0 的設計理念是優化具身智能體在真實物理世界中的 “理解 — 行動 — 適應” 閉環，構建分層遞進的能力體系。

首先，模型能夠識別物體、屬性、深度與空間關系，理解機器人視角、功能部件、可操作區域及環境可供性，形成與當前任務相關的物理世界狀態表征。進一步地，模型可結合人機交互語義、目標對象與任務約束，完成下一步動作選擇、目標與軌跡定位，并判斷空間前置條件、動作可執行性及其局部物理影響。面向長時程任務，模型還具備多步規劃、視覺語言導航、歷史與空間記憶、失敗診斷、反事實分析和動態重規劃能力，可依據目標、執行進度與環境反饋持續修正決策，實現從場景理解、局部因果推理到長期自適應執行的完整能力覆蓋。

特別的是，基于這一能力類目體系，騰訊 Robotics X 實驗室和混元團隊構建了高質量的 mid-train 與 post-train 數據，系統增強基座模型面向物理世界智能體的核心能力。其中，mid-train 階段匯聚超過 1800 萬條問答數據，重點覆蓋狀態理解、動作轉移與復雜推理；post-train 階段進一步構建約 4.8 萬條高質量指令數據，強化計數、空間關系、交互理解、動作可行性、目標定位、規劃導航與反思糾錯等能力。通過分階段、分層次的數據訓練，模型逐步形成從 “理解環境狀態” 到 “預測動作影響”，再到 “長期規劃與動態調整” 的完整智能體能力鏈路。

在覆蓋 37 個評測任務的具身能力評測體系中，Hy-Embodied-VLM-1.0 在物理狀態理解、動作 — 變化推理、時序與自適應推理三大維度分別取得 68.6、64.1 和 57.4 分，綜合平均得分達到 65.6。僅采用 A3B 規模，模型整體性能已接近上一代 A32B 旗艦模型，并顯著優于同等規模的 Qwen3.6-A3B、Cosmos 3-A8B、Embodied-R1 通用與具身模型；其中，在更具挑戰的動作轉移推理和長時序自適應推理任務上表現尤為突出，驗證了分層能力體系與高質量 mid-train、post-train 數據對智能體能力的有效增強。

二、Hy-Embodied-RxBrain-1.0：讓具身大腦同時 “會推理” 與 “會想象”

機器人進入開放環境后，不僅需要知道 “下一步做什么”，還需要理解 “為什么這樣做” 以及 “完成后世界應該變成什么樣”。

當前具身智能主要沿兩條路線發展：

• 具身 VLM/VLA 擅長場景理解、任務分解與語言推理，但目標物理狀態通常是隱式的，往往還需要額外的世界模型或價值模型判斷執行結果
• 基于視頻生成模型的 World Model 擅長預測未來觀測和狀態變化，但較難顯式表達任務邏輯、約束條件與長程決策依據

Hy-Embodied-RxBrain-1.0 并非簡單拼接語言模型與圖像生成器，而是讓文本推理與視覺想象圍繞同一個任務目標，在一條連續認知序列中協同發生。

其中，語言負責表達任務分解、行動邏輯、約束與決策；視覺目標圖像負責描述每一步應達到的中間狀態和最終狀態。二者共同為下游動作模型提供更完整的條件：

• 語言計劃支持任務理解與動作選擇
• 目標圖像可作為 goal-conditioned policy、逆動力學模型或動作解碼器的視覺目標
• 實際觀測與目標圖像之間的差異，可用于進度判斷、失敗檢測與重規劃

Hy-Embodied-RxBrain 在統一模型中支持多種具身任務，包括具身視覺問答、多幀視覺生成，以及結合視覺目標想象的文本推理。給定人類指令和視覺觀測，模型能夠對當前場景進行推理，想象未來狀態或目標狀態，并為具身交互生成逐步的視覺結果。

同樣的，Hy-Embodied-RxBrain-1.0 的研發過程中，也構建了高質量的 pre-train 與 mid-train 數據：

• 超過 5 萬小時高質量具身數據

在預訓練階段，RxBrain 使用共計 50,177 小時操作數據，包括： 第一視角及 UMI 數據：31,568 小時； 真實機器人數據：17,292 小時； 仿真數據：1,317 小時。

其中開源數據為 28,597 小時，占比約 57%。所有數據均經過質量篩選，過濾無意義動作、狀態變化不明確及不適合做視覺想象的樣本。

此外，團隊進一步設計了自動視頻分割與標注流水線，將無標注長視頻轉換為帶有動作描述、起止狀態和時間邊界的原子動作序列。

基于標注后的動作序列，團隊構建了約 2.1 億條訓練樣本，覆蓋四種粒度：

• L0：連續動作狀態想象；
• L1：原子動作規劃；
• L2：高層子任務規劃；
• L3：最終目標狀態想象。

在 mid-training 階段，進一步加入 3,500 萬條具身能力數據，覆蓋空間推理、多視角理解、因果推斷、視覺定位、行為規劃、三維感知、錯誤分析和多模態生成等任務，并在推理過程中引入輔助視覺想象，使模型逐步獲得從場景認知到長程規劃的綜合能力。

現有具身評測通常將視覺理解、具身推理和未來預測分別測試，但真正的具身規劃需要模型同時表達 “做什么” 以及 “完成后應達到什么狀態”。

為了更好的衡量模型能力，研究團隊還與機器人行業合作伙伴構建了 RxBrain-Bench，包括三個遞進任務：

• Embodied VQA：1,381 組問答，評價場景理解、任務規劃、異常恢復和任務完成判斷
• Embodied World State Prediction：1,116 個樣本，評價短時未來狀態預測
• Joint Subgoal Planning：3,640 個樣本，評價模型自由滾動生成 “文本子任務 — 視覺目標狀態” 交錯序列的能力

在 RxBrain-Bench 的核心任務 —— 聯合具身規劃上，RxBrain 在完全自由滾動的評測設置中取得 0.68 的綜合規劃得分。相比之下，基于 Cosmos3-Nano 構建的 Agent 得分為 0.521，統一圖文模型 BAGEL-7B-MoT 為 0.503，而由 Qwen3-VL-2B 與 Qwen-Image-Edit 組合而成的模塊化 Qwen-Agent 得分為 0.431。

這一結果說明，將文本推理與視覺目標生成簡單地串聯起來，并不等于模型真正具備聯合規劃能力。模塊化系統容易在多步執行過程中出現語言重復、圖像與計劃脫節以及視覺狀態持續漂移等問題。RxBrain 則在同一個上下文中交替生成子任務文本和目標圖像，并將上一輪生成結果重新納入后續規劃，因此在觀察理解、子任務規劃、文本 — 圖像一致性和完整任務鏈生成等指標上均領先于對比模型。

從具體能力來看，RxBrain 在觀察理解和子任務規劃上的得分分別達到 0.83 和 0.78，說明模型能夠較好地理解當前狀態，并將長程目標拆解為合理步驟。目標圖像正確性得分為 0.52，說明視覺想象仍是當前的主要性能瓶頸。且隨著自由滾動步數增加，綜合得分由兩步規劃時的 0.69 逐漸下降到八步時的 0.55。這表明，如何進一步提升目標圖像的單幀質量，并降低長程視覺想象過程中的誤差累積，是模型下一階段重點優化的方向。

在短時未來視頻生成任務上，RxBrain 獲得 0.62 的綜合得分，顯著高于通用視頻生成模型 Wan2.2-TI2V-5B 的 0.429，并與專門面向具身世界建模的 Cosmos3-Nano 的 0.591 接近。值得注意的是，Cosmos3-Nano 是基于更大規模視頻數據訓練的專用世界模型，而 RxBrain 需要在同一個模型中兼顧文本推理、視覺理解、圖像生成和交錯規劃。結果說明，統一具身大腦不僅能夠生成任務計劃，也能夠達到接近專用世界模型的短時未來預測能力。

具體來看，RxBrain 在動作正確性和觀察連續性上的得分分別為 0.65 和 0.62，能夠較好地保持場景布局，并表現出指令要求的物體狀態變化；當前相對較弱的是時間與物理合理性，得分為 0.53。這也意味著，相比 “下一步應該發生什么”，模型對 “動作過程應該如何連續發生” 的建模仍有提升空間。

此外，開源 Benchmark 評測結果顯示，RxBrain 在約 6.2B 參數規模下，兼具開放域圖像生成與具身空間理解能力。

在文生圖評測 GenEval 上，RxBrain 得分 82.4，與生成專用模型 BAGEL 的 82 分相當，高于 Cosmos3-Nano 的 71.68 分。

在具身與空間理解方面，RxBrain 在 CV-Bench 上取得 88.59、EmbSpatial 取得 82.3、DA-2k 上取得 83.4；在 3DRS-Bench、MMSI-Bench、MindCube 和 SITE-Bench-Image 等多視角與三維理解評測中取得最優結果，并在機器人軌跡預測及空間配置理解任務中保持領先。

這表明，RxBrain 并未以犧牲語言理解和具身推理為代價換取視覺生成能力，而是在統一模型中同時保留兩類能力。

https://mp.weixin.qq.com/s/r3WWKJYJ7xH0QXCWhZXe1Q

研究團隊進一步開展了真機驗證，覆蓋擺放餐具、折疊并收納眼鏡、丟垃圾等三個多階段操作任務。這些任務同時涉及順序執行、空間擺放、精細鉸接物體操作、容器交互和跨平臺部署，能夠較為全面地驗證模型在真實機器人系統中的執行能力。

在 DOBOT X-Trainer 和 方舟無限 A5 兩類機械臂本體上，模型在 Set the Table 、Fold and Store Glasses 和 Pick Trash 上分別取得 97%、95% 和 68% 的成功率，平均成功率達到 87%；相比之下，π0 和 π0.5 的平均成功率分別為 68% 和 82%。結果表明，從視覺生成專家中復用世界狀態預測和規劃表征，能夠有效提升動作分支在多階段機器人操作中的執行可靠性。

這項實驗也進一步驗證了 RxBrain 的核心設計：視覺想象并不是模型最終輸出中的附加展示內容，而是可以被動作模型實際利用的中間認知表示。通過語言步驟、視覺目標與動作預測之間的聯合建模，模型開始形成從場景理解、任務規劃、目標狀態想象到動作執行的完整鏈路。

三、推動具身智能大腦持續進化

從數字世界到物理世界，我們正在教會機器如何理解并感知這個復雜的世界。Hy-Embodied-VLM-1.0 和 Hy-Embodied-RxBrain-1.0 的發布，標志著騰訊 Robotics X、福田實驗室與混元團隊的深度融合邁入新階段 —— 這不僅是模型的迭代，更是對具身智能 “皇冠上的明珠” 的一次有力叩擊。

回首過往半年，我們在 VLM/VLA 及具身智能體的研發征途上步履不停，不斷探索智能的邊界。2026 WAIC 在即，我們將揭開更多關于 “物理 AI” 的未來想象，讓技術不僅有深度，更有溫度。