機(jī)器人也開始修煉「見聞色」，星塵智能發(fā)布具身基座模型 Lumo-2，讓動(dòng)作更快更準(zhǔn)了

7 月 15 日，具身智能創(chuàng)業(yè)企業(yè)星塵智能發(fā)布第二代具身基座模型 Lumo-2，以及面向長(zhǎng)期人機(jī)共處的物理 AI 智能體 Philia。

在星塵智能的技術(shù)框架中，這兩項(xiàng)發(fā)布分別對(duì)應(yīng)「AI 模型」與「具身 OS」，再與其繩驅(qū)機(jī)器人本體結(jié)合，構(gòu)成公司所強(qiáng)調(diào)的「AI 模型—具身 OS—繩驅(qū)本體」三層體系。在這個(gè)體系中，具身基座模型 Lumo-2 試圖改善機(jī)器人理解物理變化、預(yù)測(cè)未來并生成動(dòng)作的能力，物理 AI 智能體 Philia 則負(fù)責(zé)把模型、記憶、交互、導(dǎo)航和多個(gè)機(jī)器人組織成一套長(zhǎng)期運(yùn)行的系統(tǒng)。

鑒于具身智能技術(shù)多少有點(diǎn)晦澀，這里不妨打個(gè)比方：在動(dòng)漫作品《海賊王》里，有一項(xiàng)能力叫「見聞色霸氣」，這種能力可以幫助使用者感知其他的存在、情緒與行動(dòng)意圖；更高級(jí)的使用者甚至可以看到短暫的未來。

Lumo-2 這個(gè)模型的核心不同，有點(diǎn)類似于「見聞色」，能夠根據(jù)當(dāng)前的視覺觀察，機(jī)器人自身狀態(tài)，語言指令和過去一段時(shí)間的動(dòng)作歷史，來推測(cè)動(dòng)作目標(biāo)最可能出現(xiàn)的物理變化，做概率性的短期物理預(yù)測(cè)，進(jìn)而幫助動(dòng)作的執(zhí)行。

在行動(dòng)之前，先預(yù)測(cè)世界會(huì)怎樣變化

星塵智能將 Lumo-2 稱為「家庭隱式世界—?jiǎng)幼髂Ｐ汀梗⑽臑?Latent World-Action Model。

從實(shí)際展示來看，Lumo-2 覆蓋了超過 22 項(xiàng)家庭任務(wù)，包括接住滾落的球、將杯子放到旋轉(zhuǎn)杯架上、煎雞蛋并顛鍋翻面、稱取 500 克小米、磨粉制作咖啡、調(diào)制飲品、給禮盒打蝴蝶結(jié)、整理行李箱并拉上拉鏈、熨燙和懸掛衣服等。

這些任務(wù)看起來都屬于「家務(wù)」，對(duì)機(jī)器人能力的要求卻并不相同。

接球和抓取滾動(dòng)雞蛋需要理解物體運(yùn)動(dòng)趨勢(shì)；倒水、煎蛋和洗碗要求判斷任務(wù)進(jìn)行到了哪個(gè)階段；行李裝箱和制作咖啡包含較長(zhǎng)的動(dòng)作鏈條；蝴蝶結(jié)、拉鏈、茶包等任務(wù)，則對(duì)雙手協(xié)調(diào)和精細(xì)控制提出了更高要求。

傳統(tǒng) VLA 模型（視覺--語言--動(dòng)作模型）通常根據(jù)視覺觀察和語言指令直接輸出動(dòng)作。機(jī)器人看到杯子，收到「把水倒進(jìn)茶壺」的指令，模型便生成機(jī)械臂接下來的一段軌跡。

這種技術(shù)方案也比較成熟，不過也容易產(chǎn)生一種「反射式」局限：模型學(xué)習(xí)了某種視覺輸入通常對(duì)應(yīng)什么動(dòng)作，卻不一定明確理解，這個(gè)動(dòng)作將令環(huán)境發(fā)生怎樣的變化。

Lumo-2 會(huì)在觀察與動(dòng)作之間加入了一層「潛在世界動(dòng)態(tài)」，模型先在壓縮的隱空間中預(yù)測(cè)與任務(wù)有關(guān)的未來變化，再根據(jù)這份未來變化生成動(dòng)作。

這個(gè)預(yù)測(cè)并非生成一段完整視頻，因?yàn)橥暾囊曨l預(yù)測(cè)需要重建大量像素，其中包括背景、光線、紋理等與控制關(guān)系有限的信息，需要的算力成本也相對(duì)較高。Lumo-2 試圖保留的預(yù)測(cè)是與行動(dòng)有關(guān)的物理變化，例如物體將向哪里移動(dòng)、容器是否仍在傾倒、手與物體將發(fā)生怎樣的接觸，以及任務(wù)即將進(jìn)入哪個(gè)階段。

可以把它理解為一份面向行動(dòng)的「未來草稿」。

這讓 Lumo-2 位于 VLA 和完整視頻世界模型之間：它保留了世界模型「先預(yù)測(cè)后行動(dòng)」的思路，又將預(yù)測(cè)限制在更輕量、更接近控制需求的潛在空間里，星塵智能發(fā)表的論文將這一過程稱為 latent reasoning 隱式推理。

星塵智能的上一代 Lumo-1 更多依賴顯式文本推理，將復(fù)雜任務(wù)拆成文字步驟。文本規(guī)劃便于解釋，不過文字有自身的局限性，很多信息無法通過文字精準(zhǔn)描述，面對(duì)快速連續(xù)控制時(shí)卻存在推理延遲和表達(dá)容量上的限制。Lumo-2 將這部分推理轉(zhuǎn)移到隱空間，希望在減少 token 生成的同時(shí)，捕捉更加連續(xù)的時(shí)空變化。

在倒水任務(wù)中，Lumo-2 的優(yōu)勢(shì)可以直觀體現(xiàn)，因?yàn)橥该鞯乃钩鲋昂偷雇曛螅瑔螏瑘D像可能非常相似；機(jī)器人只看當(dāng)前畫面，很難判斷應(yīng)該繼續(xù)傾倒，還是將容器放回桌面。

Lumo-2 因此引入一段短期動(dòng)作歷史，讓模型結(jié)合此前做過什么，判斷當(dāng)前處于哪個(gè)階段。這相當(dāng)于為策略增加一種緊湊的「動(dòng)作記憶」，避免單幀觀察造成的狀態(tài)混淆。

Lumo-2 的另一項(xiàng)關(guān)鍵變化，是重新處理動(dòng)作表征。機(jī)器人動(dòng)作通常是一組連續(xù)信號(hào)，例如機(jī)械臂位姿、旋轉(zhuǎn)角度、速度和夾爪開合程度。過去不少模型會(huì)將這些信號(hào)壓縮成動(dòng)作 token，訓(xùn)練目標(biāo)主要是盡可能準(zhǔn)確地還原原始軌跡。

但星塵智能認(rèn)為，動(dòng)作還原得準(zhǔn)確，并不必然意味著實(shí)際控制效果更好。

一個(gè)動(dòng)作編碼器可能非常擅長(zhǎng)保存低層信號(hào)細(xì)節(jié)，卻沒有理解動(dòng)作與物體、任務(wù)和語言之間的關(guān)系。模型在訓(xùn)練集上的重建誤差很低，真正進(jìn)入新環(huán)境后仍可能表現(xiàn)不穩(wěn)定。

這就是為什么一些具身智能機(jī)器人在實(shí)驗(yàn)室或者固定場(chǎng)景的演示里表現(xiàn)優(yōu)異，但進(jìn)入到了真實(shí)家庭或者工廠場(chǎng)景就不知所措的原因。
為此，Lumo-2 采用三階段漸進(jìn)式訓(xùn)練。

第一階段先讓動(dòng)作與視覺世界變化對(duì)齊。模型同時(shí)觀察前后兩個(gè)時(shí)刻的畫面和對(duì)應(yīng)動(dòng)作，從視覺變化中篩選與物理運(yùn)動(dòng)有關(guān)的信息，并用動(dòng)作反過來約束視覺表示。這樣可以減少光照變化、背景擾動(dòng)等無關(guān)因素對(duì)世界動(dòng)態(tài)表示的影響。

第二階段將動(dòng)作進(jìn)一步與視覺和語言對(duì)齊。動(dòng)作 token 除了記錄位移、旋轉(zhuǎn)和夾爪狀態(tài)，還需要逐漸具有「拿起杯子」「繼續(xù)傾倒」「將物品放入背包」等語義關(guān)系。訓(xùn)練任務(wù)包括動(dòng)作描述、動(dòng)作預(yù)測(cè)、世界動(dòng)態(tài)預(yù)測(cè)，以及判斷動(dòng)作與當(dāng)前視覺和指令是否匹配。

第三階段再把視覺語言數(shù)據(jù)、互聯(lián)網(wǎng)視頻、第一人稱人類視頻和機(jī)器人數(shù)據(jù)放在一起聯(lián)合訓(xùn)練，讓模型同時(shí)學(xué)習(xí)世界知識(shí)、物理變化和動(dòng)作生成。

這套流程背后的判斷邏輯是：動(dòng)作應(yīng)當(dāng)和圖像、語言一樣，被當(dāng)作基座模型中的一種核心模態(tài)，而不是在視覺語言模型末端臨時(shí)增加的輸出接口。

為滿足實(shí)時(shí)控制需要，Lumo-2 還采用分塊自回歸生成，一次預(yù)測(cè)一組動(dòng)作 token，而非逐個(gè)生成。Lumo-2 的技術(shù)論文顯示，在單張 RTX 5090 上，其端到端延遲由約 253.66 ms 降至 93.53 ms。

在實(shí)驗(yàn)中，團(tuán)隊(duì)將真實(shí)任務(wù)劃分為時(shí)序推理、物理理解、動(dòng)態(tài)場(chǎng)景、長(zhǎng)流程、高精度和靈巧操作等類別。根據(jù)論文數(shù)據(jù)，Lumo-2 在這些任務(wù)中整體優(yōu)于 π0.5 和 Fast-WAM 等基線；在未見語言指令和未見物體條件下，也表現(xiàn)出更高的任務(wù)成功率。

具身智能開始進(jìn)入「系統(tǒng)工程」階段

具身基座模型 Lumo-2 解決的是機(jī)器人怎樣完成任務(wù)，物理 AI 智能體 Philia 關(guān)注的點(diǎn)是用戶在使用具身智能機(jī)器人時(shí)怎么獲得良好的體驗(yàn)。
雖然具身智能技術(shù)還在探索期，幾乎沒有什么 C 端用戶，考慮用戶體驗(yàn)還為時(shí)過早，但未雨綢繆嘛，先考慮的有先發(fā)優(yōu)勢(shì)。

目前多數(shù)機(jī)器人仍然圍繞單次技能調(diào)用設(shè)計(jì)，用戶通過特定 App 或控制臺(tái)下發(fā)命令，一臺(tái)機(jī)器人對(duì)應(yīng)一套軟件和賬戶，執(zhí)行結(jié)束后，系統(tǒng)對(duì)用戶偏好、歷史任務(wù)和其他機(jī)器人通常沒有連續(xù)認(rèn)知。

Philia 希望將機(jī)器人重新定義為一個(gè)智能助理能夠調(diào)用的「物理執(zhí)行者」。

用戶可以觸達(dá)的最上層是飛書、微信、語音和網(wǎng)頁等用戶界面；中間層是 Agent 控制平面，負(fù)責(zé)理解意圖、調(diào)用記憶、拆解任務(wù)、選擇機(jī)器人和匹配能力；底層則是每臺(tái)機(jī)器人的本地運(yùn)行時(shí)，負(fù)責(zé)感知、導(dǎo)航、模型推理、軌跡執(zhí)行和安全控制。

在這個(gè)結(jié)構(gòu)中，Agent 決定「做什么」，機(jī)器人本地系統(tǒng)負(fù)責(zé)「怎樣做」。

連接兩者的關(guān)鍵，是 Robot Gateway，也就是機(jī)器人網(wǎng)關(guān)。每臺(tái)機(jī)器人通過網(wǎng)關(guān)公開一組標(biāo)準(zhǔn)能力，例如觀察場(chǎng)景、執(zhí)行操作、導(dǎo)航、播報(bào)、查詢狀態(tài)和取消任務(wù)。

這種設(shè)計(jì)與軟件 API 類似：底層實(shí)現(xiàn)可以持續(xù)替換，只要對(duì)外接口保持穩(wěn)定，上層交互、記憶和任務(wù)系統(tǒng)便不需要重新開發(fā)。
例如，用戶在飛書中說「把玩具裝進(jìn)書包」，智能體 Philia 可以先確定哪臺(tái)機(jī)器人具備對(duì)應(yīng)能力，再調(diào)用本地部署的 Lumo-2 背包裝填策略。未來

模型升級(jí)后，只需替換底層策略，用戶面對(duì)的助理身份和交互方式仍然保持連續(xù)。

長(zhǎng)期記憶是 Philia 與普通機(jī)器人控制系統(tǒng)的重要區(qū)別。比如說，用戶此前告訴系統(tǒng)，自己早餐通常吃三明治和濃縮咖啡，之后用戶只需說「把我平時(shí)早餐吃的食物放進(jìn)托盤」，Philia 便可以從記憶中找到相關(guān)偏好，再結(jié)合機(jī)器人當(dāng)前看到的桌面，選擇三明治作為目標(biāo)。

Philia 還支持將多臺(tái)機(jī)器人組織在同一個(gè)助手身份下。用戶可以同時(shí)下達(dá)「Alice 整理桌面，Bob 提起垃圾袋」這樣的命令，系統(tǒng)分別解析機(jī)器人名稱、能力和任務(wù)，將指令發(fā)送給不同網(wǎng)關(guān)，并獨(dú)立追蹤執(zhí)行狀態(tài)。

從用戶視角看，自己始終在和同一個(gè)助理交流；多臺(tái)機(jī)器人相當(dāng)于這個(gè)助理能夠調(diào)用的不同身體。這種統(tǒng)一身份和多本體設(shè)計(jì)，比「每臺(tái)機(jī)器人擁有一個(gè)獨(dú)立 App」更接近未來家庭設(shè)備生態(tài)，也意味著智能體可能逐漸從單個(gè)硬件中脫離出來，成為跨設(shè)備存在的服務(wù)層。

Lumo-2 與 Philia 同時(shí)發(fā)布，呈現(xiàn)了兩條相互補(bǔ)充的技術(shù)路線。

Lumo-2 繼續(xù)向下深入：研究機(jī)器人如何通過隱式世界動(dòng)態(tài)理解物理變化，利用更多數(shù)據(jù)，并生成更穩(wěn)定的動(dòng)作。

Philia 則向上擴(kuò)展：研究怎樣將操作模型、導(dǎo)航、記憶、交互和多臺(tái)機(jī)器人整合為一個(gè)能夠長(zhǎng)期服務(wù)用戶的系統(tǒng)。

如果以智能手機(jī)為例的話，一部智能手機(jī)的使用體驗(yàn)，一方面是硬件水平，性能好不好，屏幕靚不靚，影像強(qiáng)不強(qiáng)；另一方面是系統(tǒng)優(yōu)化，流暢與否，省不省電，聰不聰明等等。

星塵智能發(fā)布的兩個(gè)技術(shù)成果大概就是分別對(duì)應(yīng)模型能力與系統(tǒng)體驗(yàn)，也就是說，起碼在技術(shù)上，具身智能開始進(jìn)入「系統(tǒng)工程」階段，機(jī)器人進(jìn)入家庭，一段漂亮的演示視頻已經(jīng)遠(yuǎn)遠(yuǎn)不夠打動(dòng)人了，一套可以持續(xù)升級(jí)、可以被打斷、能夠記憶，也能夠?qū)φ鎸?shí)世界負(fù)責(zé)的完整系統(tǒng)才是準(zhǔn)入門檻。