這屆WAIC，機(jī)器人的“記憶短板”，被一家國(guó)產(chǎn)大模型獨(dú)角獸打破了

在今年世界人工智能大會(huì)（WAIC）的機(jī)器人展區(qū)，如果稍加留意，會(huì)發(fā)現(xiàn)一個(gè)微妙的共性：越來(lái)越多的 VLA模型，都在嘗試讓機(jī)器人完成更長(zhǎng)的任務(wù)鏈條。

然而，在很多情況下，一旦任務(wù)步驟超過(guò)五六步，機(jī)器人的表現(xiàn)便會(huì)出現(xiàn)斷崖式下滑。

例如，假設(shè)讓機(jī)器人完成“點(diǎn)擊圖片中第二個(gè)按鈕5次”的任務(wù)，如果它搭載的VLA模型沒(méi)有任何前序視覺(jué)記憶，不知道什么時(shí)候按了5次，就會(huì)出現(xiàn)“按1次就停止”或“一直按不?！钡那闆r。

這背后，是一個(gè)長(zhǎng)期被行業(yè)低估的癥結(jié)：VLA模型在“下文記憶”與“實(shí)時(shí)推理成本”之間存在著根本矛盾。正是這個(gè)矛盾，讓長(zhǎng)程任務(wù)成了一道難以翻越的高墻。

但就在今天，這道墻被正面突破了。

WAIC 期間，面壁智能發(fā)布并開(kāi)源了首個(gè)具身智能系列成果——MiniCPM-Robot，其中包含通用VLA 模型 MiniCPM-RobotManip和跟蹤導(dǎo)航模型 MiniCPM-RobotTrack。這個(gè)參數(shù)量?jī)H有 1.3B 的模型，不僅穩(wěn)定完成了做三明治等長(zhǎng)程任務(wù)，更在專門考驗(yàn)上下文記憶能力的 RMBench 榜單上，對(duì) Qwen-VLA、π0.5 等知名模型實(shí)現(xiàn)了斷層式領(lǐng)先。

MiniCPM-Robot 的發(fā)布，也意味著面壁智能正在將自己積累的多模態(tài)技術(shù)，從數(shù)字世界有力地延伸向物理世界。

01.

VLA模型為什么記不住？

要理解 MiniCPM-Robot 系列模型的價(jià)值，首先要看清當(dāng)前具身智能的一個(gè)結(jié)構(gòu)性短板。

目前大多數(shù) VLA 模型的工作模式，本質(zhì)上是一種「反應(yīng)式」智能——它們基于機(jī)器人當(dāng)前看到的畫(huà)面和任務(wù)描述，直接輸出下一步動(dòng)作。至于剛才做了什么、周圍環(huán)境發(fā)生了哪些變化、任務(wù)已經(jīng)推進(jìn)到哪一步，這些歷史信息并不參與決策。換句話說(shuō)，機(jī)器人每一次推理都是一次“重新開(kāi)始”。

為什么不加入歷史觀測(cè)？答案很簡(jiǎn)單：計(jì)算量太大。

在機(jī)器人應(yīng)用場(chǎng)景中，VLA模型一般會(huì)以大約一秒幾次的速度進(jìn)行推理。每次推理時(shí)，機(jī)器人通常會(huì)接收到數(shù)張圖片和一段文本輸入，最后輸出一個(gè)可執(zhí)行的動(dòng)作。如果每次推理都要把過(guò)去幾秒、十幾秒的視覺(jué)信息全部帶上，Token數(shù)量會(huì)爆炸式增長(zhǎng)，推理速度急劇下降。最后的結(jié)果就是機(jī)器人會(huì)變得卡頓、遲緩和笨拙。

這個(gè)問(wèn)題的本質(zhì)，是大多數(shù)研究團(tuán)隊(duì)無(wú)法針對(duì)VLA做高效的視覺(jué)Token壓縮，使其用更少的Token去完成流式實(shí)時(shí)推理。這就形成了一個(gè)兩難：要么保留記憶但犧牲速度，要么保住速度但放棄記憶。絕大多數(shù)團(tuán)隊(duì)選擇了后者。

而面壁智能要做的，就是要突破這個(gè)行業(yè)局限。

02.

視覺(jué)Token極致壓縮：讓記憶不增加成本

先來(lái)說(shuō)說(shuō)這次發(fā)布的通用VLA 模型MiniCPM-RobotManip。

它的技術(shù)底座，是面壁智能今年5月發(fā)布的MiniCPM-V 4.6多模態(tài)大模型。這個(gè)僅1.3B參數(shù)的“小鋼炮”，在端側(cè)多模態(tài)領(lǐng)域擁有廣泛影響力，開(kāi)源僅兩個(gè)月下載量就突破200萬(wàn)。

MiniCPM-V 4.6采用面壁智能與清華大學(xué)聯(lián)合研發(fā)的LLaVA-UHD v4技術(shù)，通過(guò)創(chuàng)新的“ViT內(nèi)部視覺(jué)Token早壓縮”，在保證性能的前提下，將圖像編碼計(jì)算量銳減50%。模型首創(chuàng)了4倍/16倍混合Token壓縮模式，開(kāi)發(fā)者可以在高精度文檔解析場(chǎng)景選擇4倍壓縮，在實(shí)時(shí)交互場(chǎng)景切換到16倍壓縮。

這項(xiàng)技術(shù)的優(yōu)勢(shì)被完整繼承到了MiniCPM-RobotManip中。

效果是什么？VLA模型在處理流式視頻輸入時(shí)，圖片推理所需的Token數(shù)量被大幅壓低，推理速度顯著加快。更重要的是，MiniCPM-RobotManip在保留上下文記憶時(shí)的計(jì)算量，與不保留記憶時(shí)幾乎一樣低。這意味著記憶不再昂貴，實(shí)時(shí)性不再需要以犧牲記憶為代價(jià)。

從用戶體驗(yàn)的角度來(lái)看，這直接轉(zhuǎn)化為機(jī)器人操作的連貫性。推理速度快，意味著從「看到畫(huà)面」到「輸出動(dòng)作」的間隔足夠短，機(jī)器人完成做三明治這樣的長(zhǎng)程任務(wù)時(shí)，動(dòng)作銜接自然流暢，不會(huì)出現(xiàn)那種機(jī)械式思考停頓，這其實(shí)都是背后 Token 壓縮技術(shù)對(duì)每一幀畫(huà)面的精打細(xì)算。

在專門考驗(yàn)機(jī)器人模型上下文能力的RMBench（Robot Memory Benchmark）榜單上，MiniCPM-RobotManip達(dá)到了53.5分，而主流的π0.5只有10分，接近隨機(jī)的水平。在傳統(tǒng)榜單上，MiniCPM-RobotManip的性能同樣穩(wěn)居第一梯隊(duì)，與Qwen-VLA、π0.5等模型性能相近。

從“0分”到“53分”，差距不是漸進(jìn)式的優(yōu)化，而是從無(wú)到有的質(zhì)變。

03.

端到端純本地跟隨：MiniCPM-RobotTrack重新定義部署邊界

MiniCPM-Robot 系列的另一成員——MiniCPM-RobotTrack，則是一個(gè)專為跟蹤導(dǎo)航設(shè)計(jì)的端到端視覺(jué)指令跟隨模型。

它以 MiniCPM4-0.5B 為基礎(chǔ)模型，僅用 0.9B 參數(shù)規(guī)模，就在單目標(biāo)跟蹤、動(dòng)態(tài)多目標(biāo)跟蹤和模糊目標(biāo)跟蹤三項(xiàng)任務(wù)上取得了開(kāi)源方案最優(yōu)結(jié)果，追蹤率分別達(dá)到 89.8、73.4 和 80.4。相比開(kāi)源方案 OpenTrackVLA，三項(xiàng)指標(biāo)分別提升 7.0、14.6 和 6.5 個(gè)百分點(diǎn)。

更值得關(guān)注的是，MiniCPM-RobotTrack 是業(yè)內(nèi)首個(gè)提供真實(shí)本地純無(wú)網(wǎng)部署的 tracking 模型，原生適配宇樹(shù) Go2 Edu，開(kāi)箱即用。在電梯、停車場(chǎng)等弱網(wǎng)或無(wú)網(wǎng)環(huán)境下，機(jī)器狗依然能僅憑本地?cái)z像頭和端側(cè)算力，完成對(duì)指定目標(biāo)的持續(xù)跟蹤。

MiniCPM-RobotTrack 的另一項(xiàng)突破在于高質(zhì)量數(shù)據(jù)驅(qū)動(dòng)的自進(jìn)化數(shù)據(jù)管線。團(tuán)隊(duì)首次提出了面向具身追蹤的 DAgger 策略，讓模型先在通用場(chǎng)景廣泛學(xué)習(xí)，再在仿真和真實(shí)環(huán)境中持續(xù)交互，主動(dòng)暴露復(fù)雜場(chǎng)景中的能力短板，并通過(guò)專家策略補(bǔ)充高質(zhì)量訓(xùn)練樣本。在模型與環(huán)境的閉環(huán)迭代中，長(zhǎng)尾場(chǎng)景不斷強(qiáng)化，模型在動(dòng)態(tài)環(huán)境中的泛化能力持續(xù)提升。

部署層面，團(tuán)隊(duì)對(duì)宇樹(shù) Go2 的完整運(yùn)行鏈路進(jìn)行了系統(tǒng)級(jí)優(yōu)化，在機(jī)器狗原生本地算力上穩(wěn)定達(dá)到 5+ FPS，端到端響應(yīng)時(shí)延約 180 毫秒。開(kāi)源方案覆蓋從環(huán)境安裝、模型加載到一鍵啟動(dòng)的完整流程，用戶最快可在數(shù)分鐘內(nèi)讓一臺(tái)剛開(kāi)箱的 Go2 Edu 獲得純視覺(jué)、純本地的自然語(yǔ)言指令跟蹤能力。

從展廳導(dǎo)覽到園區(qū)巡檢，從樓宇陪護(hù)到災(zāi)害救援中的目標(biāo)搜尋，MiniCPM-RobotTrack 讓具身智能擺脫了對(duì)云端算力和穩(wěn)定網(wǎng)絡(luò)的依賴，向著真正獨(dú)立運(yùn)行的可靠智能終端邁出了關(guān)鍵一步。

04.

從多模態(tài)到物理世界，面壁智能的AGI拼圖

面壁智能為何布局具身智能？答案指向一個(gè)更大的命題：AGI。

目前大模型公司都在追求語(yǔ)言層面的通用智能，但物理層面的通用智能才剛剛開(kāi)始。只有語(yǔ)言層面與物理層面的通用智能同時(shí)實(shí)現(xiàn)，才能實(shí)現(xiàn)終極目標(biāo)——通用人工智能（AGI）。面壁智能是一家以AGI為終局目標(biāo)的大模型公司，具身智能是其AGI技術(shù)戰(zhàn)略的關(guān)鍵組成部分。

在這個(gè)方向上，面壁智能有兩個(gè)獨(dú)特的先發(fā)優(yōu)勢(shì)。

第一是多模態(tài)技術(shù)的深厚積累。面壁智能不僅局限于語(yǔ)言模型，在多模態(tài)模型上也同樣出色——MiniCPM-V/O系列已迭代兩年半，開(kāi)源總下載量突破2500萬(wàn)，在海內(nèi)外技術(shù)社區(qū)擁有廣泛影響力。對(duì)于機(jī)器人來(lái)說(shuō)，智能不僅需要語(yǔ)言輸入，還需要視覺(jué)與更多模態(tài)的輸入。面壁的多模態(tài)技術(shù)積累為MiniCPM-Robot提供了處理真實(shí)世界流式多模態(tài)信息流的能力，這也是面壁可以快速切入機(jī)器人智能領(lǐng)域的核心原因。

第二是端側(cè)AI的隱私安全基因。盡管VLA模型目前主要是純?cè)贫苏{(diào)用API，但從長(zhǎng)期來(lái)看，機(jī)器人最終要進(jìn)入人類社會(huì)，在家庭、辦公、工廠等隱私場(chǎng)景中與人朝夕相處。VLA模型最終必須跑在終端上，才能保護(hù)人類的數(shù)據(jù)主權(quán)與隱私安全。面壁智能在端側(cè)模型上積累的隱私保護(hù)技術(shù)——數(shù)據(jù)本地存儲(chǔ)不外傳、不依賴網(wǎng)絡(luò)傳輸——為具身智能的最終落地鋪平了道路。

從端側(cè)AI到具身智能，面壁的戰(zhàn)略版圖日漸清晰。端側(cè)AI已在汽車、手機(jī)、PC等多領(lǐng)域落地——MiniCPM系列模型先后搭載于長(zhǎng)安馬自達(dá)EZ-60、吉利銀河M9等量產(chǎn)車型，合作方覆蓋吉利、長(zhǎng)安、大眾、廣汽、長(zhǎng)城、極氪等頭部車企。具身智能，是端側(cè)智能在物理世界的自然延伸。

05.

產(chǎn)業(yè)落地進(jìn)行時(shí)

除了模型本身的發(fā)布，面壁智能還展示了一套完整的產(chǎn)業(yè)落地組合拳。

聯(lián)合樂(lè)聚機(jī)器人，面壁發(fā)布了展廳導(dǎo)覽Agent和園區(qū)巡檢Agent解決方案。展廳導(dǎo)覽Agent結(jié)合了面壁端側(cè)多模態(tài)大模型和樂(lè)聚的夸父機(jī)器人本體，可在純無(wú)網(wǎng)環(huán)境下純端側(cè)運(yùn)行導(dǎo)覽系統(tǒng)，支持基于本地知識(shí)庫(kù)的離線講解和自由問(wèn)答。園區(qū)巡檢Agent能高效識(shí)別車輛違停、路面異常、公共設(shè)施異常等情況，確保敏感畫(huà)面就地分析、數(shù)據(jù)主權(quán)歸客戶。

聯(lián)合吉利汽車，面壁在具身領(lǐng)域展開(kāi)了從模型到應(yīng)用的深度合作。在模型層，雙方共同訓(xùn)練和發(fā)布了VLA模型，從多模態(tài)理解大模型出發(fā)，保持通用多模理解能力的同時(shí)融入真實(shí)世界交互能力。在應(yīng)用層，基于RoboHarness框架，雙方快速實(shí)現(xiàn)了機(jī)器人在生產(chǎn)倉(cāng)儲(chǔ)場(chǎng)景的落地應(yīng)用。

RoboHarness是面壁智能基于4月發(fā)布的EmbodiedClaw框架開(kāi)發(fā)的具身智能體框架，可以輕松集成上層規(guī)劃VLM模型，將VLA模型、導(dǎo)航系統(tǒng)等作為物理世界工具模塊調(diào)用，并為具身智能體提供長(zhǎng)程任務(wù)的上下文和記憶管理。它還內(nèi)置了可治理的數(shù)據(jù)閉環(huán)設(shè)計(jì)，讓機(jī)器人在真實(shí)場(chǎng)景執(zhí)行任務(wù)的同時(shí)，也成為數(shù)據(jù)飛輪的一部分，持續(xù)進(jìn)化。

06.

結(jié)語(yǔ)：

面壁智能始終以AGI為終局目標(biāo)，具身智能是這個(gè)戰(zhàn)略中不可或缺的一環(huán)。

當(dāng)前大模型公司所追求的通用智能，主要集中在語(yǔ)言層面。但真正的AGI需要語(yǔ)言智能與物理智能同時(shí)實(shí)現(xiàn)。一個(gè)只會(huì)對(duì)話、不會(huì)在物理世界行動(dòng)和理解的AI，永遠(yuǎn)只能停留在屏幕里。

MiniCPM-Robot 系列模型的發(fā)布，標(biāo)志著面壁在語(yǔ)言層面的通用智能之外，正式向物理層面的通用智能邁出了關(guān)鍵一步。MiniCPM-RobotManip[陳2.1]以1.3B的高效參數(shù)、在傳統(tǒng)VLA基準(zhǔn)上比肩頭部模型的性能、在上下文記憶維度領(lǐng)先身位的能力，以及務(wù)實(shí)的安全基因和產(chǎn)業(yè)路徑，為中國(guó)具身智能領(lǐng)域提供了新的想象空間。

具身智能的競(jìng)爭(zhēng)才剛剛開(kāi)始。從補(bǔ)上“記憶短板”出發(fā)，面壁智能正在向物理世界的AGI持續(xù)靠近。

GitHub 鏈接：

https://github.com/OpenBMB/MiniCPM-Robot

Hugging Face 鏈接：

https://huggingface.co/openbmb/MiniCPM-RobotManip

https://huggingface.co/openbmb/MiniCPM-RobotTrack

目前，面壁智能具身智能團(tuán)隊(duì)正熱招 VLA、世界模型、硬件相關(guān)研究及工程崗位。

鏈接:

https://modelbest.jobs.feishu.cn/referral/position/share/?token=MjsxNzg0MTk2Mzc0NzM0Ozc1MTcxMDQyMDA4NzkzNzQzMzk7NzY2MzA1OTI3MDI5NjI3NTIzNjsxLzE