一次“模型三連發(fā)”的背后，杭州正悄悄長出一張物理AI的網(wǎng)

文 | 童蔚

你有沒有發(fā)現(xiàn)，這一年多來，AI越來越“開竅”了。它不光能看懂你發(fā)的表情包，還能聽明白語音里的潛臺詞，甚至開始透過電腦屏幕和攝像頭，打量周圍的世界。

可一旦從數(shù)字世界進(jìn)入物理世界，問題就來了。天上的無人機(jī)在飛，產(chǎn)線上的機(jī)器人在移動，商超便利店里的攝像頭一直在記錄……現(xiàn)實(shí)世界不會按暫停鍵，AI來不及說“你等一下，我先算算”。

對這些設(shè)備來說，AI需要的不是偶爾“聰明”，而是持續(xù)在場。比如持續(xù)接收視頻流，并更新對環(huán)境的理解，然后在任何需要介入的時(shí)刻，做出幾乎同步的響應(yīng)。

這就是物理AI要解決的第一個(gè)問題：讓AI在動態(tài)世界里不掉線。

這兩天，一款來自杭州的多模態(tài)模型提供了解題的新思路。

從感知、定位到行動的能力鏈

6月27日至29日，聯(lián)匯科技VLX端側(cè)流式多模態(tài)模型系列連續(xù)三天面向全球發(fā)布。它包含三款模型，VLX-Flow、VLX-Seek和VLX-Go，分別對應(yīng)實(shí)時(shí)感知、精準(zhǔn)定位與行動執(zhí)行，構(gòu)成一條完整的能力鏈。

VLX = Vision-Language-eXecution，也就是“視覺-語言-執(zhí)行”一體化多模態(tài)模型。

VLX-Flow，它負(fù)責(zé)持續(xù)感知。人在走，車在跑，視角在切換，沒有什么是靜止等待分析的。傳統(tǒng)的視頻理解，通常是等視頻錄制完畢后再整體分析。VLX-Flow改變了這一模式，視頻像流水一樣不斷進(jìn)入，模型邊接收邊更新理解，實(shí)時(shí)記憶“剛才發(fā)生了什么”。

VLX-Flow 處理連續(xù)輸入的視頻片段，并維護(hù)視覺緩存與語義記憶以支持低延遲交互。

傳統(tǒng)方法每隔一段抽一幀分析，好比看連環(huán)畫，中間的動作連貫性容易丟失。VLX-Flow將視頻切分為連續(xù)的小片段，按順序處理，保證了動作的連續(xù)性。你隨時(shí)提問，它都能隨時(shí)作答。處理一路視頻最快僅需0.06秒，還能同時(shí)處理好幾路。

第二個(gè)VLX-Seek，負(fù)責(zé)精準(zhǔn)定位。要讓機(jī)器人“把桌上那個(gè)紅杯子拿過來”，它需要在畫面中精確鎖定杯子的位置。VLX-Seek采用一種“區(qū)域匹配”的方式替代傳統(tǒng)的坐標(biāo)預(yù)測，定位效率更高。

最后是VLX-Go，負(fù)責(zé)行動執(zhí)行。理解與定位后，還需要轉(zhuǎn)化為實(shí)際行動，比如前進(jìn)、轉(zhuǎn)向、避障、跟隨等。

這三個(gè)模型共享同一基座，在同一條視頻流上協(xié)同工作，形成“感知→定位→行動”的完整閉環(huán)。這也與6月初CVPR 2026（IEEE國際計(jì)算機(jī)視覺與模式識別會議）上的趨勢不謀而合。在會上，實(shí)時(shí)感知和精準(zhǔn)定位成為熱門關(guān)鍵詞。

（了解三個(gè)模型的更多技術(shù)詳情：

https://github.com/om-ai-lab/VLX-Flow，https://github.com/om-ai-lab/VLX-Seek，https://github.com/om-ai-lab/VLX-Go）

無人機(jī)和手機(jī)上也能跑

VLX最值得關(guān)注的地方，在于它的整套設(shè)計(jì)思路。

行業(yè)的主流做法是：先訓(xùn)練一個(gè)巨大的云端模型，再通過壓縮、蒸餾等方式移植到端側(cè)。你可以理解為，先建一棟摩天大樓，再拆解搬運(yùn)到別處重建。

VLX走的則是另一條路，從出生之日起，就按照端側(cè)的算力邊界來設(shè)計(jì)整個(gè)系統(tǒng)。這相當(dāng)于直接在目標(biāo)位置建造一棟合適的房子。

結(jié)果就是“小而準(zhǔn)”在實(shí)際場景中，可能比“大而全”更有效。

它不依賴網(wǎng)絡(luò)連接，數(shù)據(jù)無須上傳云端，隱私安全更有保障，響應(yīng)速度也更快。此外，當(dāng)視頻流持續(xù)輸入時(shí)，歷史信息不斷累積，傳統(tǒng)模型會越來越慢。VLX-Flow通過雙層記憶機(jī)制，解決了這個(gè)問題。一層保留近期畫面細(xì)節(jié)，另一層維護(hù)長程的語義上下文，使響應(yīng)延遲始終保持穩(wěn)定，不會因?yàn)榭吹镁昧司妥冞t鈍。

手機(jī)算力有限，還要同時(shí)跑App，留給AI的空間本就不多；無人機(jī)、機(jī)器人、攝像頭更是如此，一丟丟延遲都可能影響任務(wù)成敗。在有限算力下持續(xù)理解環(huán)境、完成行動閉環(huán)，這是它們共同的剛需，也是VLX的著力點(diǎn)。

那么具體到實(shí)際場景，VLX能做什么？

工業(yè)流水線上，質(zhì)檢機(jī)器人可以一邊盯著產(chǎn)品流動，一邊實(shí)時(shí)找出瑕疵品；工程現(xiàn)場，無人機(jī)飛過就能同步識別安全隱患，不用等降落后再回傳分析；安防場景里，系統(tǒng)不再“被動等查詢”，人員突然闖入、物體遺留、異常動作發(fā)生等，它都能主動觸發(fā)提醒。

多模態(tài)領(lǐng)域的老玩家

支撐VLX落地的，是一支在多模態(tài)賽道深耕多年的團(tuán)隊(duì)。

聯(lián)匯科技位于濱江區(qū)互聯(lián)網(wǎng)產(chǎn)業(yè)園，公司CEO兼首席科學(xué)家趙天成畢業(yè)于卡耐基梅隆大學(xué)（CMU）語言技術(shù)研究所，核心團(tuán)隊(duì)來自CMU、清華、浙大等高校。

趙天成（資料圖，攝影 陳中秋）

這家公司切入多模態(tài)領(lǐng)域的時(shí)間點(diǎn)，比大多數(shù)人意識到的都要早：2021年，推出國內(nèi)最早的視覺語言大模型之一；2022年，取得工信部大模型檢測的001號證書；2023年“百模大戰(zhàn)”全面打響時(shí)，搶先發(fā)布自研OmModel多模態(tài)大模型的V3版本，以及國內(nèi)首批大模型驅(qū)動的智能體應(yīng)用。

去年，他們將DeepSeek-R1的強(qiáng)化學(xué)習(xí)推理范式引入機(jī)器視覺領(lǐng)域，開源項(xiàng)目VLM-R1上線僅一周便在GitHub上獲得2.7k Star，成績堪稱亮眼。

杭州的物理AI版圖正在成形

當(dāng)物理AI和世界模型已經(jīng)成為全球科技巨頭公認(rèn)的下一座金礦，在視覺硬件、大模型、先進(jìn)制造等領(lǐng)域有長期產(chǎn)業(yè)積累的杭州正在編織一張大網(wǎng)。

除了聯(lián)匯科技，這里還站著一批各具特色的玩家，各自從不同角度切入這場變革：

群核科技：旗下酷家樂平臺積累超4.8億個(gè)3D模型，以此為基礎(chǔ)搭建具身智能虛擬訓(xùn)練場，讓機(jī)器人在模擬環(huán)境中提前學(xué)會在物理世界干活。已與智元機(jī)器人、銀河通用等企業(yè)達(dá)成合作。如果說大多數(shù)公司是在具體場景中應(yīng)用物理AI，群核科技的定位則更偏底層，它想成為物理AI時(shí)代的“基礎(chǔ)設(shè)施提供者”。

空間理解模型SpatialLM運(yùn)行原理

凌迪科技：以自研柔性仿真引擎為核心，能讓數(shù)字布料在虛擬世界中的垂墜感、褶皺、光澤無限接近真實(shí)世界。這恰好是物理AI最需要、也最難攻克的一環(huán)——形變體物理仿真。目前已服務(wù)全球超3000家時(shí)尚企業(yè)，并成為英偉達(dá)Newton物理引擎平臺全球唯一形變體模擬引擎合作伙伴。

機(jī)器人抓取柔性面料的仿真訓(xùn)練

影身智能：公司自研原生4D世界模型，從數(shù)據(jù)源頭直接構(gòu)建“三維空間+時(shí)間維度”的建模能力。聚焦“雙柔性”制造場景，涂膠和壓底機(jī)器人已在“中國鞋都”晉江制鞋產(chǎn)線上實(shí)現(xiàn)1:1替代人工，不改產(chǎn)線、不停工。目前已獲近億元融資，在手柔性智造訂單超2億元。

制鞋產(chǎn)線上的壓底機(jī)器人

智澄AI：創(chuàng)始人兼CEO胡魯輝2024年4月首次提出“物理智能”概念，專注物理智能世界模型與通用機(jī)器人研發(fā)。去年至今已完成三輪融資，累計(jì)簽約訂單近15億元，覆蓋智能制造、安防巡檢、生化檢測等場景。

智澄AI的人形機(jī)器人TR5 PRO

肇觀智能：前AMD核心團(tuán)隊(duì)創(chuàng)立，專攻端側(cè)視覺感知芯片VPU。如果說大模型是物理AI的“大腦”，他們做的就是“視網(wǎng)膜”，把光信號轉(zhuǎn)化為空間感知，在端側(cè)完成實(shí)時(shí)的三維感知和環(huán)境識別。產(chǎn)品已覆蓋200多個(gè)下游場景，近期將總部遷至杭州。

風(fēng)語筑具身智能：6月剛剛?cè)腭v濱江的國家人工智能應(yīng)用中試基地（具身智能）?；诮?0年積累的三維空間資產(chǎn)，構(gòu)建“真實(shí)場景采集-數(shù)字場景構(gòu)建-仿真訓(xùn)練驗(yàn)證”的物理AI訓(xùn)練體系。

恩和生物科技：物理AI驅(qū)動的生物制造公司，3月發(fā)布全球首個(gè)面向生物制造領(lǐng)域的物理人工智能平臺SAION AI。它就像一個(gè)能思考、會動手，還能自我進(jìn)化的“AI科學(xué)家”，能將研發(fā)目標(biāo)拆解為可執(zhí)行方案，并直接驅(qū)動實(shí)驗(yàn)設(shè)備運(yùn)行。已與新和成、伊利、珀萊雅等企業(yè)深度合作……

“中國第二好”的投資人投了DeepSeek

不玩虛的，國產(chǎn)“世界模型”已能讓機(jī)器人進(jìn)廠打工

考察完“AI六小虎”，杭州投了智譜

點(diǎn)喜歡