物理AI的競(jìng)爭(zhēng)單位，正在從“模型”變成“系統(tǒng)”

作者｜黃小藝

微信 | H997Hbiu

今年WAIC，比模型本身更搶眼的，是那些開始替人做事、進(jìn)入設(shè)備和真實(shí)場(chǎng)景的AI產(chǎn)品。

展館里，可以跨應(yīng)用完成任務(wù)的智能體手機(jī)、進(jìn)入產(chǎn)線的人形機(jī)器人、戴在身上的AI眼鏡，以及支撐它們運(yùn)行的超節(jié)點(diǎn)和萬卡集群，正在成為新的注意力中心。

這種變化也體現(xiàn)在論壇議題中。AI行業(yè)關(guān)注的問題，正在從“模型還有多聰明”，轉(zhuǎn)向“AI能不能進(jìn)入產(chǎn)品、完成任務(wù)，并以產(chǎn)業(yè)能夠承受的成本大規(guī)模運(yùn)行”。

京東集團(tuán)副總裁、京東探索研究院副院長(zhǎng)段楠在演講中指出了這種變化：“互聯(lián)網(wǎng)數(shù)據(jù)還是數(shù)字世界信息的載體，沒辦法讓模型學(xué)習(xí)到如何真正交互和駕馭物理世界。如果人工智能未來面向更高水平的通用性，必須從數(shù)字世界走向物理世界?！?/p>

這是一場(chǎng)比模型競(jìng)賽更復(fù)雜的競(jìng)爭(zhēng)。

一個(gè)模型可以生成內(nèi)容，甚至構(gòu)造一個(gè)世界；但要真正進(jìn)入設(shè)備、理解環(huán)境、完成任務(wù)并對(duì)結(jié)果負(fù)責(zé)，中間還隔著數(shù)據(jù)、評(píng)測(cè)、算力、硬件和產(chǎn)品。

在今年WAIC，京東JoyAI是一個(gè)很適合觀察這種變化的樣本。

一直以來，京東把AI的發(fā)展分成三個(gè)階段：語(yǔ)言、代碼和內(nèi)容生成屬于“數(shù)字AI”；當(dāng)AI進(jìn)入玩具、家電和汽車，持續(xù)感知并與人交互，它變成“附身AI”；當(dāng)AI進(jìn)一步理解空間和物理規(guī)律，并能在真實(shí)世界執(zhí)行動(dòng)作，才進(jìn)入“物理AI”。

沿著這條路線，這屆WAIC，京東第一次把JoyAI大模型矩陣、具身數(shù)據(jù)體系、云基礎(chǔ)設(shè)施和JoyInside硬件入口集中擺在了一起。

其中，JoyAI-Image-Edit、JoyAI-Echo和JoyAI-Video-Edit分別覆蓋空間圖像編輯、長(zhǎng)音視頻生成和實(shí)時(shí)視頻編輯；JoyAI-VL-Interaction、JoyAI-Voice和JoyAI-Talker負(fù)責(zé)持續(xù)觀察、實(shí)時(shí)回應(yīng)和語(yǔ)音交互；到了JoyAI-RA，模型開始進(jìn)一步學(xué)習(xí)機(jī)器人的動(dòng)作。

模型之外，JoyEgoCam負(fù)責(zé)采集，EgoLive沉淀真實(shí)操作數(shù)據(jù)，JoyAI-Sim完成仿真轉(zhuǎn)換與訓(xùn)練評(píng)測(cè)；京東云支撐數(shù)據(jù)處理、模型訓(xùn)練和規(guī)模化部署，JoyInside則把這些能力裝進(jìn)具體硬件。

這些能力覆蓋了AI進(jìn)入物理世界的完整鏈路：看見、理解、交流、行動(dòng)、學(xué)習(xí)，直至落地。

它也對(duì)應(yīng)著當(dāng)前的行業(yè)變化——當(dāng)AI走出聊天框、進(jìn)入物理世界，競(jìng)爭(zhēng)單位不再是單個(gè)模型，而是數(shù)據(jù)、模型、算力、硬件和場(chǎng)景能不能組成一套真正跑起來的系統(tǒng)。

1

模型先要學(xué)會(huì)空間、時(shí)間和交互

系統(tǒng)化并不意味著模型變得不重要。恰恰相反，當(dāng)AI開始離開聊天框、進(jìn)入真實(shí)世界，模型需要解決的問題反而更多了：它不僅要生成內(nèi)容，還要理解空間、時(shí)間，以及什么時(shí)候應(yīng)該介入。

以JoyAI-Image-Edit為例，普通圖像編輯解決的是“哪些像素應(yīng)該改變”，但物理世界面對(duì)的問題是：一個(gè)物體移動(dòng)以后，空間關(guān)系應(yīng)該怎樣隨之變化。

JoyAI-Image-Edit將圖像理解、生成和編輯放進(jìn)同一個(gè)體系。它展示的重點(diǎn)不只是換背景、改顏色，還包括移動(dòng)、旋轉(zhuǎn)物體，改變相機(jī)視角以及生成多視角畫面，同時(shí)盡量維持幾何關(guān)系的一致性。

過去的模型主要判斷“這張圖看起來是否合理”，現(xiàn)在則需要進(jìn)一步理解：“如果換一個(gè)位置觀察，這個(gè)世界是否仍然成立?！?/p>

編輯甚至可以反過來幫助理解。當(dāng)原始視角無法判斷空間關(guān)系時(shí)，模型可以生成另一個(gè)視角的畫面，再根據(jù)新畫面回答問題。生成由此不再只是輸出內(nèi)容，也成為模型觀察世界的一種方式。

如果說圖像模型理解的是一個(gè)瞬間，JoyAI-Video-Edit面對(duì)的則是時(shí)間連續(xù)性。它需要在視頻持續(xù)發(fā)生時(shí)修改人物、動(dòng)作和場(chǎng)景，同時(shí)保證前后畫面不會(huì)因?yàn)橐淮胃深A(yù)而崩掉。

這相當(dāng)于要求模型理解：世界不僅“長(zhǎng)什么樣”，還要知道它怎樣從上一秒運(yùn)動(dòng)到下一秒。

到了JoyAI-VL-Interaction，問題進(jìn)一步從空間和時(shí)間變成了介入時(shí)機(jī)。

傳統(tǒng)語(yǔ)音助手等待用戶喚醒，用戶問一句，它回答一句；附身AI卻要長(zhǎng)時(shí)間待在環(huán)境中，一邊持續(xù)觀察，一邊判斷什么時(shí)候應(yīng)該回應(yīng)，什么時(shí)候應(yīng)該保持沉默，什么時(shí)候應(yīng)該把復(fù)雜任務(wù)交給后臺(tái)模型、API或者智能體。

此前有人利用這一模型制作了一臺(tái)AI夜視嬰兒看護(hù)器：紅外視頻持續(xù)輸入模型，只有在模型發(fā)現(xiàn)嬰兒驚跳、醒來或者口鼻可能被遮擋時(shí)，才觸發(fā)手環(huán)和音響提醒。

JoyAI-Talker補(bǔ)充的則是實(shí)時(shí)表達(dá)能力，讓模型在保持理解和推理能力的同時(shí)，擁有更加自然、低延遲，并具備情感表達(dá)和共情能力的語(yǔ)音交互。

把這些模型放在一起，可以看到一條清晰的演進(jìn)線：Image-Edit補(bǔ)充空間理解，Video-Edit處理時(shí)間連續(xù)性，VL-Interaction判斷介入時(shí)機(jī)，Talker負(fù)責(zé)自然、實(shí)時(shí)的表達(dá)。它們共同回答的是，AI怎樣持續(xù)看見、理解并回應(yīng)一個(gè)正在發(fā)生的世界。

1

模型開始反過來定義什么是好數(shù)據(jù)

但看懂世界，只完成了一半。

模型可以在屏幕里把一只杯子旋轉(zhuǎn)90度，機(jī)器人卻必須知道從哪里抓、用多大力，以及抓空以后怎樣調(diào)整。像素里的合理，不等于物理上的可執(zhí)行。

如果把GPT-3.5看作語(yǔ)言模型真正跨過能力門檻的時(shí)刻，物理AI還沒有到達(dá)類似的節(jié)點(diǎn)。語(yǔ)言模型擁有互聯(lián)網(wǎng)規(guī)模的文本、相對(duì)統(tǒng)一的訓(xùn)練方法和成熟的評(píng)測(cè)體系；物理AI的數(shù)據(jù)卻分散在不同場(chǎng)景、任務(wù)和機(jī)器人身體里，既昂貴，又難以復(fù)用。

段楠把物理數(shù)據(jù)規(guī)?；旁诹耸孜唬骸拔锢鞟I不僅要從海量數(shù)據(jù)中學(xué)習(xí)通用常識(shí)知識(shí)，還要從蘊(yùn)含著非常豐富的物理信息的真實(shí)世界數(shù)據(jù)中學(xué)習(xí)物理規(guī)律和因果關(guān)系，比如三維空間結(jié)構(gòu)、物理屬性、運(yùn)動(dòng)軌跡等?！?/p>

京東把這件事拆成了三層。

第一層，是先把真實(shí)經(jīng)驗(yàn)采下來。

京東開源的EgoLive首批包含約2000小時(shí)視頻、65,866段數(shù)據(jù)和346種真實(shí)任務(wù)，覆蓋家庭、倉(cāng)儲(chǔ)、藥房等場(chǎng)景。第一視角數(shù)據(jù)記錄的不只是“人在做什么”，還有人看見了什么、手怎樣運(yùn)動(dòng)、動(dòng)作按照什么順序發(fā)生。

這很重要。實(shí)驗(yàn)室里的標(biāo)準(zhǔn)動(dòng)作容易采集，卻很難覆蓋真實(shí)世界的雜亂、遮擋和意外。EgoLive要保存的，正是人類處理這些不確定性的過程。

第二層，是把人的經(jīng)驗(yàn)翻譯成機(jī)器人能夠使用的數(shù)據(jù)。

人的手與機(jī)器人的關(guān)節(jié)結(jié)構(gòu)完全不同，人類演示不能直接拿來訓(xùn)練機(jī)器人。JoyAI-Sim因此把真人動(dòng)作放進(jìn)仿真環(huán)境，檢查它是否滿足機(jī)器人的關(guān)節(jié)、碰撞和物理約束，再轉(zhuǎn)換成機(jī)器人可以學(xué)習(xí)的軌跡；反過來，它也能把真實(shí)機(jī)器人任務(wù)重建到仿真環(huán)境中，用于批量測(cè)試。

第三層，是驗(yàn)證這些經(jīng)驗(yàn)到底有沒有用。

JoyAI-RA把第一視角視頻、仿真軌跡、真實(shí)機(jī)器人數(shù)據(jù)和網(wǎng)絡(luò)數(shù)據(jù)放進(jìn)統(tǒng)一訓(xùn)練框架，再通過仿真和真機(jī)任務(wù)檢驗(yàn)效果。如果一批數(shù)據(jù)加入以后，機(jī)器人的任務(wù)成功率沒有提高，甚至下降，那么無論它多清晰、標(biāo)注多完整，都不能算好數(shù)據(jù)。

段楠把JoyAI-RA 0.1定位為一項(xiàng)驗(yàn)證工作：隨著數(shù)據(jù)規(guī)模擴(kuò)大和多樣化，觀察具身模型在理解、推理、預(yù)測(cè)和最終操作上的能力變化，并隨著具身數(shù)據(jù)集體量擴(kuò)大繼續(xù)驗(yàn)證效果。

到這里，模型同時(shí)成為數(shù)據(jù)的消費(fèi)者和質(zhì)檢工具。

這三層形成了一個(gè)完整閉環(huán)：EgoLive采集經(jīng)驗(yàn)，JoyAI-Sim翻譯經(jīng)驗(yàn)，JoyAI-RA學(xué)習(xí)并驗(yàn)證經(jīng)驗(yàn)。數(shù)據(jù)訓(xùn)練模型，模型再反過來定義什么是好數(shù)據(jù)。

只有這個(gè)閉環(huán)能夠運(yùn)轉(zhuǎn)，擴(kuò)大數(shù)據(jù)規(guī)模才有意義。今年，京東還進(jìn)一步提出將在兩年積累1000萬小時(shí)高質(zhì)量數(shù)據(jù)，同時(shí)將具身訓(xùn)練擴(kuò)展到千卡規(guī)模集群，并把數(shù)據(jù)處理成本降低了10倍以上。

物理AI何時(shí)抵達(dá)自己的GPT-3.5時(shí)刻，很大程度上取決于真實(shí)世界的經(jīng)驗(yàn)?zāi)芊癖晦D(zhuǎn)化為可訓(xùn)練、可驗(yàn)證、可復(fù)用的數(shù)據(jù)。

1

模型裝進(jìn)硬件之后，難題才剛開始

即便AI已經(jīng)會(huì)看、會(huì)學(xué)，要真正進(jìn)入物理世界，仍然需要具體的產(chǎn)品和硬件作為入口。

京東JoyInside想做的，就是補(bǔ)上這一環(huán)，把AI能力裝進(jìn)不同品類的硬件，讓它在真實(shí)場(chǎng)景中與人交互、完成任務(wù)。

從2025年正式發(fā)布，到今年WAIC，JoyInside已經(jīng)與近200家行業(yè)品牌合作，覆蓋家電家居、機(jī)器人、玩具和健康設(shè)備等品類；按照公開計(jì)劃，2026年接入終端將超過1000萬臺(tái)。

在這一年的產(chǎn)品實(shí)踐中，JoyInside形成了一個(gè)核心判斷：從玩具、機(jī)器人到家居家電，設(shè)備正在從“被動(dòng)執(zhí)行控制”走向“主動(dòng)完成目的”。

過去使用蒸烤箱，用戶需要設(shè)置溫度、時(shí)間和模式，設(shè)備只負(fù)責(zé)執(zhí)行參數(shù)；接入AI以后，用戶只說“我想吃烤紅薯”，系統(tǒng)就要理解食材、口味和火候，并對(duì)最后有沒有烤好負(fù)責(zé)。

人與設(shè)備的責(zé)任由此被重新劃分：過去人負(fù)責(zé)決策，設(shè)備負(fù)責(zé)執(zhí)行；現(xiàn)在人只提出需求，設(shè)備開始負(fù)責(zé)結(jié)果。

接入品類不斷增加后，JoyInside團(tuán)隊(duì)也發(fā)現(xiàn)，單品AI化的價(jià)值存在明顯差異。目前使用頻率最高的是臺(tái)燈、點(diǎn)讀筆等學(xué)習(xí)產(chǎn)品，其次是AI玩具；家居家電雖然一度占到團(tuán)隊(duì)接入SKU的約80%，活躍度卻相對(duì)較低。

家電家居當(dāng)然需要AI，只是單臺(tái)設(shè)備能夠提供的新價(jià)值仍然有限。燈還是燈，床墊還是床墊，增加一項(xiàng)對(duì)話功能，很難真正改變用戶原來的使用習(xí)慣。

于是，JoyInside把策略從單品推向了AI Home。

AI Home的思路是讓不同設(shè)備根據(jù)用戶目的進(jìn)行聯(lián)動(dòng)分工。比如床墊感知身體和睡眠狀態(tài)，燈光與音箱調(diào)節(jié)環(huán)境，機(jī)器人負(fù)責(zé)移動(dòng)和觀察；當(dāng)用戶說“我有點(diǎn)累”，系統(tǒng)判斷應(yīng)該由誰(shuí)響應(yīng)、怎樣配合。

京東科技AI創(chuàng)新業(yè)務(wù)JoyInside負(fù)責(zé)人戴文軍把這種家庭形態(tài)稱作一個(gè)“積木化的、更復(fù)雜的機(jī)器人”：感知、交流和控制能力被分散在不同設(shè)備中，組合起來共同完成任務(wù)。

更重要的是，AI Home還讓產(chǎn)品重新接回了反饋循環(huán)。哪些場(chǎng)景真正被使用、一次聯(lián)動(dòng)有沒有完成目的、用戶是否接受設(shè)備主動(dòng)服務(wù)，這些反饋會(huì)回到品牌、方案商和JoyInside，決定下一代硬件應(yīng)該增加什么能力、刪除什么功能。

而在從單品走向AI Home的過程中，交付壓力隨之顯現(xiàn)。模型可以統(tǒng)一訓(xùn)練，硬件卻無法統(tǒng)一交付。臺(tái)燈、床墊和蒸烤箱擁有完全不同的麥克風(fēng)、傳感器、芯片、聲學(xué)結(jié)構(gòu)和控制協(xié)議，JoyInside團(tuán)隊(duì)不可能獨(dú)自完成所有適配。

為解決交付問題，京東今年在WAIC把方案商推到了更重要的位置。

分工上，京東提供大模型、ASR、TTS和家庭場(chǎng)景能力，品牌負(fù)責(zé)產(chǎn)品和品類知識(shí)，方案商則完成芯片、聲學(xué)結(jié)構(gòu)、控制協(xié)議與整機(jī)方案的工程適配，并觸達(dá)大量仍在小批量試水、尚未進(jìn)入京東視野的品牌，將新的產(chǎn)品機(jī)會(huì)帶進(jìn)這套體系，幫助JoyInside擴(kuò)充品類。

1

結(jié)尾：

數(shù)字AI時(shí)代，一個(gè)基礎(chǔ)模型可以成為一家公司的技術(shù)中心。但在物理世界，數(shù)據(jù)、模型、算力、硬件和產(chǎn)品中的任何一層出現(xiàn)問題，AI都只能停留在Demo里。

京東的優(yōu)勢(shì)來自它能力的完整性：模型、數(shù)據(jù)、云基礎(chǔ)設(shè)施、產(chǎn)品入口和真實(shí)場(chǎng)景可以彼此連接，組成一個(gè)不斷轉(zhuǎn)動(dòng)的反饋循環(huán)。

所謂“全球最大物理世界運(yùn)營(yíng)中心”，真正值得關(guān)注或許不是“大”，而是“運(yùn)營(yíng)”：數(shù)據(jù)訓(xùn)練模型，模型篩選數(shù)據(jù)，云降低迭代成本，JoyInside把能力裝進(jìn)產(chǎn)品，產(chǎn)品與場(chǎng)景再不斷返回新的經(jīng)驗(yàn)。

一個(gè)模型可以生成一個(gè)世界，但只有成為一整套系統(tǒng)，才能真正進(jìn)入這個(gè)世界。

點(diǎn)個(gè)“愛心”，再走 吧