開源視頻模型打贏Gemini，京東AI加速跑

監控畫面里突然竄出火苗，直播中的爆款商品一閃而過，獨居老人在房間意外摔倒，世界杯賽場上出現一腳絕殺……

現實里這些關鍵事件還很難被大模型處理，因為當前主流大模型多遵循輪次對話邏輯，必須接收用戶指令才會啟動視覺感知，面對轉瞬即逝的場景天然存在結構性短板。

最近，京東正式開源實時視頻視覺語言交互模型JoyAI-VL-Interaction，這也是全球首個全棧開源的interaction模型和系統，就是為了解決上面的結構性矛盾而生。

這不僅僅是一個新模型，而是一次對多模態AI交互范式的重構。

范式之變：從”等你問”到“我看著辦”

2026年的多模態AI賽道很熱鬧，但熱鬧之下有一個根本問題沒解決：現有系統的優化目標仍然是對話輪次，即在你說了之后，盡可能快地回答，交互圍繞對話組織，等待用戶的輪次到來。本質上，這是“更快更自然的問答機器”，而非“世界的觀察者”。

這就是“輪次對話”與“流式交互”之間的范式鴻溝，也是京東JoyAI-VL-Interaction要填補的空白。

所謂“流式交互”（Streaming Interaction），核心區別不在回答速度，而在決策權歸屬：輪次對話模型無法自己選擇開口時刻，而流式交互模型每一秒鐘都在做判斷：此刻值得開口嗎？還是應該繼續沉默觀察？還是這個問題超出了實時推理的能力，應該委托給后臺大模型？

我把這種范式轉換概括為“三大躍遷”，也是多模態AI從“工具”向“伙伴”躍遷的關鍵三步：

第一大躍遷，是主動判斷。傳統模型要等用戶發起問題才開始處理畫面，而JoyAI-VL-Interaction可以持續觀察視頻流，自主判斷什么時候該說話，什么時候該沉默。用戶設置“裁判出示紅牌時提醒我”，模型就會持續值守畫面并在事件發生時自動預警，而不是等用戶再問“剛才發生了什么”。會說話很重要，會沉默也同樣重要。一個好的AI助手，不應一直打擾用戶，而應知道什么時候該出現，什么時候該安靜。

第二大躍遷，是實時響應，而非事后總結。在摔倒檢測的場景中，JoyAI-VL-Interaction在人倒下的瞬間就發出警報，而Gemini則不支持持續畫面實時監控。這是結構性能力的差異：前者持續在線觀察，后者只在被輪詢時才“睜開眼睛”。

第三大躍遷，是適時智能體委托，同時保持觀察和交互。很多人會把“委托后臺模型”簡單理解為把難題甩出去，但JoyAI-VL-Interaction的做法很精妙：前臺模型在委托的同時并不離開，它繼續觀察現場、保持與用戶的實時連接，等后臺結果返回后再自然接回對話。以往的Agent調用，多是“暫停當前任務、等待結果返回”的串行邏輯，JoyAI-VL-Interaction則將AI的交互拆成兩條并行軌道：一條負責在場感，一條負責能力邊界，兩者是分工協作關系。這才是交互與生成之間真正的結構性分野，也是多模態AI從單體全能走向協作在場的關鍵一步。

一個真正的AI伴侶，不應該在你每次想聊天時才出現。它應該像一個朋友，靜靜地陪著你，在該說話的時候說話。京東的這個思路，比單純堆砌參數，更具前瞻性。

硬核拆解：全棧開源背后的技術底氣

范式轉換需要技術底氣支撐。JoyAI-VL-Interaction的技術架構，有幾處值得仔細看的“巧思”。

首先是視覺優先解耦架構。當前主流實時多模態系統將語音和視覺融合進一個大模型，追求“輸入即理解、輸出即表達”的端到端體驗。JoyAI-VL-Interaction走了一條不同路線：視覺是第一驅動力，語音是可插拔的I/O。模型的自主決策核心完全由視覺觸發。ASR/TTS作為外部模塊負責語音轉換，可以隨時替換為用戶自己的語音方案。

這種解耦是深思熟慮的，把“自主核心”和“可互換的外圍”分開，使得部署者可以根據自己的語言、場景和偏好自由選擇語音方案，而無需重建整個系統。

其次是AdaCodec預測編碼，解決了長視頻的算力瓶頸。一個需要持續在線觀察的模型，必須面對一個殘酷的現實：視頻流是無限的。如果每一幀都花256個ViT token去編碼，成本和延遲會隨時間快速增長，幾小時后系統就扛不住了。

AdaCodec借鑒視頻壓縮邏輯區分幀類型，畫面大幅變化的關鍵幀使用完整256 Token編碼，場景平穩的預測幀僅通過運動矢量、殘差生成16個輕量化P-Token。模型算力開銷跟隨畫面變化幅度浮動，而非隨視頻時長無限增長，普通硬件也能支撐全天不間斷實時觀測。

400萬+時間對齊數據也很關鍵。交互能力的習得，關鍵是數據。JoyAI-VL-Interaction的訓練數據超過400萬條時間對齊的流式視頻片段，覆蓋主動告警與異常檢測、時間對齊問答、持續計數與感知、實時解說與敘事、多輪閑聊，以及委托決策訓練的六大能力家族。每一秒鐘的視頻都被標注了對應的動作（沉默、回應或委托），模型從這種“秒級對齊”中學會了交互的節奏感。

更有意思的是涌現能力。在購物應用導航場景中，模型能跟隨用戶在手機屏幕上的每一次滑動，實時引導到目標商品，但訓練數據中從未包含任何App界面視頻。在旅行解說場景中，模型被要求“每四秒解說一次”，它嚴格遵守了這個節奏，且內容扎實，但“定時動作”和“實時解說”這兩種能力在訓練數據中從未同時出現。模型在推理時把它們組合起來了。

評測結果引人注目：在監控預警、實時計數、實時翻譯、時間感知、直播導覽解說等58個真人盲評案例中，JoyAI-VL-Interaction對比豆包視頻通話助手總體勝率77.6%，對比Gemini視頻通話助手總體勝率87.9%。尤其監控預警場景，對兩個基線均取得100%勝率。

值得注意的是，JoyAI-VL-Interaction只是一個8B規模的模型，而競品背后是遠大于它的成熟產品，從這也能看出架構范式變化的意義。

而且，此次京東開源的不僅是模型權重，更是完整的技術棧：包括模型權重、交互數據集、訓練方案和完整可部署系統。這意味著開發者和研究者都可以復現模型訓練過程，微調適配自己的場景，替換組件構建定制系統，二次開發新的交互應用。

京東開源的不只是一個模型，而是一套讓AI活在真實世界的基礎設施。

場景落地：從對話框到物理世界

技術只有走進真實場景，才有意義。JoyAI-VL-Interaction的流式交互能力，天然適配那些需要持續在場、即時判斷的真實世界任務。

例如直播購物場景，用戶在手機上瀏覽商品時，模型能實時識別屏幕上的變化，給出穿搭建議、比價信息，甚至在你猶豫不決時主動推送關鍵參數對比。

又如安全監控、老人看護場景。傳統的監控AI是事后查錄像，JoyAI-VL-Interaction是實時預警：火苗出現時即刻告警，老人摔倒時瞬間響應，不需要任何人先開口問“有沒有異常”。100%的監控告警勝率，正是這個場景的結構性優勢。

體育賽事解說場景也是這樣，世界杯進球、犯規、換人這些關鍵瞬間比人類解說員的反應更快。JoyAI-VL-Interaction的實時解說能力在測試中已經展現：它能在畫面變化時即刻描述正在發生的事，而非等到被問才復盤。

為什么在流式交互模型上率先突破的，是京東？

因為京東深耕零售、物流、健康、工業等實體產業二十余年，覆蓋倉儲、配送、門店、直播、客服、售后等真實場景，沉淀海量真實動態視覺場景數據、標準化業務流程。京東，作為“全球最大的物理世界運營中心”，為多模態AI走向真實世界提供了天然的場景土壤。

今年以來，京東在模型基建上的動作很密集：3月開源JoyAI-LLM Flash，4月開源JoyAI-Image-Edit，6月初開源長視頻生成模型JoyAI-Echo，現在又開源JoyAI-VL-Interaction。從文本到圖像到視頻到實時交互，京東正在構建一個覆蓋“生成+理解+交互”的完整模型矩陣。

京東不是在做一個孤立的AI模型，而是在為其龐大的物理世界操作系統，打造一個能夠“看見并行動”的智能感知層。從倉庫里的實時異常監控，到零售場景中的購物陪伴，再到物流履約中的視覺識別，這個模型與其背后的商業生態，形成了“技術-場景-數據”的正循環。

后記：從“對話”走向“在場”

管理學家克萊頓·克里斯坦森在《創新者的窘境》中提出過一個深刻洞察：顛覆性創新往往不是在現有維度上做得更好，而是在一個被忽視的新維度上建立全新價值。

JoyAI-VL-Interaction，就在于它沒有在參數、精度上去和現有模型卷，而是選擇了一個全新的范式：從“對話”走向“在場”，從而讓一個8B模型在時間感知和主動交互上勝過了百倍于自己的大模型產品。

當然，京東的模型本身仍有拓展空間，這恰恰是其開源的要義。隨著數據的積累和算法的迭代，“流式交互”有望成為下一代AI應用的標配能力。而京東選擇在起步階段就全部開源，極具戰略意義。一個范式轉換的早期，最需要的是讓更多人參與進來。正如開源運動的先驅埃里克·雷蒙德所言：“有足夠多的眼睛，就可讓所有問題浮現。”把整個棧開放給社區，是在用最有效率的方式加速一個新范式的成熟。

也許不久之后，我們會發現：真正改變我們生活的AI，不是那個藏在對話框里無所不知的“智者”，而是那個默默陪在身邊、懂得何時該開口的“伙伴”。

那個你下班回家疲憊不堪時，在你還沒說任何話之前，就輕聲說一句：“我看出來了，今天一定很辛苦吧。”

這種不需要你先問的在場感，才是AI真正走進人類生活的最后一步，而這一步，JoyAI-VL-Interaction已經邁出去了。