北京
京東這個開源視頻理解大模型太深得我心了！
我最近在研究視頻總結 Skills，所以格外關注多模態大模型
剛剛發現，京東開源的 JoyAI-VL-Interaction，登上了 Hugging Face Trending 視頻理解類第一！
據我觀察，過去很多視頻多模態模型，重點是“看完一段視頻，然后回答問題”，JoyAI-VL-Interaction 關注的是另一種產品形態：模型持續看著視頻流，自己判斷什么時候該回應、什么時候該安靜、什么時候把復雜任務交給后臺模型或 Agent 處理。也就是說，多模態 AI 正在從 turn-based 的“你問我答”，走向 real-time interaction 的“流式交互”
這類能力在真實場景里會很關鍵：
體育賽事直播解說、監控預警、老人/兒童看護、寵物照看、手機購物陪伴、穿搭評價、操作指引、AI 視頻通話……這些場景里，AI 光能看懂畫面還不夠，它還得知道“什么時候說話”。
最直觀的例子就是視頻直播場景，它也可以在比賽進行時做實時解說，比如正在看世界杯比賽，JoyAI-VL-Interaction 可以監控比賽中的處罰事件，有裁判出示黃牌的時候提醒
技術報告里的對比也挺直接：在 58 個真實流式視覺交互案例中，JoyAI-VL-Interaction 相比豆包整體勝率 77.6%，相比 Gemini 整體勝率 87.9%。其中監控預警場景，對兩個基線都是 100% 勝率。
開源社區關注它，還有一個很現實的原因：開發者需要的是能跑起來、能改、能接進業務系統的東西。JoyAI-VL-Interaction 開放了訓練 recipe、超過 400 萬條時間對齊交互數據，以及完整可部署系統。ASR/TTS、三層長程記憶、可視化界面、后臺 Agent 橋接，也都做成了可插拔模塊。
我覺得，這可能是視頻 AI 一個很重要的轉向：AI 不再只是等你提問，它開始持續觀察、主動判斷、適時開口，并把復雜任務交給后臺執行。
視頻理解之后，真正值得看的方向，可能是視頻交互。
#AI #多模態 #開源模型 #HuggingFace #視頻理解 #京東 #Agent #實時交互 #大模型
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
