實時理解長視頻、聽清雞尾酒會難題，這個團隊將視頻音頻理解推入物理世界復雜情境

過去一年，大模型正在加速突破智能的邊界。

從語音的理解與生成，到圖像識別、視頻分析，越來越多的模態被納入模型的能力版圖。AI 開始能聽見聲音、看見畫面，也能處理越來越豐富的現實信息。

然而，「能處理多少種模態」衡量的是感知的廣度，而不是理解的深度。接入更多信息，并不等于真正理解了世界。

因為現實世界的信息從不孤立存在 —— 它的意義不在單一信號本身，而在于信號之間的關聯，以及它們隨時間的變化：一句話的含義，取決于說話人是誰、以怎樣的語氣、在怎樣的上下文中說出；一個畫面的含義，取決于此前發生了什么、畫面里的人物是什么關系、環境正在如何演變。只有把這些分散的信息放進同一個、且持續延展的上下文里，不斷追蹤其關系與變化，模型才可能形成對真實情境的完整認知。

因此，多模態的下一步，關鍵不在于繼續拓寬能接入的信息類型，而在于把它們匯入統一的情境 —— 從「識別孤立的內容」，走向「理解連續、動態且相互關聯的真實世界」。

這正是模思智能與 OpenMOSS 團隊近期一系列模型與產品發布背后的共同主線：從 MOSS-VL 長視頻理解模型、到 MOSS-Transcribe-Diarize 最強多說話人轉寫模型，推動 AI 從「感知多種信息」，邁向「理解完整情境」。

MOSS 背后：從復旦 MOSS 到情境智能

模思智能對「情境智能」的探索，并非從單一模型或產品開始，而是團隊在大模型、多模態與智能交互領域的長期積累。

不少人第一次聽到 MOSS，是在 2023 年。彼時，復旦團隊發布的 MOSS 作為國內最早引發廣泛關注的類 ChatGPT 大模型，曾在中文大模型浪潮早期制造了一個標志性時刻。此后，團隊的探索逐步從語言智能延伸至更加豐富的真實世界信息，技術方向也從單一語言模型，拓展至語音、音頻、視覺等多模態模型體系。

在這一技術積累與演進的基礎上，模思智能孵化于上海創智學院與復旦大學 OpenMOSS 團隊，邱錫鵬教授擔任首席科學家。模思智能的使命是通過聯接 AI、人與物理世界，構建情境智能（Contextual Intelligence），讓智能在真實世界中理解、建模和交互。

圍繞這一方向，模思智能已陸續開源和發布了多條模型線，包括：

• 語音合成模型 MOSS-TTS；
• 音頻轉寫模型 MOSS-Transcribe-Diarize；
• 視頻理解模型 MOSS-VL；
• 音頻理解模型 MOSS-Audio；
• 音視頻生成模型 MOVA；
• 音樂理解模型 MOSS-Music。

其中，MOSS 系列模型在多個領域已達到開源 SOTA 級別。其 TTS Family 模型在 Hugging Face 等開源社區受到廣泛關注，下載量突破 200 萬，多個生成和理解模型也曾長期位于 Trending 模型榜單前列。

而在 WAIC 世界人工智能大會前夕，模思智能與 OpenMOSS 團隊又在多模態理解側連續發布新進展：一邊面向實時視頻流理解的 MOSS-VL-Realtime 開源，一邊推出多說話人轉寫模型
MOSS-Transcribe-Diarize-0.9B。與此同時，面向創作者和開發者的 Mossland AIGC 音視頻創作平臺與 Moss 開放平臺也進入公測階段。

這意味著，MOSS 的多模態能力正在從模型發布，進一步走向應用場景。

MOSS-VL-Realtime：讓視頻理解從「看錄像」 走向「看直播」

MOSS-VL-Realtime 關注的是一個更接近真實世界的問題：AI 如何理解正在發生的視頻流。

傳統視頻理解模型大多采用離線范式。模型像是在看一段已經結束的錄像：先接收完整視頻，再回答問題。一旦開始回答，它通常無法繼續感知正在變化的新畫面。

但現實世界沒有進度條。它不會暫停，也不會等模型看完再繼續。

MOSS-VL-Realtime 正是面向這種持續視頻流場景而設計。它試圖讓視頻理解從「看錄像」變成「看直播」：模型可以邊看邊答，也可以在信息不足時保持沉默，并在畫面發生變化后及時修正判斷。

https://mp.weixin.qq.com/s/eiFXdsi56FGVsjaZF1RUnA

實時觀察與反饋

三種更自然的視頻交互方式

MOSS-VL-Realtime 的交互方式與傳統離線視頻理解模型不同，主要體現在三點：

1. 隨時應答：用戶可以在視頻播放任意時刻提問，模型基于當前已觀測畫面即時回應，而不必等待整段視頻結束。
2. 主動沉默：當畫面中沒有關鍵事件，或信息不足以形成判斷時，模型將保持沉默，持續觀察。
3. 邊看邊答，及時糾正：模型在生成回答時，新的畫面仍會持續進入上下文。一旦視頻內容發生突發轉折，模型可立刻打斷甚至修正此前回答。

https://mp.weixin.qq.com/s/eiFXdsi56FGVsjaZF1RUnA

實時解說與解讀

這種能力來自同一底層設計：視頻幀、用戶提問與模型回答被組織進同一條 token 流中。提問可以像直播彈幕一樣插入時間線任意位置，對話則發生在持續流入的畫面之間。

實時輸入表示。上半部分為人類視角：觀看與回答同步進行，畫面發生變化時，模型及時糾正其回答。下半部分為模型視角：同一過程表示為單條交錯的 token 序列，攜帶絕對時間戳的視頻幀插入尚未閉合的對話輪次，用戶提問在任意時刻拼接為新輪次，<|silence|> 為顯式的沉默 token。

面向長視頻與實時流的架構設計

在架構層面，MOSS-VL-Realtime 采用了多項針對實時視頻理解的設計：

• 交叉注意力架構：視覺編碼與語言推理解耦，降低動態視頻流響應延遲；
• 絕對時間戳：每一采樣幀通過專用 token 錨定到精確時間；
• XRoPE：將文本 token 與視頻 patch 映射到統一三維坐標空間；
• 256K 上下文窗口：可將小時級別的視頻放入單個上下文。

全鏈路工程優化

• 訓練基礎設施同步升級。首次實現了支持 Cross-Attention-Mask 的 FlashAttention，訓練原生支持 2048 幀序列，并在常規 1fps 之外支持多達 16fps 采樣 —— 小球碰撞、跳繩計數這類快速變化的畫面，由此進入模型的可感知范圍。
• 數據層面的精細化管理同樣是核心。針對通用多模態及流式視頻數據建立了更嚴密的組織與處理標準。這種對質量的把控，從底層保障了模型在復雜動態場景下的表現。
• 推理性能實現跨越式提升。目前模型已完成從底層訓練代碼到推理引擎的全鏈路適配，包含 SGLang 官方支持。實測視頻推理端到端吞吐較 Transformers 原生實現提升超4.57 倍；在同使用 SGLang 框架的條件下，推理性能較 Qwen3-VL 提升5.48 倍

榜單

MOSS-VL-Realtime 的流式交互能力顯著提升，在多項流式視頻理解基準上達到開源 SOTA，其中「主動開口」能力尤為突出：在OmniMMI 的 Proactive Alerting、StreamingBench 的 Proactive Output 以及 ProactiveVideoQA三項主動性評測上均取得領先成績。

MOSS-Transcribe-Diarize：0.9B 模型挑戰多說話人長音頻轉寫

如果說 MOSS-VL-Realtime 代表了 MOSS 在視頻理解側對持續情境的探索，那么在音頻側，MOSS 也迎來了新的進展：多說話人轉錄模型 MOSS-Transcribe-Diarize 完成性能升級，并首次推出開源的 0.9B 版本。

https://mp.weixin.qq.com/s/eiFXdsi56FGVsjaZF1RUnA

多說話人轉錄場景的傳統方案通常采用 ASR、說話人分離和時間對齊等多個模塊級聯完成。這樣的 Pipeline 工程上較為成熟，但前序環節產生的錯誤可能繼續向后傳播，在復雜長音頻中造成轉寫錯誤、說話人歸屬混亂或時間戳漂移。

此前發布的閉源版 MOSS-Transcribe-Diarize 已經改變了這一處理方式：它將語音轉錄、說話人歸屬和時間戳預測統一建模為一個自回歸生成任務，在一次推理中直接生成帶有說話人標簽和時間戳的結構化文本。

此次，MOSS-Transcribe-Diarize在性能升級的同時，首次推出并開源僅0.9B 參數的輕量版本，讓這套端到端多說話人轉錄能力能夠以更低成本部署和使用。

MOSS-Transcribe-Diarize-0.9B采用 Whisper-Medium 音頻編碼器與 Qwen3-0.6B 風格 Causal Decoder 組成的多模態架構，將文本、說話人和時間信息放在同一上下文中聯合建模。時間信息被離散為可生成的 Token，使模型無需獨立的 ASR、Diarization 和 Alignment 模塊，即可直接輸出：

基于百萬小時訓練數據和 128K 上下文能力，模型支持最長約 90 分鐘音頻的一次性輸入，無需切片、拼接和復雜后處理，適用于多人會議、頻繁插話、長時間對話及部分重疊語音等場景。長上下文帶來的不只是更長的輸入能力，也有助于模型在多輪發言中保持說話人標簽和時間戳的一致性。

更重要的是，這些能力被壓縮進了一個 0.9B 模型。在 NVIDIA 4090 單并發環境下，其生成速度約為 100 Token/s，RTF 為 0.017，5 至 10 分鐘音頻可在約 30 秒內完成轉錄，在準確率、處理速度和部署成本之間取得平衡。

在 AISHELL-4 多說話人會議轉錄基準上，
MOSS-Transcribe-Diarize-0.9B的字符錯誤率 CER 為 14.19%，多說話人綜合錯誤率 cpCER 為 14.98%，反映說話人歸屬額外誤差的 Δcp 僅為 0.79。在所列對比模型中，三項指標均取得最佳結果；其 cpCER 相較部分主流模型的降幅超過 40%。

模型還加入了熱詞增強能力。用戶可以預先配置人名、機構名、產品型號和行業術語，在識別階段提升專有名詞的準確率。結合說話人標簽與時間戳，轉錄結果可以進一步定位：哪個人在什么時間提到了哪些關鍵內容。

這使得
MOSS-Transcribe-Diarize-0.9B不只適用于通用會議轉寫，也可以用于企業會議紀要、客服質檢、訪談整理和專業內容生產等場景。

登頂 Hugging Face 榜單，Pro 版本同步上線

開源后，
MOSS-Transcribe-Diarize-0.9B很快登上 Hugging FaceAudio-Text-to-Text模型 Trending 榜單第一名。而在7/14 公布的「INTERSPEECH2026 多語種對話語音語言模型挑戰賽」 （MLC-SLM）中，MOSS-Transcribe-Diarize 也拿到了冠軍。

挑戰賽完整結果請見：
https://www.datatang.com/mcslm

與此同時，模思智能還上線了更強的MOSS-Transcribe-Diarize Pro版本。相比開源版本，Pro 版本面向商業場景，在說話人區分、上下文理解、轉寫準確率和多語言能力等方面進一步增強，可服務于企業會議轉錄、客服質檢、訪談整理和內容生產等場景。開發者可以在模思開放平臺（platform.mosi.cn）進行調用。

模思智能還同步發布了面向復雜英語場景的語音識別模型MOSS-Transcribe。據介紹，該模型針對標準英語、多樣口音、低聲耳語等真實場景進行了專項優化，并在 OPENASR Leaderboard 中取得全球開源模型第一的表現。

從開源模型到產品平臺：Mossland 與 Moss 開放平臺上線公測

模型能力要走向真實世界，不能只停留在論文、榜單和 Demo 中。

在連續開源理解側模型的同時，模思智能也上線了面向創作者和開發者的產品入口：Mossland AIGC 音視頻創作平臺與Moss 開放平臺。

https://mp.weixin.qq.com/s/eiFXdsi56FGVsjaZF1RUnA

Mossland：面向創作者的一站式 AIGC 音視頻平臺

Mossland 是一個以語音能力為核心的 AIGC 一站式創作平臺。平臺以語音生成能力為原子功能，聚合語音、圖像、視頻等多模態模型能力，幫助創作者完成內容生產。

其語音合成能力來自模思智能自研的MOSS-TTS Family，包括千種音色以上的音色庫、高保真零樣本音色克隆、多角色對話、角色聲音設計、音效生成與實時流式語音等能力，并圍繞視頻配音、AI 播客、圖視頻模板、多模態內容制作工作流等真實創作場景，為創作者提供以聲音為起點的智能創作體驗。

Mossland 地址：https://mossland.mosi.cn

Moss 開放平臺：向開發者開放 MOSS 模型能力

MossAPI（Moss 開放平臺）則面向開發者開放 MOSS 系列模型能力，強調開放接入和靈活集成。開發者可以通過 API 調用語音合成、語音識別、音視頻理解等能力，并與 Mossland 創作者平臺共用積分系統。平臺中的 Playground 支持開發者在線體驗最新上線的 MOSS 模型。其中，MOSS-Transcribe-Diarize Pro和MOSS-VL已經或即將通過 Moss 開放平臺提供 API 調用服務。前者可用于企業會議轉錄、客服質檢和內容生產；后者則可應用于更廣泛的視頻理解與視覺理解場景。

Moss 開放平臺地址：https://platform.mosi.cn

多模態模型正在邁向「情境智能」

過去一年，多模態大模型的演進，主要圍繞能力邊界的擴展展開：從看懂圖像、聽懂聲音，到理解視頻、生成多模態內容，模型所能處理的信息類型不斷增加。

但當多模態能力逐漸成為基礎配置，下一階段真正決定模型上限的，是能否在連續、動態的真實環境中，理解人物、事件與空間之間的關系，捕捉狀態變化，并在更長的上下文中形成穩定認知。

MOSS-VL-Realtime 讓模型在動態視頻流中理解「此刻正在發生什么，以及場景如何變化」。MOSS-Transcribe-Diarize 則解決的是長音頻中「誰在說話、何時發生切換」的持續追蹤問題；二者聚焦于不同模態，卻指向同一目標：讓 AI 從識別孤立信息，進一步走向對完整情境的理解與建模。

從 MOSS-TTS 、MOSS-Transcribe-Diarize 到 MOSS-VL，再到 Mossland 與 Moss 開放平臺，模思智能正在持續將多模態模型能力從開源項目、技術報告和評測榜單，推進到創作者、開發者和產業客戶可直接使用的產品體系中。

在正式亮相 WAIC 前夕，模思智能密集發布的一系列模型和產品，也讓外界看到了 MOSS 路線的進一步清晰化：不止于擴展多模態能力，而是進一步聯接 AI、人與物理世界，構建能夠在真實環境中理解、建模和交互的情境智能。

這也讓模思智能即將在 WAIC 上的首秀，更值得期待。

MOSS-VL 相關鏈接

本代共開源三個同源模型：Realtime面向持續視頻流，Instruct承接離線任務，Base供繼續預訓練與微調，均為 Apache-2.0 協議。

• GitHub：https://github.com/OpenMOSS/MOSS-VL
• 模型權重：https://huggingface.co/OpenMOSS-Team/MOSS-VL-Realtime
• 技術博客：https://openmoss.github.io/MOSS-VL

MOSS-Transcribe-Diarize 相關鏈接

• 項目地址：
• https://github.com/OpenMOSS/MOSS-Transcribe-Diarize
• Hugging Face 頁面：
• https://huggingface.co/OpenMOSS-Team/MOSS-Transcribe-Diarize
• 在線 Demo：
• https://moss-transcribe-diarize-demo.mosi.cn/
• 技術報告：
• http://arxiv.org/abs/2601.01554