中科院與全球頂尖機(jī)構(gòu)發(fā)布十億參數(shù)級(jí)手術(shù)視頻基礎(chǔ)模型SurgMotion

機(jī)器之心發(fā)布

手術(shù) AI 正在從 “單幀感知” 邁向 “全流程視頻理解” 的全新時(shí)代！近日，由中國(guó)科學(xué)院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心領(lǐng)銜，聯(lián)合中國(guó)科學(xué)院自動(dòng)化所、香港中文大學(xué)、慕尼黑工業(yè)大學(xué)、北京協(xié)和醫(yī)院、中山大學(xué)附屬第一醫(yī)院、香港威爾斯親王醫(yī)院、香港大學(xué)深圳醫(yī)院等全球頂尖機(jī)構(gòu)，正式發(fā)布了全球首個(gè)十億級(jí)參數(shù)、最大規(guī)模數(shù)據(jù)集練成的手術(shù)視頻原生基礎(chǔ)模型 ——SurgMotion！

• 論文：SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos
• 論文鏈接：https://arxiv.org/pdf/2602.05638
• Github 倉(cāng)庫(kù): https://github.com/CAIR-HKISI/SurgMotion
• Hugging Face 權(quán)重: https://huggingface.co/CAIR-HKISI/SurgMotion

作為手術(shù) AI 領(lǐng)域的里程碑式成果，SurgMotion 依托于迄今為止全球規(guī)模最大、術(shù)式覆蓋最全的千萬(wàn)幀級(jí)（SurgMotion-15M）手術(shù)視頻數(shù)據(jù)集，首次突破十億級(jí)參數(shù)規(guī)模，實(shí)現(xiàn)了對(duì)器械 - 組織交互及復(fù)雜時(shí)空運(yùn)動(dòng)語(yǔ)義的深度建模。不僅如此，模型在首次覆蓋 17 項(xiàng)核心手術(shù)任務(wù)的系統(tǒng)性評(píng)測(cè)中展現(xiàn)出卓越性能：手術(shù)視頻動(dòng)態(tài)理解性能平均提升達(dá)16.5%；手術(shù)中靜態(tài)任務(wù)（如深度估計(jì)、病灶分割）平均誤差降低2.9%，全方位定義了通用手術(shù)視頻理解的全新技術(shù)標(biāo)桿！

發(fā)布僅三個(gè)月，SurgMotion 已迅速成為 Hugging Face 上全球下載量第一的手術(shù)視頻基礎(chǔ)模型！ 目前，已有來(lái)自 5 大洲、14 個(gè)國(guó)家和地區(qū)的近 40 個(gè)全球頂尖機(jī)構(gòu)與研究團(tuán)隊(duì)（包括直覺(jué)外科、卡爾史托斯、蔡司、杜克大學(xué)、慕尼黑工業(yè)大學(xué)等）正式申請(qǐng)使用。

圖 1. SurgMotion 基礎(chǔ)模型架構(gòu)及多場(chǎng)景、多任務(wù)賦能示意圖。

01. 范式顛覆：

從 “像素重建” 到 “時(shí)空運(yùn)動(dòng)預(yù)測(cè)”

傳統(tǒng)的醫(yī)療視覺(jué)模型往往受限于 “單幀圖像” 的靜態(tài)感知，或是深陷于低效的像素級(jí)重建泥潭。在實(shí)際手術(shù)中，煙霧、反光、出血等低級(jí)視覺(jué)噪聲會(huì)消耗模型大量的計(jì)算資源，導(dǎo)致模型無(wú)法真正理解手術(shù)的 “動(dòng)態(tài)語(yǔ)義”。

SurgMotion 帶來(lái)了行業(yè)內(nèi)首次根本性的范式顛覆！基于先進(jìn)的視頻聯(lián)合嵌入預(yù)測(cè)架構(gòu)（V-JEPA），SurgMotion 徹底摒棄了傳統(tǒng)的像素級(jí)解碼，轉(zhuǎn)而專(zhuān)注于潛空間（Latent Space）中的運(yùn)動(dòng)預(yù)測(cè)。SurgMotion 引入了三大核心技術(shù)創(chuàng)新：

• 運(yùn)動(dòng)引導(dǎo)的潛空間遮蔽預(yù)測(cè)（Motion-Guided Latent Masked Prediction）：引導(dǎo)模型自動(dòng)過(guò)濾無(wú)用噪聲，將注意力聚焦于器械運(yùn)動(dòng)、組織形變等關(guān)鍵手術(shù)語(yǔ)義區(qū)域。
• 時(shí)空親和力自蒸餾（Spatiotemporal Affinity Self-Distillation）：強(qiáng)制模型學(xué)習(xí)手術(shù)視頻在時(shí)間和空間上的強(qiáng)關(guān)聯(lián)性，實(shí)現(xiàn)對(duì)復(fù)雜手術(shù)流程的連貫理解。
• 時(shí)空特征多樣性正則化（SFDR）：有效解決手術(shù)場(chǎng)景中由于紋理單一而導(dǎo)致的表征崩潰問(wèn)題，確保模型在各種極端手術(shù)場(chǎng)景下依然保持極高的魯棒性。

圖 2：SurgMotion 的預(yù)訓(xùn)練框架與下游評(píng)估流程。

02. 全球最大：

SurgMotion-15M 預(yù)訓(xùn)練數(shù)據(jù)集

巧婦難為無(wú)米之炊，手術(shù)視頻的高門(mén)檻、隱私性和標(biāo)注難度，導(dǎo)致行業(yè)長(zhǎng)期處于 “數(shù)據(jù)孤島” 狀態(tài)。

為了徹底打破這一瓶頸，研究團(tuán)隊(duì)傾力打造了迄今為止全球規(guī)模最大、術(shù)式最豐富、覆蓋最全面的手術(shù)視頻預(yù)訓(xùn)練數(shù)據(jù)集 ——SurgMotion-15M：

• 超大體量：包含3,658 小時(shí)的真實(shí)手術(shù)視頻，總幀數(shù)高達(dá)1500 萬(wàn)幀；
• 極高多樣性：匯聚了來(lái)自50 個(gè)不同數(shù)據(jù)源的珍貴影像；
• 全科室覆蓋：橫跨13 個(gè)主要解剖區(qū)域，涵蓋腹腔鏡、胸腔鏡、神經(jīng)外科、眼科、耳鼻喉科等多學(xué)科復(fù)雜術(shù)式。

如此龐大且高質(zhì)量的數(shù)據(jù)滋養(yǎng)，賦予了 SurgMotion 史無(wú)前例的泛化能力與跨科室通用性。

圖 3：SurgMotion-15M 與國(guó)內(nèi)外主流手術(shù)視頻數(shù)據(jù)集的總時(shí)長(zhǎng)對(duì)比。

03. 模型參數(shù)史上首次邁入十億級(jí)

在1B 參數(shù)支持下，SurgMotion 成功整合視頻特征空間，將手術(shù)視頻核心動(dòng)態(tài)與時(shí)空信息深度學(xué)習(xí)。該模型對(duì)器械 - 組織交互、組織形變及操作節(jié)奏的捕捉能力顯著超越以往。

圖 4：預(yù)訓(xùn)練數(shù)據(jù)規(guī)模、模型參數(shù)量與流程識(shí)別性能對(duì)比。

04. 首次全面評(píng)測(cè)：

覆蓋 17 項(xiàng)核心手術(shù)任務(wù)

在涵蓋手術(shù)工作流識(shí)別、動(dòng)作理解、深度估計(jì)、病灶分割、器械交互以及手術(shù)技能評(píng)估等17 項(xiàng)權(quán)威基準(zhǔn)測(cè)試中，SurgMotion 接受了極其嚴(yán)苛的系統(tǒng)性評(píng)測(cè)，并展現(xiàn)出了統(tǒng)治級(jí)的性能表現(xiàn)：

• 手術(shù)工作流理解（Workflow Recognition）：在 EgoSurgery 數(shù)據(jù)集上，F(xiàn)1 分?jǐn)?shù)大幅提升 14.6%；在 PitVis 數(shù)據(jù)集上提升 10.3%。
• 動(dòng)作三元組識(shí)別（Action Triplet Recognition）：在行業(yè)公認(rèn)的 CholecT50 數(shù)據(jù)集上，以39.54% mAP-IVT 的優(yōu)異成績(jī)刷新世界紀(jì)錄；
• 靜態(tài)視覺(jué)與幾何感知：在深度估計(jì)任務(wù)中，誤差平均降低2.95%；在息肉 / 病灶分割任務(wù)中，精度相較于既有最強(qiáng)模型平均提升約1.0%，展現(xiàn)出極強(qiáng)的空間幾何感知力。

無(wú)論是宏觀的手術(shù)步驟推理，還是微觀的器械 - 組織交互，SurgMotion 都用詳盡的評(píng)測(cè)數(shù)據(jù)證明了其作為通用底座的強(qiáng)大實(shí)力。

圖 5. SurgMotion 在各項(xiàng)主流手術(shù)理解任務(wù)及科室中的性能雷達(dá)圖

05. 全球生態(tài)共鳴：推動(dòng)技術(shù)落地與合作

對(duì)于廣大醫(yī)療 AI 科研團(tuán)隊(duì)而言，數(shù)據(jù)清洗、算力開(kāi)銷(xiāo)以及繁瑣的環(huán)境配置往往是阻礙創(chuàng)新的最大痛點(diǎn)。因此，SurgMotion 在 GitHub 和 Hugging Face 上全面開(kāi)放了模型權(quán)重、微調(diào)代碼、開(kāi)箱即用的評(píng)估框架與環(huán)境配置接口。自發(fā)布以來(lái)，SurgMotion 的影響力已從學(xué)術(shù)界快速延伸至全球醫(yī)療技術(shù)與臨床研究生態(tài)，并在產(chǎn)業(yè)界、科研機(jī)構(gòu)和臨床場(chǎng)景中形成廣泛共鳴：

• 產(chǎn)業(yè)合作方面：已有至少5 家醫(yī)療科技企業(yè)和行業(yè)機(jī)構(gòu)申請(qǐng)使用 SurgMotion，包括Intuitive Surgical（達(dá)芬奇手術(shù)機(jī)器人公司）、Karl Storz（內(nèi)鏡設(shè)備龍頭）和ZEISS（光學(xué)與醫(yī)療設(shè)備企業(yè)）等研發(fā)團(tuán)隊(duì)，用于手術(shù)視頻理解、內(nèi)鏡智能分析、機(jī)器人輔助手術(shù)等方向的技術(shù)評(píng)估與應(yīng)用探索。
• 高校與科研生態(tài)方面：已有至少22 所高校和科研機(jī)構(gòu)加入 SurgMotion 的使用與驗(yàn)證，包括Duke University、慕尼黑工業(yè)大學(xué)（TUM）、悉尼大學(xué)、香港科技大學(xué)、澳門(mén)大學(xué)等團(tuán)隊(duì)，研究方向覆蓋手術(shù) VLA 模型開(kāi)發(fā)、視頻特征提取、時(shí)序推理、手術(shù)動(dòng)作理解和多模態(tài)手術(shù)智能等前沿領(lǐng)域。
• 臨床實(shí)踐合作方面：已有至少 7 家醫(yī)院、醫(yī)學(xué)院及臨床相關(guān)機(jī)構(gòu)申請(qǐng)使用 SurgMotion，包括 Samsung Medical Center、Bucheon Sejong Hospital、Southern Medical University、Thomas Jefferson 等機(jī)構(gòu)，圍繞手術(shù)教學(xué)、術(shù)中質(zhì)量評(píng)估、數(shù)據(jù)質(zhì)控和結(jié)構(gòu)化復(fù)盤(pán)等真實(shí)臨床需求開(kāi)展探索。特別是，SurgMotion 團(tuán)隊(duì)與港大深圳醫(yī)院緊密合作，通過(guò)自動(dòng)化手術(shù)視頻結(jié)構(gòu)化分析，推動(dòng)手術(shù)標(biāo)準(zhǔn)化教學(xué)、手術(shù)質(zhì)量復(fù)盤(pán)與臨床質(zhì)控流程的智能化升級(jí)。

這一生態(tài)擴(kuò)展為 SurgMotion 提供了從基礎(chǔ)研究、產(chǎn)業(yè)驗(yàn)證到臨床落地的多維應(yīng)用場(chǎng)景，也進(jìn)一步體現(xiàn)了其作為手術(shù)視頻基礎(chǔ)模型的通用能力與真實(shí)世界價(jià)值。

中國(guó)科學(xué)院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心聚焦人工智能與生命健康的融合創(chuàng)新，圍繞多模態(tài)大模型、具身智能、數(shù)字孿生開(kāi)展研發(fā)，入選香港InnoHK計(jì)劃。中心堅(jiān)持臨床和產(chǎn)業(yè)需求為驅(qū)動(dòng)，以為醫(yī)生患者創(chuàng)造價(jià)值為目標(biāo)，成建制開(kāi)展面向醫(yī)療AI 的研發(fā)與轉(zhuǎn)化。