Nature BME：黃治團隊開發病理AI智能體，讓AI像病理醫生一樣閱片診斷

編輯丨王多魚

排版丨水成文

診斷一張千兆像素的病理切片，從來不是「看一眼就下結論」。病理醫生會先在低倍鏡下掃視全局，鎖定可疑區域后再逐級放大，反復穿梭于不同倍率與視野之間——這是一個「邊看邊想」的交互過程。然而，恰恰是專家這套最寶貴的閱片經驗，幾乎從未進入過人工智能（AI）的訓練數據。

2026 年 7 月 24日，賓夕法尼亞大學黃治（Zhi Huang）團隊（王晟、Ruiming Wu為論文共同第一作者）領銜，聯合斯坦福大學、加州大學舊金山分校的研究人員，在Nature Biomedical Engineering期刊發表了題為：Pathology-CoT: learning visual chain-of-thought agents from expert whole-slide image diagnosis behaviour 的研究論文。

該研究提出了Pathology-CoT框架，把病理專家閱片時「看哪里、為什么看」的隱性經驗，轉化為可規模化的 AI 訓練數據，并據此開發出病理 AI 智能體——Pathology-o3——它能像專家一樣自主導航全切片、給出可解釋的診斷，在胃腸道淋巴結轉移檢測任務上以84.5% 的精確率、100% 的召回率，顯著超越 OpenAI 的推理模型 GPT-o3，其閱片路徑也與資深主治病理醫生高度一致。

病理 AI 的瓶頸：不在模型，而在數據

過去兩年，病理基礎模型與視覺語言模型（VLM）的進展，讓AI病理智能體成為可能。所謂智能體（Agent），是指能夠感知環境、借助大語言模型進行推理與任務編排，并通過縮放、平移、選取區域等一系列動作，去完成復雜診斷目標的系統。

但黃治團隊指出，當前真正的瓶頸已經從模型架構轉移到了數據。與編程或數學不同，臨床診斷無法靠簡單的規則化獎勵來引導——智能體必須學會病理醫生「如何查看切片」以及「針對每個任務應該關注哪些區域」。而現有數據集要么是從互聯網爬取的圖文對，要么是全切片與報告的配對，都缺失了最關鍵的一環：專家的閱片行為。

現代數字病理系統其實一直在默默記錄這些行為，問題在于，這些「數字尾氣」（digital exhaust）高頻、嘈雜且極其冗長：主動瀏覽的采樣率約為10 Hz，平均每張切片會產生257次以上的視野變更事件。如果把原始視野直接喂給視覺語言模型，單個病例將產生超過50萬個視覺 token，遠超當前模型的上下文上限，根本無法有效學習。

AI 閱片記錄儀將連續、嘈雜的用戶日志（a），轉化為離散、有意義的行為指令，并經人在回路核驗生成 Pathology-CoT 數據集（b）；10.6 小時的結直腸癌淋巴結隊列包含 5222 輪對話（c），標注效率較手工提升約六倍（d）

AI 閱片記錄儀：把鼠標軌跡變成 AI 訓練數據

研究團隊開發了一款病理AI 閱片記錄儀（AI Session Recorder），它可以在標準全切片閱片軟件中無感知地運行。受物理顯微鏡物鏡切換的啟發，它把混亂的操作流離散化為緊湊的行為指令：低倍率下的廣域巡視（inspect）或高倍率下的快速細看（peek），并各自綁定一個標準化的關注區域（ROI）。同時，系統用這些區域去提示視覺語言模型，由 AI 起草「為什么看這里、能看到什么」的推理，再交由病理醫生快速核驗或修改。

這套「人在回路」的設計帶來了效率的量變。計時研究顯示：核驗者確認一輪 AI 草稿平均只需十幾秒，即使需要修改也遠快于從零標注。綜合下來，該流程比手工打字標注快約5-6 倍、比口述快約 3-4 倍，且約80%的 AI 生成文本無需任何修改。為驗證記錄儀捕捉到的確實是「專家的注意力」，研究團隊還同步接入眼動追蹤設備，結果證實記錄儀生成的 ROI 與病理醫生的真實視線高度吻合。

最終形成的Pathology-CoT數據集，來自斯坦福醫學 8 位病理醫生（涵蓋主治、?？婆嘤栣t師與住院醫師）在 25 個病例、137 張切片上共 10.6 小時的閱片記錄，包含 921 個會話、5222 輪對話——它不僅記錄了專家「看哪里」，更捕捉了「為什么這里重要」。

Pathology-o3：先決定「看哪里」，再回答「看到了什么」

有了這批數據，研究團隊構建了模仿病理醫生工作流的智能體——Pathology-o3。它分兩步走：先由一個行為預測器在新切片上提出診斷相關的區域，再對每個區域自動裁切出高分辨率視野、注入任務上下文，交由視覺語言模型逐區推理，最后綜合成病例級結論。整個過程會輸出一條可讀、可核查的「視覺思維鏈」。

Pathology-o3 的工作流程（a）、一個真實的「思維鏈」示例（b），以及在淋巴結轉移任務上的定量比較（c）——它在保持完美召回的同時取得最佳總體準確率

在胃腸道淋巴結轉移檢測這一常見且耗時的任務上，Pathology-o3 達到了84.5% 精確率、100% 召回率、75.4% 準確率。作為對比，表現次優的 OpenAI GPT-o3 分別為 46.7%、87.5%、57.8%。不具備思維鏈能力的模型則普遍失衡：GPT-4.1 召回率高達 91.7%、精確率卻只有 42.3%；Llama-4 精確率 75.0%、召回率僅 6.2%。

更值得注意的是最難的「邊緣病例」——直徑不足 0.2 毫米的孤立腫瘤細胞：常規模型紛紛失手，而 Pathology-o3 依靠主動放大保持了穩健的敏感性?？缒Ｐ偷膶φ者M一步說明了行為數據本身的價值：只需在有限數據上訓練一個輕量的行為預測器，就能把專家的閱片策略「蒸餾」成可無限復用的資產，而不必持續投入大規模的專家標注。

它是真的在「像人一樣閱片」

為了檢驗智能體學到的究竟是不是導航能力，研究團隊把行為預測器撤掉，讓各家視覺語言模型自己決定看哪里，再與一位有 12 年經驗的資深胃腸道主治病理醫生的真實閱片路徑對比。結果，未經行為引導的通用模型選區零散、低產，而 Pathology-o3 的注意力則牢牢落在臨床上真正有意義的位置，與主治醫師的實際行為高度重疊。

六個病例上各模型選取的關注區域（紅框）。通用視覺語言模型選區零散，而 Pathology-o3 集中在與主治醫師真實行為高度重疊的關鍵位點

這揭示出一道被長期忽視的鴻溝：視覺語言模型強大的分析能力，來自海量靜態、預先裁切好的圖像；而它們導航失敗的根源，正是缺少「與復雜環境持續視覺交互」的數據。分析與導航，是兩種不同的能力。

換了掃描儀、國家和器官，依然有效

在完全獨立的外部驗證隊列 LNCO2 上（來自瑞典的 321 張切片，使用不同掃描儀與倍率，與訓練數據存在明顯差異），基于美國病理醫生行為訓練的 Pathology-o3 仍取得了97.6% 的近乎完美召回率，精確率是次優模型的兩倍以上。這說明，在「如何看、看哪里」層面上的監督，比像素級監督更能抵抗圖像外觀的變化。

研究團隊進一步把框架遷移到組織結構完全不同的皮膚病理。重新訓練后的 Pathology-o3 在外部皮膚病理隊列上腫瘤檢出召回率達 100%；尤為亮眼的是，在最具挑戰的黑色素細胞腫瘤上，零樣本的 Pathology-o3 取得88.9% 的召回率，甚至超過了在全量數據上完全監督訓練的最佳模型。

在外部皮膚病理隊列上，Pathology-o3 學會主動放大到真皮—表皮交界處、異型細胞巢等解剖學標志，從而分辨出低倍率下不可見的細微形態特征

總的來說，這項研究把「AI如何學會像病理專家一樣看片」這一核心難題向前推進了一步。它給出的答案不是更大的模型，而是一臺更好的數據引擎：把每天都在臨床工作中自然產生、卻被白白丟棄的閱片行為，轉化為可規?；⑴R床可信的監督信號，為構建行為對齊、臨床可信的數字病理智能體提供了新范式。

黃治博士

論文通訊作者黃治博士現任賓夕法尼亞大學佩雷爾曼醫學院終身教軌助理教授（Tenure-track Assistant Professor）。2026 年獲評賓夕法尼亞大學 Abramson Cancer Center 與 Breakthrough Challenge Foundation 聯合設立的 Buz Cooper Scholar。黃治實驗室致力于開發新一代醫療人工智能基礎模型與智能體（Agentic AI）系統，重點研究多模態視覺語言大模型、多組學人工智能及醫學影像智能分析，服務于醫療診斷、精準醫療與臨床決策。作為第一作者，他發表了病理視覺語言基礎模型（Nature Medicine 2023，封面論文）、醫療診斷人機協作框架（Nature Biomedical Engineering 2024，封面論文）、神經退行性疾病 AI 研究（Nature Communications 2023）等系列代表性成果，相關研究發表于 Nature、Nature Biomedical Engineering、Nature Medicine、Cancer Cell、等國際知名期刊。

2022 年，黃治聯合創立數字病理人機交互 AI 平臺——nuclei.io，入選 2023 年 Stanford Catalyst 全校僅九項重點創新項目之一。實驗室自成立以來，已以第一或通訊作者身份在 Nature、Nature Biomedical Engineering、Cancer Cell 等國際頂級期刊發表多項研究成果與評論文章，持續推動 AI 在醫學診斷領域的基礎研究與臨床轉化。

賓夕法尼亞大學黃治實驗室擁有豐富的醫療數據資源與高性能計算平臺。賓夕法尼亞大學病理學系是佩雷爾曼醫學院兩大以醫院為基礎的臨床學系之一，每年完成約 1000 萬例病理及相關醫學診斷；實驗室配備多臺 NVIDIA H200 GPU 服務器，為大規模人工智能模型訓練與醫學多模態數據分析提供強大的計算支持。實驗室長期歡迎海內外優秀人才申請博士與博士后崗位。

論文鏈接：

https://www.nature.com/articles/s41551-026-01739-y

代碼與數據：

https://github.com/zhihuanglab/Pathology-CoT

實驗室主頁：

https://www.zhihuang.ai/

賓大病理系：

https://pathology.med.upenn.edu/