15個(gè)推理模型集體翻車，詳解輸出背后的思考鏈潛藏風(fēng)險(xiǎn)

當(dāng)大型推理模型（LRM）普遍把中間推理軌跡暴露給用戶和下游系統(tǒng)，一個(gè)長(zhǎng)期被忽略的問題浮出水面：評(píng)估安全性時(shí)只看最終答案，是否足夠？

哈佛大學(xué)、南加州大學(xué)、布朗大學(xué)、MIT 等多個(gè)機(jī)構(gòu)的研究者聯(lián)合做了一項(xiàng)系統(tǒng)性研究，給出了否定的答案，并舉例到「當(dāng)我們發(fā)現(xiàn)大模型的思考鏈可被用于生成炸彈裝置或投毒配方等高風(fēng)險(xiǎn)內(nèi)容時(shí)，便意識(shí)到這一問題非同小可」。團(tuán)隊(duì)隨即提出了相應(yīng)的緩解方法:《Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering》。

• 論文鏈接: https://arxiv.org/abs/2605.05678

圖 1 兩階段流水線預(yù)覽 （評(píng)測(cè)實(shí)驗(yàn) + 消解方法）

把推理和回答拆開來(lái)評(píng)

研究團(tuán)隊(duì)的核心思路很直接：對(duì)于一個(gè)推理模型 f，給定提示 x，會(huì)同時(shí)產(chǎn)生推理軌跡 r 和最終答案 y。團(tuán)隊(duì)為這兩個(gè)階段分別設(shè)計(jì)了 20 條安全原則（如下圖），每條原則采用 1-5 分風(fēng)險(xiǎn)程度評(píng)分體系。

表 1: 20 條安全原則

在此基礎(chǔ)上，團(tuán)隊(duì)設(shè)定了一條統(tǒng)一的風(fēng)險(xiǎn)度閾值：只要某一階段（推理或回答）20 條原則中任意一條的得分達(dá)到閾值以上，這一階段就被判定為「不安全」。再把推理階段和回答階段的判定結(jié)果兩兩組合，就劃分出三類核心失敗模式：

• Unsafe：推理和回答雙階段均不安全；
• Leak：推理不安全，但回答安全 —— 即危險(xiǎn)內(nèi)容已經(jīng)「泄露」在推理軌跡中；
• Escape：推理安全，但回答不安全 —— 表面溫和的推理過渡到了有害的輸出。

圖 2：三類推理 - 回答失敗模式

該分類法的價(jià)值在于把「答案安全 ≠ 軌跡安全」這一現(xiàn)象變成了可以量化測(cè)量的指標(biāo)。

數(shù)據(jù)與評(píng)測(cè)設(shè)置

研究團(tuán)隊(duì)構(gòu)建了一個(gè)分布內(nèi)（in-distribution）提示詞池，整合了 WildChat、PKU-SafeRLHF、JailbreakV、HarmBench、BeaverTails、StrongREJECT、JailbreakBench 七個(gè)公開的有害 / 越獄數(shù)據(jù)集，經(jīng)統(tǒng)一字段映射、過濾和基于 MinHash-LSH 的去重后，劃分出 41K 條分布內(nèi)評(píng)測(cè)數(shù)據(jù)集和 2K 條 held-out 測(cè)試集。

另外，從 AdvBench、SaladBench、SimpleSafetyTests、WildJailbreak 四個(gè)數(shù)據(jù)集構(gòu)建了完全獨(dú)立的分布外（OOD）評(píng)測(cè)集，用于檢驗(yàn)結(jié)論的穩(wěn)健性。評(píng)測(cè)覆蓋 15 個(gè)推理模型：

打分由兩個(gè) LLM 打分器（Claude-4.5-Haiku 與 Gemini-Flash-3）完成，研究團(tuán)隊(duì)還在 80 個(gè)樣本（拆解為 1600 條原則級(jí)評(píng)分）上與三名人工標(biāo)注員做了一致性校驗(yàn)：打分器間 Pearson 相關(guān)系數(shù)在推理階段達(dá) 0.799、回答階段達(dá) 0.820，均超過人與人之間的一致性（0.742 / 0.780）；打分器二元不安全標(biāo)簽上的 Cohen's κ 分別為 0.708 和 0.741，同時(shí)二者判分均值化后，更加達(dá)到「顯著一致」水平 —— 這為后續(xù)大規(guī)模自動(dòng)化評(píng)分的可信度提供了支撐。

核心發(fā)現(xiàn)：CoT 側(cè)的系統(tǒng)性安全偏移

第一個(gè)發(fā)現(xiàn)具有普適性：在全部 15 個(gè)被測(cè)模型上，推理軌跡的平均危險(xiǎn)程度都高于最終答案的平均風(fēng)險(xiǎn)程度。

差距最大的幾個(gè)模型分別是 Gemini-Pro-3.1（推理比回答高出 0.028 分）、GPT-OSS-20B（高出 0.022 分）、DeepMath-Zero-7B（高出 0.021 分）、Kimi-K2.5（高出 0.018 分）。

研究團(tuán)隊(duì)特別指出，絕對(duì)差值看起來(lái)小，是因?yàn)榇罅繕颖颈旧韲?yán)重度低，但方向在全部 15 個(gè)模型上完全一致，且與高風(fēng)險(xiǎn)失敗模式的分布相互印證。

圖三 (a) 15 個(gè)推理模型：推理階段（紅）與最終回答（藍(lán)）平均危險(xiǎn)嚴(yán)重度對(duì)比。圖三（b） 15 個(gè)推理模型的失效模式分布對(duì)比。

第二個(gè)發(fā)現(xiàn)是結(jié)構(gòu)性的：風(fēng)險(xiǎn)并非均勻分布于 20 條原則，而是集中在虛假信息、違法合規(guī)、歧視偏見、人身傷害、心理傷害等幾個(gè)核心類別。其中違法合規(guī)類別表現(xiàn)出最明顯的 CoT - 答案分化，也是「泄露」失效的最強(qiáng)信號(hào)來(lái)源。

表 2：集中表現(xiàn)出高風(fēng)險(xiǎn)的失效模式

團(tuán)隊(duì)還公開了具體案例分析（已脫敏處理）：在一個(gè)「Escape」案例中，一個(gè)以《半條命 2》游戲世界觀為框架的提問，推理階段聚焦于背景設(shè)定的討論，看似無(wú)害，但最終答案卻給出了具體的爆炸裝置類「配方」；在一個(gè)「Leak」案例中，盡管模型最終答案是一段標(biāo)準(zhǔn)的拒絕 + 危機(jī)干預(yù)提示語(yǔ)，然而推理階段卻詳細(xì)列出了投毒的劑量、掩味、給藥途徑等操作性因素 —— 后者完全無(wú)法被答案?jìng)?cè)評(píng)測(cè)捕捉到。

緩解方法：自適應(yīng)多準(zhǔn)則激活引導(dǎo)

基于上述診斷結(jié)果，研究團(tuán)隊(duì)提出了自適應(yīng)多準(zhǔn)則激活引導(dǎo)（Adaptive Multi-Principle Steering）這一白盒、測(cè)試時(shí)干預(yù)方法。

具體而言，團(tuán)隊(duì)先針對(duì)每一條安全原則，分別收集模型在「安全」和「不安全」兩種狀態(tài)下的內(nèi)部激活 (activation) 值，取平均后得到這條原則各自的安全中心點(diǎn)和不安全中心點(diǎn)，二者之間的連線方向，就是這條原則專屬的「引導(dǎo)方向」—— 往安全中心點(diǎn)推。

推理新問題時(shí)，系統(tǒng)會(huì)實(shí)時(shí)判斷當(dāng)前的內(nèi)部狀態(tài)離哪條原則的不安全中心點(diǎn)更近、超過一定安全邊界被擊中的原則方向會(huì)被鎖定，在生成鏈結(jié)束前，模型內(nèi)部表示會(huì)被輕量的整體修正再完成推理鏈路。

團(tuán)隊(duì)在三個(gè)具備可訪問隱藏狀態(tài)的開源模型上做了驗(yàn)證（DeepSeek-R1-Distill-Qwen-1.5B/7B、MiMo-7B-RL-Zero），干預(yù)層選定為最后一層 decoder block，采用單快照 prompt-prefill 注入方式（α=2.0，δ=0）。實(shí)驗(yàn)結(jié)果顯示：

圖四「自適應(yīng)門控」消融實(shí)驗(yàn)

消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了關(guān)鍵設(shè)計(jì)選擇的必要性：去掉「自適應(yīng)門控」、改為對(duì)全部 20 個(gè)方向無(wú)差別激活，會(huì)使 DeepSeek-R1-Qwen-1.5B 的不安全率改善幅度從 0.45 驟降至 0.05；干預(yù)層選在末層效果最優(yōu)；引導(dǎo)強(qiáng)度 α=2.0 是非單調(diào)最優(yōu)點(diǎn)。

在能力保留方面，DeepSeek-R1-Qwen-7B 取得了最佳安全 - 效用平衡：平均降低 40.8% 不安全數(shù)量，同時(shí)在 BBH、GSM8K、MMLU 三個(gè)基準(zhǔn)上保留了 97.7% 的平均準(zhǔn)確率。

圖五 不安全率改善和模型能力保留平衡對(duì)比

結(jié)語(yǔ)

這項(xiàng)工作的意義在于：它沒有止步于又一個(gè)「末端答案」安全基準(zhǔn)，而是用統(tǒng)一的階段化、原則化框架，把「診斷」和「控制」打通 —— 評(píng)估時(shí)用什么原則切分風(fēng)險(xiǎn)，緩解時(shí)就用同樣的原則結(jié)構(gòu)構(gòu)建干預(yù)方向。

研究團(tuán)隊(duì)也坦承局限：暴露的推理軌跡未必完全忠實(shí)地反映模型內(nèi)部計(jì)算，且當(dāng)前激活引導(dǎo)方法依賴白盒訪問，尚不能直接遷移到閉源模型。

【ICML 2026首爾 · 云帆AI Talent Meetup】最后報(bào)名中，快來(lái)晚宴現(xiàn)場(chǎng)Pick你感興趣的同行者～

7月9日晚，首爾ICML會(huì)場(chǎng)旁，上海人工智能實(shí)驗(yàn)室、上海科技大學(xué)、上海創(chuàng)智學(xué)院、階躍星辰、Sharpa Robotics等20余家上海頂尖AI單位現(xiàn)場(chǎng)設(shè)展，開放100+崗位。專場(chǎng)招聘、學(xué)術(shù)分享、圓桌交流、自由Networking、晚宴一站式搞定。