中國(guó)人民大學(xué)團(tuán)隊(duì)提出R3LM，讓LLM在生命序列上學(xué)會(huì)有依據(jù)地推理

作者 | 論文團(tuán)隊(duì)

編輯丨ScienceAI

為什么大語(yǔ)言模型已經(jīng)能寫(xiě)代碼、解數(shù)學(xué)題、 完成復(fù)雜推理，一遇到 DNA 序列卻常常失靈？

一段 DNA 在模型眼里通常只是「ACGTACGT……」這樣的長(zhǎng)字符串。但在生物學(xué)家眼中，同一段序列包含著更豐富的調(diào)控信息：哪些轉(zhuǎn)錄因子可能結(jié)合，motif 出現(xiàn)在哪里，它們?nèi)绾闻帕校珿C 含量暗示了怎樣的序列背景，不同細(xì)胞類(lèi)型下這些信號(hào)又可能產(chǎn)生什么功能差異。

圍繞這一問(wèn)題，中國(guó)人民大學(xué)高瓴人工智能學(xué)院研究團(tuán)隊(duì)提出 R3LM（Reasoning Regression Reward Language Model），探索了一條讓大語(yǔ)言模型理解生命序列的新路徑：先把原始 DNA 編譯成結(jié)構(gòu)化的生物學(xué)證據(jù)，再讓模型基于這些證據(jù)進(jìn)行機(jī)制推理，最終輸出可解釋的調(diào)控活性預(yù)測(cè)。

相關(guān)論文《Biological Reasoning-Informed Regression for Interpretable Regulatory DNA Activity Prediction》已被 KDD 2026 接收。

論文地址：https://arxiv.org/pdf/2606.08147

讓 LLM 讀 DNA，先要改變「輸入語(yǔ)言」

順式調(diào)控元件（cis-regulatory elements, CREs）是基因組中控制基因表達(dá)的重要區(qū)域。準(zhǔn)確預(yù)測(cè) CRE 活性，對(duì)于合成生物學(xué)、代謝工程、個(gè)性化醫(yī)學(xué)和智慧農(nóng)業(yè)等方向具有重要價(jià)值。

近年來(lái)，深度學(xué)習(xí)模型已經(jīng)能夠從 DNA 序列直接預(yù)測(cè)調(diào)控活性。但這類(lèi)方法大多以黑箱方式工作：模型可以給出一個(gè)分?jǐn)?shù)，卻很難說(shuō)明這個(gè)分?jǐn)?shù)來(lái)自哪些生物學(xué)證據(jù)。當(dāng)模型被用于序列設(shè)計(jì)時(shí)，這種黑箱 reward model 還可能帶來(lái) reward hacking 風(fēng)險(xiǎn)，即算法找到一批模型打分很高、但生物學(xué)上缺乏可信機(jī)制的候選序列。

R3LM 的出發(fā)點(diǎn)很直接：如果希望 LLM 參與 DNA 建模，就需要把 DNA 轉(zhuǎn)寫(xiě)成它更容易處理、也更符合生物學(xué)邏輯的結(jié)構(gòu)化表示。

為此，團(tuán)隊(duì)設(shè)計(jì)了 Regulatory Context Card（RCC）。RCC 可以理解為一張 DNA 的「調(diào)控上下文卡片」，它把原始序列整理成多類(lèi)可檢查的信息，包括：

• motif 證據(jù)：轉(zhuǎn)錄因子結(jié)合位點(diǎn)、位置、方向和匹配強(qiáng)度；
• 序列統(tǒng)計(jì)：如 GC 含量等全局背景特征；
• 調(diào)控語(yǔ)法：motif 共現(xiàn)、聚集、間距和組合關(guān)系；
• 實(shí)驗(yàn)上下文：如細(xì)胞類(lèi)型、測(cè)量條件等；
• 原始序列：保留底層信息，便于追溯。

通過(guò) RCC，模型面對(duì)的從單純四種堿基字符的排列，轉(zhuǎn)變?yōu)橐唤M有結(jié)構(gòu)、有來(lái)源、有生物學(xué)含義的證據(jù)。初步實(shí)驗(yàn)也顯示，直接讓 LLM 讀取原始 DNA 序列表現(xiàn)較弱；加入 motif 和 GC 等上下文后，模型對(duì)調(diào)控活性的判斷能力顯著提升。這說(shuō)明 LLM 并非完全缺乏推理潛力，真正的瓶頸在于 DNA 如何被表達(dá)給模型。

從「打分」到「說(shuō)明為什么打分」

只有結(jié)構(gòu)化輸入還不夠。研究團(tuán)隊(duì)進(jìn)一步構(gòu)建了 CRE-ReasonBench，為調(diào)控 DNA 樣本補(bǔ)充機(jī)制推理軌跡。每個(gè)樣本不僅包含 DNA 序列和活性標(biāo)簽，還包含一段基于 RCC 證據(jù)生成的推理過(guò)程，例如先分析 GC 含量，再檢查關(guān)鍵 motif，再結(jié)合細(xì)胞類(lèi)型背景判斷可能的增強(qiáng)子活性。

在此基礎(chǔ)上，R3LM 采用兩階段訓(xùn)練：

第一階段，讓模型學(xué)習(xí)根據(jù) RCC 生成結(jié)構(gòu)化機(jī)制解釋?zhuān)莆铡溉绾螐淖C據(jù)推向生物學(xué)判斷」。

第二階段，將 RCC 和模型生成的推理軌跡一起輸入回歸模型，預(yù)測(cè)連續(xù)調(diào)控活性分?jǐn)?shù)。為了避免模型直接依賴離散標(biāo)簽，訓(xùn)練時(shí)會(huì)移除推理文本中的最終等級(jí)結(jié)論，使模型必須根據(jù)證據(jù)和推理過(guò)程完成預(yù)測(cè)。

這樣，R3LM 輸出的結(jié)果包含兩個(gè)層面：一個(gè)可用于序列優(yōu)化的活性分?jǐn)?shù)，以及一段可供研究人員檢查的生物學(xué)解釋。

圖 1：R3LM 框架總覽。圖中展示 RCC 構(gòu)建、CRE-ReasonBench 數(shù)據(jù)生成、兩階段訓(xùn)練流程。

實(shí)驗(yàn)：結(jié)構(gòu)化證據(jù)讓 LLM 更接近 DNA 專(zhuān)用模型

團(tuán)隊(duì)在 K562、HepG2 和 SK-N-SH 三種細(xì)胞類(lèi)型的增強(qiáng)子活性預(yù)測(cè)任務(wù)上評(píng)估了 R3LM。結(jié)果顯示，直接讀取原始 DNA 的 LLM 表現(xiàn)明顯受限；使用 RCC 后，LLM 性能大幅提升；進(jìn)一步加入機(jī)制推理后，R3LM 在 K562 和 HepG2 上取得最佳表現(xiàn)，在 SK-N-SH 上也保持較強(qiáng)競(jìng)爭(zhēng)力。

圖 2：調(diào)控活性預(yù)測(cè)性能對(duì)比。表格展示 R3LM、Enformer、DNABERT-2、NT 以及 Qwen 基線在三個(gè)細(xì)胞類(lèi)型上的 Pearson 相關(guān)系數(shù)和 RMSE。

以 K562 為例，Qwen 直接讀取原始序列時(shí) Pearson 相關(guān)系數(shù)為 0.3919；換用 RCC 后提升至 0.6886；R3LM 在自生成推理設(shè)置下進(jìn)一步達(dá)到 0.8246，超過(guò) Enformer 的 0.7990。HepG2 中，R3LM 也取得 0.8025 的相關(guān)系數(shù)，略高于 Enformer 的 0.8001。

更重要的是，R3LM 的預(yù)測(cè)過(guò)程可以被檢查。團(tuán)隊(duì)進(jìn)行的 rationale shuffling 測(cè)試顯示，若打亂推理軌跡與樣本的對(duì)應(yīng)關(guān)系，K562 上的性能會(huì)從 0.8246 降至 0.0198，說(shuō)明這些推理文本確實(shí)承載了與預(yù)測(cè)相關(guān)的信息，而非附加在結(jié)果之后的裝飾性解釋。

圖 3：階段一推理生成器診斷與 CRE-ReasonBench 統(tǒng)計(jì)。圖中展示離散活性等級(jí)誤差分布、RCC 中 motif 數(shù)量分布、推理文本長(zhǎng)度分布和 motif 覆蓋率。

邁向可解釋的生命序列智能模型

R3LM 的價(jià)值不局限于某一個(gè)增強(qiáng)子預(yù)測(cè)任務(wù)。它提出了一種更通用的思路：當(dāng) LLM 進(jìn)入基因組學(xué)場(chǎng)景時(shí)，關(guān)鍵問(wèn)題之一是如何為生命序列構(gòu)造合適的「語(yǔ)言接口」。

通過(guò) RCC，DNA 可以被轉(zhuǎn)寫(xiě)為結(jié)構(gòu)化、可審計(jì)的生物學(xué)證據(jù)；通過(guò)機(jī)制推理，模型的預(yù)測(cè)分?jǐn)?shù)可以與 motif、調(diào)控語(yǔ)法和細(xì)胞類(lèi)型背景建立聯(lián)系；通過(guò)連續(xù) reward 建模，R3LM 進(jìn)一步具備輔助 CRE 設(shè)計(jì)和序列優(yōu)化的潛力。

當(dāng)然，R3LM 仍依賴已有 motif 數(shù)據(jù)庫(kù)和生物學(xué)先驗(yàn)，目前主要在 MPRA 增強(qiáng)子數(shù)據(jù)上完成驗(yàn)證。未來(lái)，如何擴(kuò)展到更復(fù)雜的染色質(zhì)環(huán)境、更長(zhǎng)程的基因調(diào)控互作，以及更開(kāi)放的 de novo 調(diào)控語(yǔ)法發(fā)現(xiàn)，仍值得繼續(xù)探索。

總體而言，R3LM 提供了一條讓 LLM 理解 DNA 的新路徑：把生命序列從原始字符轉(zhuǎn)寫(xiě)為結(jié)構(gòu)化知識(shí)，讓模型在證據(jù)上推理，再將推理轉(zhuǎn)化為可用于設(shè)計(jì)的預(yù)測(cè)信號(hào)。這種「結(jié)構(gòu)化表達(dá) + 機(jī)制推理 + 可解釋預(yù)測(cè)」的范式，有望為下一代基因組智能模型提供新的技術(shù)支點(diǎn)。