清華大學發布ProteinOPD：面向蛋白質設計高效多目標偏好對齊框架

作者 | 論文團隊

編輯丨ScienceAI

當前，蛋白質語言模型正從「生成合理蛋白序列」逐步走向「按需生成具有特定性質的蛋白序列」。在合成生物學和藥物發現等場景中，研究者往往不只希望模型生成結構合理的蛋白，還希望候選序列同時具備更高折疊性、更好溶解性、更強熱穩定性等多種屬性。然而，多目標蛋白質偏好對齊長期面臨核心挑戰：在提升目標屬性的同時，模型容易遺忘預訓練階段獲得的蛋白設計能力，并且難以在多個相互競爭的偏好目標之間取得穩定平衡。

近日，清華大學高子琪團隊聯合 IDEA AI4S 團隊提出 ProteinOPD，該工作的主要貢獻如下：

1. 解決蛋白質偏好對齊中的多目標難點。ProteinOPD 是一個面向蛋白質設計的高效多目標偏好對齊框架，在提升目標屬性的同時，保留蛋白語言模型原有的設計能力與生成分布質量。

2. 提出多教師 OPD 的一種有效實現形式。該方法將預訓練蛋白語言模型適配為多個偏好專屬教師，并通過 normalized Product-of-Experts 構造幾何共識分布，使學生模型能夠在自身生成軌跡上接受 token-level on-policy distillation，從而將 OPD 從單教師、單目標設置擴展到多教師、多目標偏好對齊場景。

3. 提供較完整的開源支持。項目已開放論文、代碼、項目主頁和 Colab 體驗入口，覆蓋無條件生成與條件生成兩類設置，并提供教師構建、ProteinOPD 訓練、序列生成和推理體驗等關鍵流程，便于社區復現與后續擴展。

論文地址：https://arxiv.org/abs/2605.10189

開源地址：https://github.com/THU-AI4S/ProteinOPD

Colab 鏈接：https://colab.research.google.com/github/THU-AI4S/ProteinOPD/blob/main/notebooks/proteinopd_inference.ipynb

在模型表現方面，ProteinOPD 在多目標場景下取得了最優偏好對齊表現，同時對設計能力造成的損傷最小。以 ProtGPT2 為基礎模型時，ProteinOPD 分別將 foldability、solubility 和 thermostability 提升 14.8%、16.9% 與 54.2%；同時，其偏好對齊性能可在約 1/8 的訓練時間內達到 RL 方法的水平。

方法設計

ProteinOPD 的思路是將「偏好獲取」和「偏好組合」解耦。首先，針對折疊性、溶解性、熱穩定性等目標偏好，框架使用屬性 oracle 對蛋白序列進行打分，并選取少量高分樣本構建偏好專屬訓練集。隨后，通過輕量化適配，將預訓練蛋白語言模型轉化為多個偏好專屬教師。每個教師負責提供一種偏好的生成方向，而不是要求單個模型同時承擔全部目標。

在學生訓練階段，ProteinOPD 不采用傳統離線模仿方式，而是在學生模型自己的生成軌跡上進行 on-policy distillation。具體而言，學生模型先生成當前會訪問的蛋白序列前綴，教師模型再基于這些前綴給出下一 token 的概率分布。相比只在固定數據集上訓練，這種機制能夠讓學生在自身實際訪問的狀態空間中獲得糾正信號，從而緩解訓練階段與生成階段的分布不一致問題。同時，token-level 分布監督也比序列級獎勵更密集，有助于提升訓練效率和穩定性。

對于多目標偏好對齊，ProteinOPD 的關鍵設計是多教師 OPD。研究團隊將多個偏好教師的 next-token 分布通過 normalized Product-of-Experts 進行組合，形成一個幾何共識目標。與算術平均不同，幾何共識更強調多個教師共同支持的 token：只有當多個偏好教師都傾向于某個氨基酸選擇時，該 token 才會在共識分布中獲得更高權重。這一設計使模型更傾向于尋找多種偏好之間的交集，而不是被某一個目標單獨牽引。

這一機制還帶來一個重要性質：歸一化項可以反映教師之間的分歧程度。當多個教師在某個序列前綴上意見一致時，目標偏好之間沖突較小；當教師分布明顯不一致時，沖突程度增大。因此，ProteinOPD 不僅提供了多教師偏好組合的訓練目標，也為觀察多屬性之間的內部競爭提供了一個無需額外計算的信號。

模型性能

1. 多目標偏好對齊取得帕累托最優。(1) 相比評估中最強的跨范式參考方法 MoMPNN，ProteinOPD 的 HV 提升 34.8%。(2) 與基礎模型 ProtGPT2 相比，ProteinOPD 分別將蛋白可折疊性、溶解性和熱穩定性提升 14.8%、16.9% 與 54.2%。

論文主表：無條件設置下多目標偏好對齊性能對比。

2. 單目標實驗顯示 ProteinOPD 能夠轉移 SFT 教師的偏好能力同時緩解直接微調造成的蛋白設計能力的下降。(1) 在無條件生成中，ProteinOPD 在保留大部分屬性收益的同時，將新穎性損失控制在更低水平。(2) 在條件生成中，ProteinOPD 還提升了 ProTrek Score，說明模型在偏好對齊過程中沒有破壞原有條件一致性。

3. 訓練成本大幅降低。(1) ProteinOPD 相比 RL 類方法可以更快提升熱穩定性，并取得約 8 倍訓練加速。 (2) 教師構建只需要少量經 oracle 篩選的高質量樣本，使整體流程更適合實際蛋白設計中的快速迭代需求。

樣例研究

論文進一步給出了 ProteinOPD 與 ASPO 的生成樣例對比。為確保比較集中在多屬性對齊能力上，作者選取熱穩定性均超過 0.95 的樣例，并要求生成序列與 UniRef 的最大序列一致性低于 5%。在可視化結果中，ProteinOPD 生成樣例的 pLDDT 達到 0.73，高于 ASPO 的 0.49；溶解性得分達到 0.69，高于 ASPO 的 0.43。這表明 ProteinOPD 不僅能提升單一屬性，還能在保持新穎性的同時實現更有效的多屬性對齊。

ProteinOPD 為蛋白質偏好對齊提供了一條高效路徑：用輕量教師學習單一偏好，用多教師幾何共識處理目標沖突，再通過學生自身軌跡上的 token-level OPD 完成穩定遷移。該工作將 OPD 從語言模型偏好對齊拓展到蛋白質設計場景，并進一步推進到多目標、多教師設置，為生成式蛋白設計中的高效偏好對齊提供了新的技術參考。