北航、北大和美團(tuán)聯(lián)合提出：策略提升強(qiáng)化學(xué)習(xí)!

來(lái)自北航、北大、美團(tuán)的研究團(tuán)隊(duì)提出了Policy Improvement Reinforcement Learning,PIRL，以及對(duì)應(yīng)的落地算法PIPO。這項(xiàng)工作關(guān)注的是大模型 RL 后訓(xùn)練中一個(gè)非常基礎(chǔ)、但長(zhǎng)期被默認(rèn)跳過(guò)的問(wèn)題：一次更新在當(dāng)前數(shù)據(jù)上看起來(lái)優(yōu)化了學(xué)習(xí)信號(hào)，是否就真的說(shuō)明模型策略變強(qiáng)了？

過(guò)去很多 RL 后訓(xùn)練方法主要回答的是：當(dāng)前這批軌跡該怎么學(xué)？

PIRL/PIPO 進(jìn)一步追問(wèn)的是：這一步學(xué)完之后，模型真的進(jìn)步了嗎？如果進(jìn)步了，能否進(jìn)一步鞏固這一方向？如果沒(méi)有進(jìn)步，甚至帶來(lái)了負(fù)面影響，能否及時(shí)削弱或校正這次更新？

• 論文標(biāo)題：Policy Improvement Reinforcement Learning
• 論文：https://arxiv.org/abs/2604.00860
• 代碼：https://github.com/JacckMa/pipo_verl

主要貢獻(xiàn)

• 提出PIRL這一新的強(qiáng)化學(xué)習(xí)后訓(xùn)練視角。它不只看當(dāng)前批次里的獎(jiǎng)勵(lì)、優(yōu)勢(shì)估計(jì)或教師信號(hào)，而是把跨迭代的策略提升本身作為優(yōu)化目標(biāo)
• 提出PIPO這一即插即用的閉環(huán)優(yōu)化框架。PIPO 可以直接接入幾乎現(xiàn)有所有的 RL 后訓(xùn)練算法，如 PPO、GRPO、DAPO 和自蒸餾等方法。它不替代原方法中的局部學(xué)習(xí)信號(hào)，而是在其外層加入一層 “回頭驗(yàn)證” 機(jī)制：對(duì)確實(shí)帶來(lái)策略提升的更新方向進(jìn)行進(jìn)一步放大，對(duì)未能帶來(lái)提升甚至造成性能下降的更新方向進(jìn)行抑制、抵消或反向校正。
• 在數(shù)學(xué)推理、代碼、工具調(diào)用和自蒸餾設(shè)置下進(jìn)行驗(yàn)證。實(shí)驗(yàn)顯示，PIPO 在多種基礎(chǔ)算法和任務(wù)場(chǎng)景中都帶來(lái)了一致提升。

背景：RL 后訓(xùn)練已經(jīng)很強(qiáng)，

但仍然是 “開(kāi)環(huán)” 的

這兩年，大模型繼續(xù)變強(qiáng)的一個(gè)關(guān)鍵絕招，就是 RL post-training。

從經(jīng)典的 PPO，到推理任務(wù)里常見(jiàn)的 GRPO、DAPO、GSPO，再到利用模型自身軌跡和反饋進(jìn)行學(xué)習(xí)的 OPD 與自蒸餾，方法越來(lái)越多，效果也越來(lái)越強(qiáng)。它們都在解決一個(gè)核心問(wèn)題：如何把當(dāng)前這批數(shù)據(jù)里的獎(jiǎng)勵(lì)、優(yōu)勢(shì)估計(jì)、執(zhí)行反饋或教師信號(hào)，轉(zhuǎn)化成一次有效的參數(shù)更新，探索出新策略。

這些方法當(dāng)然能推動(dòng)策略變強(qiáng)，這也是 RL 后訓(xùn)練成為主流范式的原因。但它們大多還有一個(gè)共同特點(diǎn)：優(yōu)化主要發(fā)生在當(dāng)前采樣軌跡上。也就是說(shuō)，算法會(huì)認(rèn)真計(jì)算當(dāng)前這批軌跡該怎么學(xué)，卻很少顯式驗(yàn)證這一步學(xué)完之后，新的策略是否真的比過(guò)去更好。

這就是本文所說(shuō)的開(kāi)環(huán)優(yōu)化。開(kāi)環(huán)并不意味著方法無(wú)效，而是說(shuō)訓(xùn)練過(guò)程少了一個(gè)關(guān)鍵環(huán)節(jié)：更新之后的效果驗(yàn)證，以及基于驗(yàn)證結(jié)果對(duì)上一輪更新方向進(jìn)行回溯校正。

RL 后訓(xùn)練不能只盯著當(dāng)前批次里的局部信號(hào)，還需要一個(gè)跨時(shí)間的驗(yàn)證機(jī)制，以及能夠?qū)v史更新方向進(jìn)行再加權(quán)、抑制或校正的回溯調(diào)整機(jī)制。

PIRL：把 “策略提升” 本身變成優(yōu)化目標(biāo)

論文在理論上證明了：這個(gè)目標(biāo)不會(huì)改變最終優(yōu)化方向。對(duì)于固定初始策略，最大化累計(jì)策略提升，和最大化最終策略性能是對(duì)齊的；也就是說(shuō)，這種目標(biāo)改寫(xiě)并沒(méi)有偏離最終想要的模型能力。

因此，PIRL 并不是否定獎(jiǎng)勵(lì)、優(yōu)勢(shì)或教師信號(hào)，而是補(bǔ)上它們?nèi)鄙俚囊画h(huán)：更新之后，要驗(yàn)證這一步有沒(méi)有真的轉(zhuǎn)化成策略提升。

PIPO：讓訓(xùn)練過(guò)程學(xué)會(huì) “回頭看”

基于 PIRL，論文進(jìn)一步提出了Policy Improvement Policy Optimization, PIPO。它的核心是兩步：先讓基礎(chǔ)算法正常探索，再在下一輪利用策略提升反饋回頭驗(yàn)證這次探索是否真的帶來(lái)了策略進(jìn)步。如果新策略相較歷史基準(zhǔn)表現(xiàn)更好，PIPO 會(huì)認(rèn)為上輪更新方向與策略提升一致，從而進(jìn)一步放大、鞏固這一方向；如果新策略沒(méi)有帶來(lái)提升，甚至導(dǎo)致性能下降，PIPO 則會(huì)削弱該更新方向的影響，必要時(shí)通過(guò)回溯校正在優(yōu)化意義上抵消有害更新。

這一步回答的是：當(dāng)前這批軌跡該怎么學(xué)？

因此，策略提升目標(biāo)可以被寫(xiě)成類似 PPO 的裁剪形式：

這樣一來(lái)，PIPO 就可以在 PPO、GRPO、SDPO 等原有方法基礎(chǔ)上即插即用地加入跨迭代驗(yàn)證。它把單批次內(nèi)的局部學(xué)習(xí)信號(hào)和批次之間的歷史表現(xiàn)聯(lián)系起來(lái)，讓每次更新都多一道判斷：這次更新之后，模型整體有沒(méi)有更強(qiáng)？如果變強(qiáng)，就鞏固有效的更新方向；如果變?nèi)酰拖魅跤泻Φ母掠绊憽?/strong>由此，原本開(kāi)環(huán)的 RL 后訓(xùn)練被轉(zhuǎn)化為帶有策略提升反饋的閉環(huán)優(yōu)化過(guò)程。

實(shí)驗(yàn)驗(yàn)證

論文首先在數(shù)學(xué)推理任務(wù)上驗(yàn)證 PIPO。

結(jié)果顯示，PIPO 接到 PPO、GRPO、GSPO、DAPO 后，平均表現(xiàn)、思考長(zhǎng)度都有所提升。

PIPO 不是只對(duì)數(shù)學(xué)推理有效。論文進(jìn)一步在代碼任務(wù)和工具調(diào)用任務(wù)上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。論文還驗(yàn)證了 PIPO 在自蒸餾設(shè)置下的提升作用。

結(jié)語(yǔ)：RL 后訓(xùn)練需要更好的閉環(huán)

過(guò)去很多 RL 后訓(xùn)練方法在努力回答一個(gè)問(wèn)題：當(dāng)前這批軌跡該怎么學(xué)？PIRL/PIPO 進(jìn)一步追問(wèn)：這一步學(xué)完之后，模型真的變強(qiáng)了嗎？

這也是本文最核心的觀點(diǎn)：RL post-training 不能只盯著當(dāng)前批次里的獎(jiǎng)勵(lì)、優(yōu)勢(shì)估計(jì)或教師信號(hào)。真正重要的是，每次更新之后，模型有沒(méi)有產(chǎn)生可驗(yàn)證的策略提升，從而對(duì)更新進(jìn)行動(dòng)態(tài)的強(qiáng)化或者削弱。

PIRL 把 “進(jìn)步” 本身定義為優(yōu)化目標(biāo)。PIPO 則把這個(gè)目標(biāo)變成了一個(gè)可以接入現(xiàn)有算法的閉環(huán)訓(xùn)練框架。

如果說(shuō)傳統(tǒng) RL 后訓(xùn)練更像是在不斷根據(jù)當(dāng)前信號(hào)往前走，那么 PIRL/PIPO 想做的是：讓模型每走一步，都回頭看一眼，確認(rèn)自己是不是真的在變強(qiáng)，并進(jìn)一步鞏固有效方向、校正有害影響。