比比皆是的下一個(gè)創(chuàng)新點(diǎn)：Prompt Learning進(jìn)化到SIPDO閉環(huán)自進(jìn)化

Prompt 作為一種接口，直接影響 LLM 與 agent system 的行為方式與性能表現(xiàn)。對(duì) prompts 的理解與控制，本質(zhì)上決定了系統(tǒng)能力能夠被釋放到什么程度。Prompt learning 的出現(xiàn)，使這一過程從經(jīng)驗(yàn)驅(qū)動(dòng)走向可系統(tǒng)研究，也逐步形成了一條清晰的發(fā)展脈絡(luò)。回顧這一路徑，本身就足以幫助我們理解 prompt learning 是如何一步步被構(gòu)建出來的。

但更重要的是，當(dāng)這條路徑被真正看清之后，另一件事情會(huì)變得異常明確：prompt learning 并不是終點(diǎn)，而是第一次把一個(gè)巨大而長期被遮蔽的創(chuàng)新源頭暴露出來。一旦 prompt 不再被視為靜態(tài)對(duì)象，而被納入一個(gè)能夠評(píng)估、修正、重寫并持續(xù)演化的閉環(huán)之中，研究不再圍繞 “技巧是否有效”，而開始圍繞系統(tǒng)如何生長展開。而這種系統(tǒng)性的展開，將會(huì)自然地帶來數(shù)之不盡的創(chuàng)新點(diǎn)（詳見本文第 5 節(jié)）。SIPDO（ICLR 2026）正是在這一時(shí)刻作為一個(gè)例子出現(xiàn)的 —— 它不是對(duì)既有工作的修補(bǔ)，而是把 prompt learning 打開成一片可以不斷生成新問題、新機(jī)制、新方法的連續(xù)創(chuàng)新地帶。

LLM 在不同任務(wù)里表現(xiàn)強(qiáng)逐漸增強(qiáng)，但一個(gè)長期存在的問題是：prompt 的微小改動(dòng)可能帶來顯著性能波動(dòng)；更麻煩的是，task 會(huì)持續(xù)變化，新問題、edge cases、甚至 adversarial queries 不斷出現(xiàn)，導(dǎo)致固定數(shù)據(jù)集上最優(yōu)的 prompt 在真實(shí)環(huán)境里變脆、甚至出現(xiàn)類似 catastrophic forgetting 的退化。

這篇文章想回答三個(gè)問題：

• prompt optimization 這幾年到底在怎么 “進(jìn)化”？— 01-04 章節(jié)
• 這種進(jìn)化能夠推進(jìn)哪些創(chuàng)新點(diǎn)供大家使用 — 05 章節(jié)
• 以 SIPDO（ICLR 2026）為例子，闡釋 SIPDO 在這條進(jìn)化鏈上解決了什么關(guān)鍵瓶頸？— 06 章節(jié)

• 博客鏈接: https://dream.ischool.illinois.edu/blogs/evolution_of_prompt_optimization.html
• 論文鏈接: https://arxiv.org/pdf/2505.19514

01｜一張關(guān)鍵地圖：Prompt Optimization 的演化，幾乎復(fù)刻了 Parameter Learning 的歷史

DREAM Lab 總結(jié)的 Key Insight：prompt optimization 的演化路徑，鏡像了神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練（parameter learning）的歷史—— 從早期的 “黑盒擾動(dòng) + 選擇”（genetic/evolutionary），到更有方向感的更新（類梯度），再到 Beyond First-Order 的優(yōu)化（利用歷史信息、閉環(huán)反饋、加速收斂與跳出局部最優(yōu)）。

Figure 1 把兩條脈絡(luò)并排對(duì)照：

Parameter Learning：1980s Genetic Algorithms → 1990s SGD → 2000s Adam/Advanced optimizers

Prompt Learning：2022 Genetic approaches → 2023 Textual gradients → 2024 Advanced methods

02｜Phase 1：從進(jìn)化搜索開始 —— 在離散文本空間里先學(xué)會(huì)探索

Prompt 是離散文本，很難像參數(shù)那樣直接寫 where p is prompt 。DREAM Lab 的 Blog 里提到，早期方法很自然地走向進(jìn)化式探索：維護(hù)一群候選 prompts、評(píng)估效果、保留好的、再 mutation/crossover 生成新候選。

2.1 GPS (Xu et al., 2022)：Genetic Prompt Search

• Population：候選 prompt 集合
• Fitness：驗(yàn)證集表現(xiàn)
• Selection：保留 top-K
• Mutation：回譯、隨機(jī)編輯、或用 LLM 生成變體
• Crossover：組合不同 prompt 的片段，并且報(bào)告了相對(duì)人工 baseline 的提升

2.2 Survival of the Safest (SoS) (Sinha et al., 2024)：多目標(biāo)進(jìn)化（性能 × 安全）

SoS 的關(guān)鍵是：不只追 performance，還把 security 一起做 Pareto 權(quán)衡，并用 semantic mutations 保持 prompt 可讀與語義一致。

2.3 EvoPrompt (Guo et al., 2024)：讓 LLM 當(dāng)智能 mutation operator

DREAM Lab Blog 提到 EvoPrompt：變異不再是隨機(jī)擾動(dòng)，而是由 LLM 生成語義上合理、質(zhì)量更高的變體 —— 進(jìn)化框架仍在，但 mutation 變得更聰明。在沒有可微梯度的離散空間里，先把探索能力搭起來；缺點(diǎn)是成本高、迭代方向感弱。

03｜Phase 2：“Textual Gradients” 出現(xiàn) —— 像 SGD 一樣有方向地改 prompt

DREAM Lab Blog 中，把 2023 年 之后的變化稱為 prompt optimization 的 “gradient revolution”：雖然不能真的對(duì)文本求導(dǎo)，但可以用自然語言反饋來扮演 “梯度方向”。

3.1 ProTeGi (Pryzant et al., 2023)：用批評(píng)當(dāng)做梯度，用 beam search 保持候選

跑一批樣本 → 讓 LLM 生成對(duì) prompt 的批評(píng)（textual gradient）→ 按批評(píng)方向改寫 prompt → beam search 保留多個(gè)候選并擇優(yōu)。并在文中提到可帶來顯著提升。

3.2 TextGrad (Yuksekgonul et al., 2024)：把文本反饋系統(tǒng)化成類似 autodiff 的框架

TextGrad 的野心更大：把多模塊 LLM 系統(tǒng)當(dāng)作 computation graph，通過文本形式的反向傳播把反饋傳回去優(yōu)化 prompt / 模塊接口，并提供類似 PyTorch 的 API 體驗(yàn)。

04｜Phase 3：Beyond First-Order—— 引入歷史信息和閉環(huán)反饋，讓 prompt 真正自適應(yīng)

在參數(shù)優(yōu)化里，SGD 之后有 momentum/Adam/ 二階方法來利用歷史信息、調(diào)節(jié)步長、跳出局部最優(yōu)。DREAM Lab Blog 中強(qiáng)調(diào)了 prompt optimization 也進(jìn)入了類似階段，并用兩個(gè)代表說明：

4.1 REVOLVE (Zhang et al., 2024)：跟蹤 response evolution，類似動(dòng)量 / 二階的歷史信號(hào)

一階方法只用當(dāng)前迭代的即時(shí)反饋；REVOLVE 會(huì)利用輸出在多輪迭代中的演化軌跡來判斷停滯、調(diào)整更新幅度，并報(bào)告更快收斂與更高收益。

4.2 SIPDO (Yu et al., 2025)：用 Synthetic Data 主動(dòng)找難錯(cuò)題，把 prompt optimization 變成 closed-loop

SIPDO 的定位非常明確：它在 Beyond First-Order 階段引入了一個(gè)更強(qiáng)的信號(hào)源 —不是只在固定數(shù)據(jù)集上被動(dòng)優(yōu)化，而是生成 synthetic data 主動(dòng) probe 當(dāng)前 prompt 的弱點(diǎn)，形成閉環(huán)，并配合 difficulty progression（逐級(jí)加難）。

05 | 從 Parameter Learning 到 Prompt Optimization, 比比皆是的下一個(gè)創(chuàng)新點(diǎn)

看到這里，其實(shí)一條非常清晰的邏輯已經(jīng)浮現(xiàn)出來：prompt optimization 正在重復(fù) parameter learning 早期走過的那條演化路徑。參數(shù)訓(xùn)練并不是一開始就具備今天這些成熟的優(yōu)化方法，而是經(jīng)歷了從啟發(fā)式搜索，到一階梯度更新，再到系統(tǒng)性引入歷史信息、穩(wěn)定性控制與閉環(huán)反饋的長期演進(jìn)過程。正是這條路徑，在數(shù)十年的積累中不斷分叉，持續(xù)催生出新的方法、新的系統(tǒng)設(shè)計(jì)與新的研究問題。

Prompt optimization 正處在一個(gè)高度相似、但時(shí)間尺度被大幅壓縮的階段。今天我們已經(jīng)看到了類梯度更新、歷史反饋、difficulty control、closed-loop signals 等關(guān)鍵要素逐步出現(xiàn)，但這并不是終點(diǎn)，而恰恰意味著這條路線剛剛被真正打開。在 parameter learning 中被反復(fù)驗(yàn)證有效的思想 —— 更穩(wěn)定的更新策略、更高信息密度的反饋信號(hào)、更魯棒的回歸控制、更系統(tǒng)的訓(xùn)練流程 —— 都有極大的可能在 prompt optimization 中以新的形式重新成立，并形成一系列尚未被系統(tǒng)覆蓋的研究切口。

在這個(gè)背景下，創(chuàng)新并不需要憑空構(gòu)造。它更多來自于把已經(jīng)成熟的優(yōu)化思想，真正落到 prompt optimization 的具體機(jī)制里。也正是在這里，實(shí)踐路徑變得非常直接、也非常具體：

• 大家可以在這里找到 code base：https://github.com/Peiyance/REVOLVE
• 然后把在 gradient descent 中已經(jīng)被驗(yàn)證有效的升級(jí)版本實(shí)現(xiàn)出來，在現(xiàn)有的 benchmark 上與這些方法系統(tǒng)性地做對(duì)比。
• 當(dāng)更高級(jí)的優(yōu)化策略帶來穩(wěn)定、可復(fù)現(xiàn)的性能提升時(shí)，它自然就構(gòu)成了一篇新的 paper。

這并不是 “照搬參數(shù)優(yōu)化”，而是一次重新生長的過程。SIPDO 正是在這樣的背景下出現(xiàn)的：它不是對(duì) gradient descent 的簡單延伸，而是從 synthetic feedback 與 adversarial-style probing 的角度，把 prompt optimization 推進(jìn)到真正的閉環(huán)階段。從一階更新走向 difficulty-driven 的自適應(yīng)演化，本身就標(biāo)志著 prompt optimization 開始具備長期擴(kuò)展的系統(tǒng)結(jié)構(gòu)。

因此，這里所謂 “比比皆是的下一個(gè)創(chuàng)新點(diǎn)”，并不是一句修辭，而是一個(gè)已經(jīng)被歷史反復(fù)驗(yàn)證過的事實(shí)：當(dāng)一條優(yōu)化路徑被真正走通之后，后續(xù)的創(chuàng)新會(huì)沿著這條路徑不斷自然生長。Parameter learning 用幾十年證明了這一點(diǎn)；而 prompt optimization，才剛剛進(jìn)入它最有生命力的階段。

06｜SIPDO 核心：兩類 agent 協(xié)作 + 難度遞進(jìn) + 失敗驅(qū)動(dòng)的 prompt 修復(fù)閉環(huán)

Paper《SIPDO: Closed-Loop Prompt Optimization via Synthetic Data Feedback》（arXiv:2505.19514v4）將問題說得很直白：現(xiàn)有方法多在固定數(shù)據(jù)集上優(yōu)化，默認(rèn)輸入分布靜態(tài)，缺少持續(xù)迭代的機(jī)制；而真實(shí)世界輸入會(huì)演化，因此需要把優(yōu)化從一次性流程升級(jí)為動(dòng)態(tài)自適應(yīng)閉環(huán)。

SIPDO 定義為 two-agent system：

• Data Generator：生成能暴露 prompt 弱點(diǎn)的合成樣本，且難度可控、逐級(jí)增加；
• Auto Prompt Optimizer：在失敗樣本上做 error analysis → recommendation → refinement，不斷改寫 prompt。豐富的難度梯把錯(cuò)誤案例壓縮成一個(gè)可執(zhí)行的修改建議，像給 prompt 打補(bǔ)丁。

6.1 Data Generator：purposeful & stressful，而非單純的生成

SIPDO 將 Data Generator 定位為面向當(dāng)前 prompt’s targeted stress tester：其輸出fresh、well-targeted的 synthetic instances，目標(biāo)是以可控方式持續(xù)暴露 prompt 的 weakness—— 即生成難度刻意超出當(dāng)前 prompt 能力邊界的數(shù)據(jù)，從而為后續(xù) prompt 修復(fù)提供高信息密度的反饋信號(hào)。

6.1.1 先定 label，再生成 input：消除 label 生成過程中產(chǎn)生的錯(cuò)誤與語義錯(cuò)配

在合成數(shù)據(jù)生成中，一個(gè)常見隱患是：模型在生成輸入時(shí)錯(cuò)誤的生成答案，導(dǎo)致 Question (x) –Answer (y) 不一致。SIPDO 的處理非常明確：先從 estimated population label prior p*(y) 抽取目標(biāo) answer，再在該 answer 條件下生成對(duì)應(yīng) question，從而減去合成樣本語義合理但標(biāo)簽錯(cuò)配的噪聲。SIPDO 也正面處理了合成數(shù)據(jù)最常見的現(xiàn)實(shí)問題：當(dāng)任務(wù)域更復(fù)雜或合成有效樣本更困難時(shí)，question–answer 一致性與基本事實(shí)正確性會(huì)成為瓶頸。對(duì)此，論文提出在特定任務(wù) / 領(lǐng)域啟用three-voter check：由三個(gè) expert agents 獨(dú)立核驗(yàn)每個(gè)生成項(xiàng)的 question–answer consistency 與基本事實(shí)正確性，只有同時(shí)通過三個(gè) expert-agents 的樣本數(shù)據(jù)才會(huì)進(jìn)入 synthetic data pool。

進(jìn)一步地，p*(y) 并不只是采樣分布，它還承擔(dān)了分布約束（distributional regularization）的角色：SIPDO 用它來 regularize generator，懲罰合成標(biāo)簽分布偏離真實(shí)標(biāo)簽先驗(yàn)，避免 generator 退化成只生成少數(shù)最容易擊穿 prompt 的標(biāo)簽 / 類別，從而造成訓(xùn)練信號(hào)單一與分布失真。

6.1.2 latent template：在貼近真實(shí)任務(wù)結(jié)構(gòu)的前提下生成新樣本數(shù)據(jù)

SIPDO 引入 latent variable（SPIDO 強(qiáng)調(diào)其捕捉 few-shot set 結(jié)構(gòu)的作用）。用更工程化的語言來說：generator 先從 few-shot 示例中抽取 / 采樣一個(gè)題型骨架（latent template），再在該骨架上生成具體樣本。這樣做的目的是在結(jié)構(gòu)對(duì)齊真實(shí)數(shù)據(jù)分布的同時(shí)，仍能在內(nèi)容層面產(chǎn)生新變體，從而避免生成樣本偏離任務(wù)語義或不可判定的低質(zhì)量數(shù)據(jù)。

6.1.3 difficulty tier：同一模板下的難度對(duì)齊生成

SIPDO 的 difficulty tier c 是 data-generator 的核心控制變量：generator 明確以 c 為條件生成樣本，使得同一 latent variable 與同一目標(biāo) label 可以產(chǎn)出一組 difficulty-aligned variants。換言之，合成數(shù)據(jù)是圍繞同一結(jié)構(gòu)模板形成難度可對(duì)齊、可比較的一系列挑戰(zhàn)，便于 prompt 在統(tǒng)一結(jié)構(gòu)下學(xué)習(xí)到從易到難的能力遷移。

6.1.4 curriculum generation：用 summarizer 將上一層難度 “壓縮成下一層線索”，形成語義累積

6.2 Auto Prompt Optimizer：基于 failure slice 的結(jié)構(gòu)化修復(fù)，并通過回歸驗(yàn)證抑制性能回退

Auto Prompt Optimizer 的職責(zé)就是把失敗轉(zhuǎn)化為可復(fù)用的 prompt 規(guī)則。SIPDO 將這一過程明確組織為閉環(huán)：每引入一個(gè)新的 synthetic data sample，就先用當(dāng)前 prompt 評(píng)估；若出現(xiàn)錯(cuò)誤，則進(jìn)入 optimizer 做修復(fù)；若通過，則提升難度繼續(xù)生成更具挑戰(zhàn)性的樣本。該循環(huán)持續(xù)進(jìn)行，直至 prompt 正確解決所有生成的數(shù)據(jù)。

6.2.1 error analysis：以 error slice 形式 “顯式化” 失敗模式，而非憑經(jīng)驗(yàn)改寫

Auto Prompt Optimizer 的第一步不是立刻重寫 prompt，而是對(duì)當(dāng)前累積的 synthetic data pool 進(jìn)行評(píng)估，形成當(dāng)前錯(cuò)誤（error slice /failure slice）。這一設(shè)計(jì)的含義在于：prompt 更新不再依賴主觀直覺，而是以 “失敗集合” 的形式顯式定位 prompt 的不足（如：指令歧義、推理步驟缺失、格式約束不充分）。當(dāng) error slice 為空時(shí)，意味著當(dāng)前 prompt 已覆蓋已見案例，可觸發(fā)終止條件。

6.2.2 recommendation：以 reflection module 生成 textual patch，將失敗壓縮為 “可執(zhí)行修改指令”

在 recommendation 階段，SIPDO 引入 reflection module：它同時(shí)檢視（1）error slice，（2）具體導(dǎo)致當(dāng)前 prompt 失敗的生成樣本，（3）當(dāng)前 prompt,（4）以及模型在該樣本上的錯(cuò)誤輸出，并生成一個(gè)textual patch：既解釋失敗為何發(fā)生，也提出應(yīng)當(dāng)如何修改 prompt。

6.2.3 Refinement：將 patch 具體寫入 prompt，并以 “局部 — 全局” 兩級(jí)驗(yàn)證抑制回退

refinement 階段的目標(biāo)是產(chǎn)出一個(gè)可泛化、不過擬合的 revised prompt：把 textual patch 落成具體的指令改寫，并對(duì) prompt 結(jié)構(gòu)做必要的重排與強(qiáng)化。論文在 Fig.1 的描述中強(qiáng)調(diào)：revised prompt 不僅要在 “當(dāng)前失敗樣本（present failures）” 上通過，還要在 “所有歷史已解決樣本（previously solved examples）” 上通過；若仍出錯(cuò)，則回到 optimizer 繼續(xù)細(xì)化。這個(gè) “局部修復(fù) + 全局回歸驗(yàn)證” 的閉環(huán)，實(shí)質(zhì)上是將regression control寫進(jìn) prompt optimization 流程，以降低 “修一處壞一片” 的性能波動(dòng)與遺忘風(fēng)險(xiǎn)。

6.2.4 Confirmation: 局部 vs. 全局

Local confirmation 只在當(dāng)前 error slice 上測(cè)試 revised prompt。如果 revised prompt 在這些明確已知的失敗樣本上仍未全部修復(fù)（即仍有殘余錯(cuò)誤），SIPDO 不會(huì)立刻做全局回歸，而是認(rèn)為當(dāng)前 patch 還不充分：

• 將 revised prompt 作為新的 baseline prompt；
• 更新 error slice 為 “仍未修復(fù)的殘余錯(cuò)誤”；
• 回到 recommendation/refinement，生成更充分、更針對(duì)性的 patch 再迭代。

Global confirmation：修好了新錯(cuò)誤，不代表在已生成的 synthetic pool 中沒有錯(cuò)誤。因此，當(dāng) local confirmation 通過后，SIPDO 會(huì)把 revised prompt 放到整個(gè) synthetic history（截至當(dāng)前輪累計(jì)的所有樣本）上評(píng)估測(cè)試，檢查它是否仍覆蓋所有已見案例。如果 global confirmation 中發(fā)現(xiàn)任何 “歷史回退”（即某些此前已解決的樣本現(xiàn)在又失敗了），SIPDO 會(huì)：

• 將這些回退樣本并入新的 error slice；
• 把它們送回 recommendation/refinement 流程繼續(xù)修復(fù)；
• 直到在全量歷史上不再出現(xiàn)回退，才接受這次 revision，并進(jìn)入下一輪更高難度的數(shù)據(jù)生成與評(píng)測(cè)。

6.2.5 可復(fù)用的 prompt templates：將閉環(huán)流程固化為標(biāo)準(zhǔn)化操作規(guī)程

為了讓 closed-loop 更易復(fù)現(xiàn)與遷移，論文在附錄中給出了自改進(jìn)流程的 prompt templates（涵蓋 error analysis、improvement recommendation、prompt refinement 三類模板），并給出典型 failure modes 與建議示例（例如對(duì)表格處理失敗、數(shù)值比較不明確等）。

07｜整體效果：跨模型、跨基線，SIPDO 在不同任務(wù)上穩(wěn)定且更強(qiáng)

論文在 Table 2 匯總了 BIG-Bench 六個(gè)任務(wù)，表現(xiàn) SIPDO 在多數(shù)任務(wù)與模型上consistently outperforms標(biāo)準(zhǔn) baselines（CoT / APE / PromptAgent），體現(xiàn) synthetic data feedback 帶來的泛化收益。

此外，論文還在 MMLU（College CS, Machine Learning, College Biology）以及 FOLIO / PrOntoQA / ProofWriter 等結(jié)構(gòu)化推理任務(wù)上的對(duì)比與提升。SIPDO 的獨(dú)特點(diǎn)在于：讓系統(tǒng)主動(dòng)生成 “剛好能打穿當(dāng)前 prompt” 的合成樣本，再用失敗反饋驅(qū)動(dòng) prompt 修復(fù)，并通過難度遞進(jìn)持續(xù)加壓。

08｜Difficulty Progression – SIPDO 的核心

論文在 Table 4 做了 ablation study：移除 difficulty gradient 后，BIG-Bench 的每個(gè)子任務(wù)都掉點(diǎn)，并且給出平均損失，其中 Object Counting、Geometric Shapes 的跌幅最大：

• GPT-4o 平均下降 17.3%
• GPT-4o-mini 平均下降 24.3%

直接說明 SIPDO 的增益不是單純生成更多數(shù)據(jù)帶來的，而是通過可控難度梯度，把 prompt 推著走過一條持續(xù)變強(qiáng)的學(xué)習(xí)曲線

總的來說，Data Generator：以 p*(y) 約束標(biāo)簽分布，通過 latent template 保持任務(wù)結(jié)構(gòu)對(duì)齊，并以 difficulty tier 逐級(jí)加難，持續(xù)產(chǎn)出能夠暴露當(dāng)前 prompt weakness 的 targeted synthetic instances；在困難任務(wù)上可用 three-voter check 提升 label–input 一致性與事實(shí)可靠性。Auto Prompt Optimizer：以 error slice 顯式刻畫失敗模式，通過 reflection-based textual patch 給出可執(zhí)行修復(fù)策略，再將修復(fù)寫入 revised prompt，并在 present failures 與 previously solved examples 上做回歸驗(yàn)證，以閉環(huán)方式累積魯棒性并抑制性能回退。

論文作者：

Haohan Wang (汪浩瀚)， UIUC 助理教授，主要研究方向?yàn)?Agentic AI and Scientific Discovery, Trustworthy AI / AI security, Computational Biology. 平時(shí)主要帶領(lǐng)團(tuán)隊(duì)攻堅(jiān)有價(jià)值的問題，同時(shí)也喜歡研究 “創(chuàng)新” 這件事本身，以幫助更廣大的社區(qū)和老師同學(xué)。