FreeStyle來了！從社區LoRA中挖掘風格與內容，讓雙參考圖像生成更可控

最近，一篇名為FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining的工作引起了不少關注。

arXiv 地址：https://arxiv.org/pdf/2606.20506

這篇文章關注的是一個非常實際的問題：

在圖像生成中，如果同時給模型一張「內容參考圖」和一張「風格參考圖」，模型能不能既保留內容圖中的主體結構，又學習風格圖中的視覺風格，同時避免把風格圖里的具體人物、物體或場景也一起復制過來？

換句話說，FreeStyle 研究的是style-content dual-reference generation，也就是「內容 - 風格雙參考生成」。

這個任務看起來直觀，但實際很難。因為一張風格參考圖并不只包含顏色、筆觸、材質和藝術氣質，它也包含具體主體、構圖、姿態、場景和局部細節。模型在學習風格時，很容易順手把這些內容信息也帶到結果圖里，這就是文章中反復討論的content leakage，內容泄漏。

圖 1：整體流程展示

從社區 LoRA 中挖掘數據

FreeStyle 最核心的出發點之一，是把社區中的大量 LoRA 當作一種天然的數據資源。

在當下的 AIGC 社區中，LoRA 已經非常豐富。有些 LoRA 對應某種繪畫風格，有些對應某類角色、物體或視覺概念。相比從零構建風格數據集，社區 LoRA 本身就包含了大量長尾風格和復雜視覺概念。

因此，這篇工作并不是簡單收集圖像，而是提出了一套community LoRA mining 管線：

從 Civitai、TensorArt、Liblib 等社區平臺收集 LoRA，篩選出穩定可用的內容 LoRA 和風格 LoRA，再通過生成、驗證和組合，構造高質量的內容 - 風格監督數據。

最終，FreeStyle 構建了兩類數據：

第一類是SRef 風格參考數據。這類數據用于傳統風格參考生成，輸入是一張內容圖和一張風格圖，目標是生成風格化后的內容圖。文章中這部分數據包含約 619K 條序列，覆蓋 622 種風格。

第二類是更復雜的CRef + SRef 雙參考數據。這類數據同時包含內容參考圖、風格參考圖、文本指令和目標圖像，用于訓練模型在雙參考條件下完成更可控的生成。文章中這部分數據約480K 條序列，覆蓋 1,704 種風格。

FreeStyle 的數據構建流程

文章中的數據管線可以概括為三個階段。

第一步是單個 LoRA 的篩選。

社區 LoRA 的質量參差不齊，有些 trigger word 不穩定，有些生成結果不一致，有些本身混合了內容和風格。因此，FreeStyle 會先根據 base model、metadata、trigger word、demo image 和生成結果，對 LoRA 進行篩選與分類。

第二步是單 LoRA 生成結果的篩選。

即使一個 LoRA 本身可用，它生成出的每張圖也不一定都合格。文章中會利用 prompt pool 和 ComfyUI workflow 批量生成候選圖像，再結合視覺語言模型和特征相似度等方式，篩掉不穩定或不一致的樣本。

第三步是內容 LoRA 與風格 LoRA 的組合篩選。

雙 LoRA 組合并不是簡單疊加。一個內容 LoRA 可能自帶很強風格，一個風格 LoRA 也可能改變主體結構。如果兩者不兼容，生成結果就會出現內容漂移或風格泄漏。因此，FreeStyle 會進一步驗證 content-style pair 的兼容性，只保留穩定的組合。

兩階段訓練：分別處理兩類內容泄漏

除了數據構建，FreeStyle 的另一個重點是訓練策略。

文章采用了一個two-stage curriculum，兩階段訓練流程。

第一階段：學習穩定的風格參考生成

第一階段主要使用 SRef 風格參考數據。這個階段的目標是讓模型先學會：在給定內容圖和風格圖的情況下，如何把風格遷移到內容圖上。

文章觀察到，SRef 場景中的內容泄漏往往和模型對 style-reference token 的注意力過強有關。尤其是在某些 denoising step 和較淺層 transformer block 中，如果模型過度關注風格參考圖，就容易把風格圖中的主體、物體或構圖也帶入最終結果。

為了解決這個問題，FreeStyle 引入attention-level enrichment constraint。

這個約束的作用是調節模型對風格參考圖的注意力分布，使它既能獲取足夠的風格信息，又不會過度依賴風格圖中的具體內容。

左側展示了泄漏樣本和非泄漏樣本在 attention map 上的差異；中間展示了雙參考架構和 style-reference attention mass ratio 的變化。它能直觀說明為什么需要 attention-level constraint。

第二階段：學習內容 - 風格雙參考生成

第二階段進一步引入 CRef + SRef 數據，讓模型同時學習內容參考、風格參考和文本指令。

在雙參考任務中，泄漏機制會更復雜。文章指出，問題不只是「注意力太強」，還可能來自 RoPE 位置編碼帶來的局部位置對應。簡單來說，模型可能在風格圖和輸出圖之間建立局部 patch 級別的對應關系，從而把風格圖里的局部內容復制到生成結果中。

因此，FreeStyle 提出了frequency-aware RoPE modulation。

它的思想是：在 style-reference branch 中，抑制更容易導致局部復制的高頻位置信息，同時增強更偏全局結構和整體風格的低頻成分。這樣可以減少風格圖中的具體內容泄漏，同時保留風格層面的引導。

值得注意的是，這個調制只作用在風格參考分支，不影響內容參考分支。這樣做可以盡量保護內容圖的結構信息，同時讓風格圖提供更干凈的風格信號。

開源 Benchmark：更系統地評價風格、內容和指令遵循

FreeStyle 還構建了一個系統的 benchmark，用來評估 SRef 和 CRef+SRef 兩類任務。

這篇文章沒有只依賴單一指標，而是從多個維度評估生成結果，包括：

• 風格一致性：模型是否學到了風格圖的視覺風格；
• 內容一致性：模型是否保留了內容參考圖中的主體和結構；
• 指令遵循：模型是否按照文本 prompt 生成；
• 美學質量：生成圖是否自然、美觀；
• 泄漏程度：風格參考圖中的具體內容是否被錯誤復制到結果圖里。

其中一個比較重要的指標是CAS，Content Alignment Score。

它基于 DINOv2 特征，并通過 instance normalization 盡量去除風格相關的統計信息，從而更專注地評價內容結構是否被保留下來。這個指標的設計動機很清楚：在風格遷移任務里，直接用普通圖像特征衡量內容相似度，容易被風格變化干擾。

實驗結果：FreeStyle 更強調整體平衡

從實驗結果來看，FreeStyle 的優勢并不是只追求某一個單項指標，而是在風格遷移、內容保持和泄漏抑制之間取得更好的平衡。

在 SRef benchmark 上，FreeStyle 在開源方法中取得了較好的風格一致性和驗證分數，說明它能夠比較穩定地學習風格參考圖中的視覺屬性，同時避免過度破壞內容圖結構。

FreeStyle 在保持內容結構的同時，較好地遷移了筆觸、紋理、色彩和整體藝術氣質。

在更難的 CRef+SRef benchmark 上，FreeStyle 同樣表現出較好的風格遷移能力。這個任務本身存在明顯 trade-off：

• 有些方法內容保持較好，但風格遷移不足；
• 有些方法風格很強，但容易把風格參考圖里的內容也帶過去。

FreeStyle 的目標，就是在這兩個方向之間找到更穩健的平衡。

FreeStyle 在保持內容結構的同時，較好地遷移了筆觸、紋理、色彩和整體藝術氣質。

消融實驗：關鍵設計確實在減少泄漏

文章還通過消融實驗驗證了兩個核心模塊的作用。

第一個是attention-level enrichment constraint。

去掉這個約束后，模型更容易從風格參考圖中復制具體內容；加入后，內容泄漏明顯降低。這說明注意力層面的調控對于 SRef 風格參考生成非常重要。

第二個是frequency-aware RoPE modulation。

在 CRef+SRef 場景中，如果不進行 RoPE 調制，模型更容易建立風格圖與輸出圖之間的局部對應關系，從而產生內容泄漏。加入該模塊后，泄漏現象得到緩解，同時風格遷移能力仍然保留。

文章還比較了基于不同數據來源訓練的模型，結果顯示 FreeStyle 的 LoRA mining 數據管線在復雜風格和長尾風格上更有優勢。這也說明，社區 LoRA 不只是一個模型插件生態，也可以成為構建大規模風格 - 內容數據的重要來源。

attention constraint 對減少內容泄漏的作用。沒有該約束時，模型更容易復制風格參考中的語義內容。

ROPE 沒有調制時，風格圖中的局部結構更容易泄漏到輸出；加入后，模型更傾向于提取整體風格，而不是復制具體內容。

開源內容

這篇工作也提供了較完整的開源資源，包括項目代碼、數據集、benchmark、模型權重和 LoRA mining 相關 metadata。

• 項目代碼：https://github.com/Blue2Giant/FreeStyle
• 數據集地址：https://huggingface.co/datasets/Blue2Giant/FreeStyle_Dataset
• benchmark 地址：https://huggingface.co/datasets/Blue2Giant/FreeStyle_Bench
• 模型權重地址：https://huggingface.co/Blue2Giant/FreeStyle_Checkpoint

從 GitHub 項目結構來看，倉庫主要包含幾個部分：

• 用于社區 LoRA 數據生產 pipline 代碼；
• 社區 LoRA 的元數據
• 用于多模型推理和 benchmark 評測；
• 用于 FreeStyle 模型的最小推理 demo。

這使得這篇工作不只是展示一個模型效果，也提供了一套相對完整的流程：

從社區 LoRA 挖掘，到數據構建，再到模型訓練、benchmark 評測和推理復現。

小結

整體來看，FreeStyle 的貢獻可以概括為三點。

第一，它提出了一套從社區 LoRA 中挖掘內容 - 風格監督數據的管線。相比人工構造或小規模收集，這種方式能更好覆蓋復雜風格和長尾風格。

第二，它針對雙參考生成中的內容泄漏問題，提出了兩階段訓練策略，并分別使用 attention-level enrichment constraint 和 frequency-aware RoPE modulation 來抑制不同形式的泄漏。

第三，它構建了一個更系統的 benchmark，從風格、內容、指令遵循、美學質量和泄漏程度等多個維度評價模型，而不是只看單一指標。

FreeStyle 的意義不只在于提出了一個新的風格遷移模型，更在于展示了一種新的思路：

社區 LoRA 生態本身可以被系統性挖掘，轉化為大規模、多樣化、可監督的內容 - 風格生成數據。

對于后續的風格參考生成、內容 - 風格雙參考生成，以及更廣泛的多圖參考可控生成任務，這篇工作都提供了一個值得參考的數據管線、訓練策略和評測基線。