AI 生成像素畫3篇硬核論文：從擴散模型到精靈圖自動生成

AI 生成像素畫3篇硬核論文：從擴散模型到精靈圖自動生成

文本概覽：全文約 4,119 字，閱讀約 11 分鐘。

像素畫最近幾年的熱度有目共睹。不只是復古游戲和獨立開發者在用，連主流視覺設計領域也開始重新擁抱這種"低分辨率、有限色板"的美學。

但問題是：畫一張高質量的像素畫依然很吃功夫——每一顆像素的位置、每一種顏色的搭配，都需要畫師反復推敲。

2024 到 2025 年間，陸續有幾篇重量級論文把像素畫的自動生成往前推了一大步。

今天我就挑三篇最有代表性的，用大白話講清楚它們各自解決了什么問題、技術路線是什么、以及對我們實際做項目有什么啟發。

一、SD-πXL：用擴散模型直接生成像素畫（SIGGRAPH Asia 2024）

論文：SD-πXL: Generating Low-Resolution Quantized Imagery via Score Distillation 作者：Alexandre Binninger, Olga Sorkine-Hornung 發表：SIGGRAPH Asia 2024（東京） 論文地址：arxiv.org/abs/2410.06236[1] 代碼：github.com/AlexandreBinninger/SD-piXL[2]

這是三篇里分量最重的一篇。

SIGGRAPH Asia 是計算機圖形學領域的頂級會議，能在這里發表的論文，技術扎實度和實驗規模都是經過嚴格檢驗的。

核心思路

SD-πXL 的思路非常直接：既然 Stable Diffusion 能生成高清照片，那能不能讓它直接生成像素畫？

問題的難點在于，Stable Diffusion 的生成過程是連續的浮點數運算，而像素畫是離散的——每一格只能是一種顏色，不能是"介于紅色和橙色之間的某種中間值"。

作者的辦法是：在生成流程里插入一個可微分的量化模塊。具體來說：

1. 輸入：用戶給一個文字提示詞（prompt），或者一張參考圖，再指定輸出分辨率（比如 64x64）和色板顏色數（比如 16 色）。
2. 生成器：用一個 H × W × n 的張量來表示整張圖，其中 n 是色板里的顏色數量。每個像素位置都有一個 softmax 概率分布，表示它屬于哪種顏色的概率。
3. Gumbel-softmax 重參數化：softmax 出來的結果是連續的概率值，不能直接當作離散的像素顏色。作者用了 Gumbel-softmax 技巧，讓這個過程變得"足夠離散"，同時保留反向傳播的能力。說人話就是：既能讓模型端到端訓練，又能讓最終輸出的像素足夠"硬"、足夠 crisp。
4. Score Distillation Sampling（分數蒸餾采樣）：這是從 DreamFusion 等 3D 生成工作里借來的技術。核心思想是讓預訓練好的大模型（Stable Diffusion）充當一個"裁判"，指導生成器往"看起來更像真實像素畫"的方向優化，而不是從零開始訓練一個全新的生成模型。

• 文字生成像素畫：輸入 "a cute cat in pixel art style"，直接輸出對應提示詞的像素畫。
• 圖像轉像素畫：上傳一張照片，轉換成指定分辨率和色板的像素風格版本，同時保留原圖的語義特征（比如貓還是貓，不會變成狗）。
• 自定義色板：支持 Lospec 等社區色板，也可以自己定義顏色集合。
• 實體制造：論文還展示了把生成結果用于樂高馬賽克、珠繡和刺繡設計的案例。

這是目前把擴散模型和像素畫結合得最自然、效果也最接近人類畫師水平的方案。

二、基于 CycleGAN 的圖像到像素畫轉換

論文：Image-to-pixel-art Translation Based on CycleGAN 核心創新：SID（Signed Inception Distance）評估指標 + 嵌套 U-Net 生成器 + 結構組合損失

這篇論文走的是另一條路線：不生成全新的像素畫，而是把已有的普通照片轉換成像素畫風格。

CycleGAN 是什么

CycleGAN 是圖像風格遷移領域的經典框架。它的核心能力是：在沒有成對訓練數據的情況下，學會把 A 域的圖像轉換成 B 域的風格。比如把馬變成斑馬、把夏天風景變成冬天、把照片變成油畫——都不需要"同一張圖的馬版本和斑馬版本"這樣的成對數據。

這篇論文把 CycleGAN 用在了"照片 → 像素畫"這個任務上。

這篇論文的創新點

1. SID（Signed Inception Distance）新指標

傳統評估生成圖像質量的指標（比如 FID）主要是衡量生成圖和真實圖在特征空間上的分布差異。但對于像素畫來說，這個指標有個問題：它沒辦法區分"風格對了但結構亂了"和"結構對了但風格不對"的情況。

SID 指標的設計思路是：不僅看"像不像"，還要看輪廓和結構是否保持完整。這對于像素畫轉換尤其重要——一張風景照片變成像素畫之后，樹應該還是樹、房子應該還是房子，不能因為風格化而把物體的邊界搞糊了。

2. 嵌套 U-Net 生成器

普通 U-Net 是編碼器-解碼器結構，用 skip connection 保留細節。這篇論文用的是嵌套 U-Net（Nested U-Net），在原始 U-Net 的 skip connection 之間再插入額外的卷積模塊，讓網絡能更好地捕捉多尺度的結構信息。

3. 結構組合損失

除了 CycleGAN 原本的對抗損失和循環一致性損失，作者還加入了一個專門針對輪廓完整性的損失項。簡單說就是：轉換前后的圖像，在邊緣檢測器眼里應該長得差不多。

一句話評價

如果你手頭有一堆普通照片或概念設計圖，想批量轉換成像素畫風格，這條技術路線比從零生成更可控、更穩定。

三、像素畫角色精靈自動生成（Graphical Models 2024）

論文：Pixel art character generation as an image-to-image translation problem 作者：Flávio Coutinho, Luiz Chaimowicz 發表：Graphical Models（ScienceDirect），2024 DOI：10.1016/j.gmod.2024.101213[3] arXiv 版本：A Missing Data Imputation GAN for Character Sprite Generation[4]

這篇論文解決的是一個非常具體的游戲開發痛點：角色精靈圖（sprite sheet）的自動生成。

游戲開發的實際痛點

一個 2D 游戲角色通常有 4 個朝向（前、后、左、右），每個朝向又有行走、攻擊、受傷等好幾套動畫。

畫師畫完正面行走幀之后，還要逐個畫出背面、左面、右面的對應幀。

這個過程重復性極高，但又不能交給不懂像素畫規律的自動化工具隨便處理——不然角色會"變形"或"氣質不對"。

核心思路

作者把問題重新定義為"缺失數據插補"（Missing Data Imputation）：

假設你已經畫好了角色正面、背面、左面的所有幀，只剩下右面沒畫。那么右面的每一幀，就是"已知三面信息的條件下，缺失的那一面"。這本質上是一個條件生成問題。

論文用的是 GAN（生成對抗網絡）框架，但在基礎架構上做了兩個關鍵改進：

1. 色板表示層（Palette Representation Layer）

普通圖像生成網絡直接操作 RGB 值。但像素畫的核心特征之一就是有限色板——一張圖可能只用 8 到 32 種顏色。作者在網絡中加入了一個專門的層，讓模型在色板索引空間（而不是 RGB 空間）里操作。這樣做有兩個好處：一是生成的結果天然滿足"有限色板"的約束；二是模型更容易學會像素畫特有的顏色搭配規律。

2. 直方圖損失函數（Histogram Loss）

這個損失函數的作用是：讓生成圖像的顏色分布與目標域（真實像素畫）的顏色分布保持一致。比如真實像素畫里某種膚色出現頻率很高，那生成結果里這種膚色也應該以相近的頻率出現。直方圖損失直接對顏色分布做約束，避免了某些顏色被過度使用或完全缺失的問題。

實驗結果

論文測試了三種缺失場景：缺 1 個朝向、缺 2 個朝向、缺 3 個朝向。結果顯示：當可用參考圖像越多時，生成質量越接近直接用完整數據集訓練的效果。

也就是說，只要你已經畫了角色的一部分，AI 就能合理地"補完"剩余部分。

一句話評價

對于游戲開發者來說，這篇論文的意義在于：它證明了一個角色的多個朝向之間確實存在可學習的映射規律，

AI 可以幫畫師承擔大量重復勞動。

三篇論文的對比總結 維度 SD-πXL CycleGAN 像素畫轉換 角色精靈圖生成任務類型文字/圖像 → 像素畫生成 照片 → 像素畫風格遷移 已知朝向 → 缺失朝向補全核心模型Stable Diffusion + SDS CycleGAN + 嵌套 U-Net GAN + 色板表示層關鍵技術Gumbel-softmax 量化 SID 指標 + 結構損失 直方圖損失 + 缺失數據插補輸入prompt / 參考圖 普通照片 已有角色精靈圖（部分朝向）輸出控制分辨率 + 色板可指定 風格可控、結構保留 自動補全缺失朝向最適用場景從零創作像素畫 批量轉換素材風格 游戲角色動畫制作 對實際項目的啟發

如果你是像素畫愛好者或獨立游戲開發者，這三篇論文的技術路線可以這么用：

• 概念設計階段：用 SD-πXL 快速出大量草圖，探索不同風格和色板組合，找到方向后再人工精修。
• 素材批量處理：用 CycleGAN 轉換路線，把現有的概念設計圖、攝影素材批量轉換成像素畫風格的背景或道具。
• 角色動畫制作：用角色精靈圖生成方案，先人工畫好一個朝向的關鍵幀，讓 AI 輔助生成其余朝向，畫師再修正細節。

三篇論文的共同點是：它們都沒有試圖"取代畫師"，而是把 AI 定位在"處理重復勞動"和"快速探索方案"的角色上。

參考資料

arxiv.org/abs/2410.06236: https://arxiv.org/abs/2410.06236

github.com/AlexandreBinninger/SD-piXL: https://github.com/AlexandreBinninger/SD-piXL

10.1016/j.gmod.2024.101213: https://doi.org/10.1016/j.gmod.2024.101213

A Missing Data Imputation GAN for Character Sprite Generation: https://arxiv.org/abs/2409.10721