京東正式開源JoyAI-Image-Edit，引領(lǐng)空間編輯范式突破

近日，京東探索研究院正式開源多模態(tài)基礎(chǔ)模型JoyAI-Image-Edit，支持文生圖、圖像理解以及指令引導(dǎo)的圖像編輯。該模型不僅具備像素級精細化編輯能力，更能賦予平面圖像真實的"立體感"，是業(yè)內(nèi)首個將空間智能深度融入統(tǒng)一多模態(tài)框架的開源模型，在引入空間能力的同時，依然具備強大的通用生成與理解性能。

在公開的Benchmark中，JoyAI-Image-Edit的空間理解和空間編輯能力已達世界一流水平，超過現(xiàn)有開源模型，比肩頂尖閉源模型。

目前，模型已開源，開發(fā)者可直接基于其構(gòu)建空間編輯應(yīng)用。

JoyAI-Image-Edit的空間理解和空間編輯能力已達世界一流水平

破局行業(yè)痛點：理解與生成之間的“空間斷層”

統(tǒng)一多模態(tài)模型是當(dāng)前學(xué)界和產(chǎn)業(yè)界共同攻堅的方向，不少頭部公司都在嘗試將圖像理解與生成整合進同一個模型框架。然而，理解與生成的協(xié)同在空間維度上存在明顯短板。

這種短板在實際編輯中暴露得尤為突出：移動物體導(dǎo)致結(jié)構(gòu)變形、比例失調(diào)；調(diào)整物體間的位置關(guān)系則遮擋層次全部錯亂；切換視角時透視幾何嚴(yán)重失真；反復(fù)微調(diào)后畫面一致性徹底崩塌。根源在于模型缺乏對三維空間結(jié)構(gòu)的深層理解，理解模塊輸出的語義信息沒有真正"流入"生成模塊的幾何控制過程，編輯操作只是在像素層面"搬運"，而非在空間層面"推理"。

JoyAI-Image-Edit正是為此而生——從數(shù)據(jù)構(gòu)建、任務(wù)設(shè)計到訓(xùn)練策略全鏈路注入空間感知，讓理解、生成與編輯在統(tǒng)一框架內(nèi)彼此增強。

三大核心亮點：從架構(gòu)到場景的全面突破

JoyAI-Image-Edit的技術(shù)優(yōu)勢集中體現(xiàn)在三個層面。 第一，生成與理解的深度融合。模型采用MLLM–MMDiT統(tǒng)一架構(gòu)，徹底打破了理解與生成的邊界。通過視覺感知與生成能力的深度協(xié)同，其空間理解指標(biāo)已可比肩行業(yè)頂級閉源模型，在公開Benchmark中領(lǐng)跑同規(guī)模開源模型。 第二，空間編輯的范式突破。這是JoyAI-Image-Edit最具辨識度的能力。它支持三類此前開源模型難以勝任的操作：視角變換——用戶可通過自然語言指定相機的偏航角、俯仰角及縮放程度，模型在保持場景幾何一致性的前提下生成新視角圖像；空間漫游——支持連續(xù)的視角移動，生成在空間中邏輯連貫的多視角圖像序列，類似于在三維場景中"走動"；物體空間關(guān)系操控——在保持場景整體結(jié)構(gòu)穩(wěn)定的前提下，對特定物體進行位移、縮放等空間變換，同時確保遮擋與光影關(guān)系自然合理。 第三，多場景的高性能表現(xiàn)。模型同時支持15類通用編輯能力，涵蓋替換、刪除、添加、風(fēng)格調(diào)整等常用操作，結(jié)合空間編輯能力，在長文本渲染、多視角一致性生成等高難度任務(wù)中均表現(xiàn)卓越。 這些空間編輯能力背后有兩大關(guān)鍵技術(shù)支撐：一是自研的OpenSpatial數(shù)據(jù)引擎，實現(xiàn)了空間數(shù)據(jù)的自動化合成；二是百萬級規(guī)模的Blender渲染多視角數(shù)據(jù)集，使用Blender 4.5渲染了約100萬組多視角圖像，為模型的空間感知能力提供了堅實的數(shù)據(jù)基礎(chǔ)。

具身場景，合成空間一致的多角度訓(xùn)練樣本

落地場景：從電商到具身智能的廣泛想象

JoyAI-Image-Edit的開源，為多個垂直領(lǐng)域打開了新的應(yīng)用空間。 在電商領(lǐng)域，產(chǎn)品通常需要多角度、多場景展示圖，傳統(tǒng)方式依賴攝影棚實拍或3D建模渲染，成本高、周期長。通過JoyAI-Image-Edit，商家只需一張商品主圖即可自動生成不同角度的展示圖，商品"放入"不同場景時幾何關(guān)系依然合理。

在具身智能領(lǐng)域，空間理解與生成的閉環(huán)能力是構(gòu)建世界模型的基礎(chǔ)。機器人執(zhí)行導(dǎo)航、抓取等任務(wù)時需要對三維空間進行推理，而真實場景數(shù)據(jù)采集成本極高。JoyAI-Image-Edit可從有限真實圖像出發(fā)，合成大量空間一致的多視角訓(xùn)練樣本，為視覺-語言-動作系統(tǒng)和世界模型提供底層能力支撐。

在3D重建領(lǐng)域，傳統(tǒng)流程依賴多視角實拍或激光雷達掃描，對硬件和拍攝條件要求較高。JoyAI-Image-Edit提供了全新路徑——用戶僅需輸入三張圖片，即可生成幾何一致的多視角圖像序列，在電商三維展示、品牌VI生成、數(shù)字孿生、工業(yè)仿真及文化遺產(chǎn)保護等場景中前景廣闊。 在建筑設(shè)計、游戲與影視領(lǐng)域，設(shè)計師可從一張概念圖快速探索不同視角效果，無需啟動完整三維建模流程，顯著提升創(chuàng)意驗證效率。 這不是一次漸進式的版本更新，而是AI圖像編輯從"平面修圖"邁向"空間重塑"的范式級躍遷。隨著模型全面開源，更多開發(fā)者將在此基礎(chǔ)上探索空間智能的更多可能。廣大開發(fā)者可前往HuggingFace或Github獲取模型。