SDXL LoRA 模型推荐
Stable Diffusion XL(SDXL)是最新的图像生成模型,与之前的 SD 模型(包括 SD 2.1)相比,SDXL 通过改进的面部生成、内置可读文字、更优雅的艺术创建、更精确的人体解剖学以及精简的提示输入,为图像生成带来了更逼真、更精细、更具美感的结果。
逼真的图像生成:SDXL 能生成逼真的面孔、可读的文字,并在图像中实现更好的构图,而且使用的提示更短、更简单。
更好的人体解剖学:以前的 SD 模型在生成正确的人体解剖学方面存在明显问题,例如多余或缺失的肢体,严重畸形的面孔等。SDXL 在一定程度上修复了这个问题,质量现在好得多。
更短的提示:SDXL 比以前的模型更好地理解短提示,你不再需要冗长的文本来获取所需结果。
改进的构图:增强的图像构图允许为几乎任何类型的提示创建出色的视觉效果,而无需付出太多努力。
艺术风格:SDXL 提供了多种艺术风格供图像生成选择,如无风格(No style)、增强(Enhance)、动漫(Anime)、摄影(Photographic)、数字艺术(Digital Art)、漫画书(Comic book)、幻想艺术(Fantasy art)、模拟胶片(Analog film)、霓虹朋克(Neon punk)、等距(Isomteric)、低聚(Low poly)、折纸(Origami)、线条艺术(Line Art)、手工粘土(Craft clay)、电影(Cinematic)、3D 模型(3D model)和像素艺术(Pixel Art)等。
多功能性:与前代产品一样,SDXL 能通过图像到图像的提示、修补(对图像选定部分的重新想象)和扩展(创建位于图像边界之外的新部分)生成图像变体。
可读的文字:SDXL 与其他 AI 图像生成模型的重要区别之一(Deep Floyd[1] 除外)是它能生成可读的文本,这在之前的 SD 或任何其他模型中都不可能。
在线平台:可通过 DreamStudio[2]、NightCafe Studio[3]、Clipdrop - Stable Diffusion[4] 等在线图像生成平台使用 SDXL。
本地安装:也可以在 HuggingFace 上 下载模型,通过 AUTOMATIC1111[5],ComfyUI[6],SD.Next[7],InvokeAI[8] 等程序来使用。
模型简介
SDXL 由一组用于潜在扩散的专家管道组成(eDiff-I: arXiv:2211.01324
):在第一步中,基础模型(stable-diffusion-xl-base-1.0[9])被用来生成(有噪声的)潜在特征,然后通过专门用于最后去噪步骤的优化模型进一步处理(注意:基础模型可以作为一个独立模块使用)。
也可以按照以下方式使用两个阶段管道:
首先,基础模型被用来生成所需输出大小的潜在特征。
在第二步中,我们使用专门的高分辨率模型,并将一种名为 SDEdit(
arXiv:2108.01073
,也叫img2img
)的技术应用于第一步生成的潜在特征,使用相同的提示。这种技术略慢于第一种,因为它需要更多的函数评估。
🔗 eDiff-I:具有专家去噪组合的文本到图像扩散模型eDiff-I 是一组文本到图像的扩散模型,具有专家去噪的组合功能。与一般的文本到图像扩散模型相比,eDiff-I 在整个生成过程中的不同阶段采用了专门化的模型,从而改善了文本对齐并保持了推理计算的成本和视觉质量。该模型从随机噪声开始,逐渐合成图像,并发现在合成过程的早期阶段,文本提示起到关键作用,而在后期则几乎被忽略。因此,该模型训练了一组针对不同合成阶段的模型,从而提高了效率和效果。此外,eDiff-I 还可以利用各种嵌入进行条件控制,例如 T5 文本、CLIP 文本和 CLIP 图像嵌入,从而实现不同的行为和风格传输功能。特别地,通过 CLIP 图像嵌入,eDiff-I 可以直观地将参考图像的风格转移到目标输出上,并且还具有“用文字绘画”的功能,使用户能够通过绘画控制输出,从而实现心中所想的图像。
🔗 SDEdit: 使用随机微分方程引导图像合成和编辑SDEdit(Stochastic Differential Editing)是一种新的图像合成和编辑方法,它利用随机微分方程来引导图像合成,使普通用户能够以最小的努力创建和编辑逼真的图像。其主要挑战在于平衡对用户输入(例如手绘彩色笔触)的忠实度和合成图像的逼真度。
现有的基于 GAN 的方法试图通过条件 GAN 或 GAN 反演来实现这样的平衡,这些方法具有挑战性,并且通常需要针对各个应用程序的额外训练数据或损失函数。为解决这些问题,SDEdit 采用了一种基于扩散模型生成先验的方法,通过迭代去噪的随机微分方程来合成逼真的图像。
给定任何类型的用户引导的输入图像,SDEdit 首先向输入添加噪声,然后通过 SDE 先验去噪处理得到的图像,以提高其逼真度。SDEdit 无需特定于任务的训练或反演,并且可以自然地在逼真度和忠实度之间取得平衡。
根据人类感知研究,SDEdit 在多个任务上显著优于最先进的基于 GAN 的方法,包括基于笔触的图像合成和编辑以及图像合成,逼真度高达 98.09%,整体满意度高达 91.72%。
SDXL LoRA 推荐
Pixel Art XL[10]
Crayon Style[11]
Papercut[12]
Vulcan[13]
Lego[14]
Embroidery Style[15]
3D Render Style[16]
Watercolor Style[17]
PS1 Graphics[18]
William Eggleston Style[19]
C.A.G. - Coinmaker[20]
Cyborg Style[21]
Toy.Redmond[22]
Voxel[23]
Ugly Sonic[24]
LEGO Minifig[25]
JoJo's Bizarre Style[26]
Pikachu[27]
Icons.Redmond[28]
LineAni.Redmond[29]
Josef Koudelka Style[30]
Simp Style[31]
StoryBook.Redmond[32]
Leonardo Ai Style Illustraion[33]
References
Deep Floyd: https://github.com/deep-floyd/IF
[2]DreamStudio: https://dreamstudio.ai
[3]NightCafe Studio: https://creator.nightcafe.studio
[4]Clipdrop - Stable Diffusion: https://clipdrop.co/stable-diffusion
[5]AUTOMATIC1111: https://github.com/AUTOMATIC1111/stable-diffusion-webui
[6]ComfyUI: https://github.com/comfyanonymous/ComfyUI
[7]SD.Next: https://github.com/vladmandic/automatic
[8]InvokeAI: https://github.com/invoke-ai/InvokeAI
[9]stable-diffusion-xl-base-1.0: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
[10]Pixel Art XL: https://huggingface.co/nerijs/pixel-art-xl
[11]Crayon Style: https://huggingface.co/ostris/crayon_style_lora_sdxl
[12]Papercut: https://huggingface.co/TheLastBen/Papercut_SDXL
[13]Vulcan: https://huggingface.co/davizca87/vulcan
[14]Lego: https://huggingface.co/nerijs/lego-minifig-xl
[15]Embroidery Style: https://huggingface.co/ostris/embroidery_style_lora_sdxl
[16]3D Render Style: https://huggingface.co/goofyai/3d_render_style_xl
[17]Watercolor Style: https://huggingface.co/ostris/watercolor_style_lora_sdxl
[18]PS1 Graphics: https://huggingface.co/veryVANYA/ps1-graphics-sdxl
[19]William Eggleston Style: https://huggingface.co/TheLastBen/William_Eggleston_Style_SDXL
[20]C.A.G. - Coinmaker: https://huggingface.co/davizca87/c-a-g-coinmaker
[21]Cyborg Style: https://huggingface.co/goofyai/cyborg_style_xl
[22]Toy.Redmond: https://huggingface.co/artificialguybr/ToyRedmond-ToyLoraForSDXL10
[23]Voxel: https://huggingface.co/Fictiverse/Voxel_XL_Lora
[24]Ugly Sonic: https://huggingface.co/minimaxir/sdxl-ugly-sonic-lora
[25]LEGO Minifig: https://huggingface.co/nerijs/lego-brickheadz-xl
[26]JoJo's Bizarre Style: https://huggingface.co/Norod78/SDXL-jojoso_style-Lora
[27]Pikachu: https://huggingface.co/TheLastBen/Pikachu_SDXL
[28]Icons.Redmond: https://huggingface.co/artificialguybr/LogoRedmond-LogoLoraForSDXL
[29]LineAni.Redmond: https://huggingface.co/artificialguybr/LineAniRedmond-LinearMangaSDXL
[30]Josef Koudelka Style: https://huggingface.co/TheLastBen/Josef_Koudelka_Style_SDXL
[31]Simp Style: https://huggingface.co/Norod78/SDXL-simpstyle-Lora
[32]StoryBook.Redmond: https://huggingface.co/artificialguybr/StoryBookRedmond
[33]Leonardo Ai Style Illustraion: https://huggingface.co/goofyai/Leonardo_Ai_Style_Illustration