Stable Diffusion Web用户界面，或SD-WebUI，是一个用于稳定扩散模型的综合项目，它利用Gradio库提供浏览器界面。今天，我们要谈论EasyPhoto，一个创新性的WebUI插件，允许最终用户生成AI肖像和图像。EasyPhoto WebUI插件使用各种模板创建AI肖像，支持不同的照片风格和多种修改。此外，为了进一步增强EasyPhoto的功能，用户可以使用SDXL模型生成图像，以获得更令人满意、准确和多样的结果。让我们开始。

EasyPhoto和稳定扩散介绍

稳定扩散框架是开发人员用于生成基于输入文本描述的真实图像的流行且强大的扩散生成框架。由于其功能，稳定扩散框架具有广泛的应用，包括图像外扩、图像内扩和图像到图像翻译。稳定扩散Web UI，或SD-WebUI，是该框架最受欢迎和最著名的应用之一。它具有基于Gradio库的浏览器界面，提供交互式和用户友好的稳定扩散模型界面。为了进一步增强图像生成的控制和可用性，SD-WebUI集成了多个稳定扩散应用。

由于SD-WebUI框架提供的便利，EasyPhoto框架的开发人员决定将其创建为Web插件，而不是完整的应用程序。与现有方法相比，现有方法通常会导致身份丢失或在图像中引入不现实的特征，EasyPhoto框架利用稳定扩散模型的图像到图像功能生成准确和真实的图像。用户可以轻松地在WebUI中安装EasyPhoto框架作为扩展，增强用户友好性和可访问性，以适应更广泛的用户。EasyPhoto框架允许用户生成身份引导的、高质量的和真实的AI肖像，这些肖像与输入身份密切相似。

首先，EasyPhoto框架要求用户通过上传几张图像来创建他们的数字替身，以在线训练面部LoRA或低秩适应模型。LoRA框架使用低秩适应技术快速微调扩散模型。这一过程使基础模型能够更好地理解特定用户的ID信息。然后，将训练好的模型合并并集成到基线稳定扩散模型中进行干扰。另外，在干扰过程中，模型使用稳定扩散模型尝试重绘干扰模板中的面部区域，并使用各种ControlNet单元验证输入图像和输出图像之间的相似性。

EasyPhoto框架还采用两阶段扩散过程来解决潜在问题，如边界伪影和身份丢失，从而确保生成的图像最小化视觉不一致性，同时保持用户的身份。此外，EasyPhoto框架的干扰管道不仅限于生成肖像，还可以生成与用户ID相关的任何内容。这意味着，一旦您为特定ID训练了LoRA模型，您就可以生成广泛的AI图片，因此它可以具有广泛的应用，包括虚拟试穿。

总之，EasyPhoto框架

1. 提出了一种新颖的方法来训练LoRA模型，通过合并多个LoRA模型来保持生成图像的面部保真度。
2. 使用各种强化学习方法来优化LoRA模型的面部身份奖励，这进一步有助于增强训练图像和生成结果之间的身份相似性。
3. 提出了一种双阶段基于扩散的过程，旨在生成具有高美观度和相似性的AI照片。

EasyPhoto：架构和训练

以下图表演示了EasyPhoto AI框架的训练过程。

如图所示，框架首先要求用户输入训练图像，然后执行面部检测以检测面部位置。一旦框架检测到面部，它就会使用预定义的特定比例来裁剪输入图像，该比例仅关注面部区域。然后，框架部署皮肤美化和显著性检测模型以获得干净和清晰的面部训练图像。这些两个模型在提高面部的视觉质量方面发挥着至关重要的作用，并确保背景信息已被删除，训练图像主要包含面部。最后，框架使用这些处理后的图像和输入提示来训练LoRA模型，从而使其能够更有效和准确地理解用户特定的面部特征。

此外，在训练阶段，框架包括一个关键的验证步骤，其中框架计算用户输入图像和由训练的LoRA模型生成的验证图像之间的面部ID差距。验证步骤是一个基本过程，发挥着实现LoRA模型融合的关键作用，最终确保训练的LoRA框架转变为数字替身或用户的准确数字表示。此外，具有最佳面部ID评分的验证图像将被选为面部ID图像，并且该面部ID图像将被用于增强干扰生成的身份相似性。

继续，基于集成过程，框架训练LoRA模型，likelihood估计是主要目标，而保持面部身份相似性是下游目标。为了解决这个问题，EasyPhoto框架使用强化学习技术来直接优化下游目标。结果，LoRA模型学习的面部特征显示出改进，导致模板生成结果和结果之间的相似性增强，并且在模板上表现出泛化能力。

干扰过程

以下图表演示了EasyPhoto框架中个别用户ID的干扰过程，并分为三个部分

• 面部预处理以获取ControlNet参考和预处理输入图像。

• 第一次扩散有助于生成类似于用户输入的粗略结果。

• 第二次扩散修复边界伪影，使图像更准确和更真实。

对于输入，框架采用面部ID图像（在训练验证期间使用最佳面部ID评分生成）和干扰模板。输出是一个高质量、准确和真实的用户肖像，密切类似于用户的身份和独特外貌，基于干扰模板。让我们详细了解这些过程。

面部预处理

一种方法是使用SD模型根据干扰模板生成AI肖像，而无需有意识的推理。此外，添加ControlNet框架到该过程不仅增强了用户身份的保留，还增强了生成图像与输入图像之间的相似性。然而，使用ControlNet直接进行区域内涂可以引入潜在问题，包括

• 输入图像和生成图像之间的不一致性：很明显，模板图像中的关键点与面部ID图像中的关键点不兼容，因此使用ControlNet与面部ID图像作为参考可能会导致输出中的一些不一致性。

• 内涂区域的缺陷：屏蔽一个区域，然后用新面部内涂可能会导致明显的缺陷，尤其是在内涂边界，这不仅会影响生成图像的真实性，还会对图像的真实性产生负面影响。
• ControlNet导致的身份丢失：由于训练过程不使用ControlNet框架，因此在干扰阶段使用ControlNet可能会影响训练的LoRA模型保留输入用户ID身份的能力。

为了解决上述问题，EasyPhoto框架提出三个过程。

• 对齐和粘贴：使用面部粘贴算法，EasyPhoto框架旨在解决面部ID和模板之间的面部标志点不匹配问题。首先，模型计算面部ID和模板图像的面部标志点，然后确定将用于将模板图像的面部标志点与面部ID图像对齐的仿射变换矩阵。结果图像保留面部ID图像的相同标志点，并且与模板图像对齐。

• 面部融合：面部融合是一种新颖的方法，用于纠正由掩膜内涂引起的边界伪影，它涉及使用ControlNet框架纠正伪影。该方法允许EasyPhoto框架确保边缘的和谐，并最终指导图像生成过程。面部融合算法进一步融合roop（真实用户图像）和模板，这使得融合图像表现出更好的边界稳定性，从而导致第一次扩散阶段的输出更好。
• ControlNet引导的验证：由于LoRA模型没有使用ControlNet框架进行训练，因此在推理过程中使用它可能会影响LoRA模型保留身份的能力。为了增强EasyPhoto的泛化能力，框架考虑ControlNet框架的影响，并集成来自不同阶段的LoRA模型。

第一次扩散

第一次扩散阶段使用模板图像生成具有唯一ID的图像，该图像类似于输入的用户ID。输入图像是用户输入图像和模板图像的融合，而校准的面部掩码是输入掩码。为了进一步增加对图像生成的控制，EasyPhoto框架集成了三个ControlNet单元，其中第一个ControlNet单元专注于融合图像的控制，第二个ControlNet单元控制融合图像的颜色，而最后一个ControlNet单元是更换图像的开姿势（实时多人姿势控制），它不仅包含模板图像的面部结构，还包含用户的面部身份。

第二次扩散

在第二次扩散阶段，面部边界附近的伪影被精细化和微调，并且用户可以屏蔽图像中的特定区域，以增强在该区域内的生成效果。在此阶段，框架将第一次扩散阶段的输出图像与roop图像或用户图像的结果融合，生成第二次扩散阶段的输入图像。总体而言，第二次扩散阶段在提高生成图像的质量和细节方面发挥着至关重要的作用。

多用户ID

EasyPhoto的一个亮点是其支持生成多个用户ID，下图演示了EasyPhoto框架中多个用户ID的干扰过程管道。

为了支持多用户ID生成，EasyPhoto框架首先对干扰模板执行面部检测。然后将这些干扰模板分成多个掩码，每个掩码仅包含一个面部，其余图像用白色掩盖，从而将多用户ID生成分解为生成个别用户ID的简单任务。一旦框架生成用户ID图像，就将这些图像合并到干扰模板中，从而实现模板图像与生成图像的无缝集成，最后生成高质量的图像。

实验和结果

现在我们已经了解了EasyPhoto框架，让我们来探索EasyPhoto框架的性能。

上图是由EasyPhoto插件生成的图像，使用基于样式的SD模型进行图像生成。如图所示，生成的图像看起来非常真实和准确。

上图是由EasyPhoto框架使用基于漫画样式的SD模型生成的图像。如图所示，漫画照片和真实照片看起来非常真实，密切类似于输入图像，基于用户的提示或要求。

下图是由EasyPhoto框架使用多人模板生成的图像。如图所示，生成的图像清晰、准确，类似于原始图像。

有了EasyPhoto，用户现在可以生成广泛的AI肖像，或者使用保留的模板生成多个用户ID，或者使用SD模型生成推理模板。上图演示了EasyPhoto框架在生成多样化和高质量AI图片方面的能力。

结论

在本文中，我们讨论了EasyPhoto，一个新颖的WebUI插件，允许最终用户生成AI肖像和图像。EasyPhoto WebUI插件使用任意模板生成AI肖像，当前的EasyPhoto WebUI支持不同的照片风格和多种修改。此外，为了进一步增强EasyPhoto的功能，用户可以使用SDXL模型生成图像，以获得更令人满意、准确和多样的结果。EasyPhoto框架利用稳定的扩散基模型与预训练的LoRA模型相结合，生成高质量的图像输出。

您对图像生成器感兴趣吗？我们还提供了最佳AI头像生成器和最佳AI图像生成器的列表，这些生成器易于使用，且无需任何技术专业知识。