Anderson 视角
Stable Diffusion 如何发展为面向大众的消费产品

要点主流Stable Diffusion应用必须解决其复杂的命令行安装与依赖项问题。
查看更多
- 主流Stable Diffusion应用必须解决其复杂的命令行安装与依赖项问题。
- 商业开发者面临由深度伪造生成和NSFW内容过滤器带来的法律风险。
- 诸如时序一致性和文本反演等高级功能需依赖云端处理才能供消费者使用。
颇具讽刺意味的是,Stable Diffusion 这个风靡全球的新型 AI 图像合成框架既不稳定,也没有真正广泛普及——至少目前如此。
系统的全部能力分散在少数开发者提供的一系列不断变化的方案中。他们在 Discord 的不同讨论群里紧张地交换最新信息和理论,而他们创建或修改的软件包,绝大多数安装流程都远非即装即用。
相反,通常需要通过命令行或 BAT 批处理文件,使用 GIT、Conda、Python、Miniconda 等前沿开发环境安装。这些软件包在普通消费者电脑上极为少见,以致其安装过程经常被标记为主机遭到入侵的迹象,触发防病毒和反恶意软件产品的警报。

这只是目前标准 Stable Diffusion 安装过程重重关卡中的少量步骤。许多发行版还需要特定 Python 版本,可能与用户电脑上的现有版本冲突;Docker 安装可以避免这一问题,Conda 环境也能在一定程度上解决。
Stable Diffusion 的 SFW 和 NSFW 社群消息串里充斥着修改 Python 脚本和标准安装的技巧,用来增强功能、解决常见依赖错误和其他问题。
这让希望通过文本提示创作出色图像的普通消费者,几乎只能依靠越来越多的收费 API 网页界面。多数服务只提供极少量免费生成次数,之后就要求购买使用代币。
而且,几乎所有这类网页服务都拒绝生成 NSFW 内容,其中很多可能涉及战争等非色情、但有公共兴趣的话题。这种生成能力恰恰是 Stable Diffusion 与 OpenAI 经过删减限制的 DALL-E 2 服务的区别。
面向 Stable Diffusion 的 Photoshop
Twitter 的 #stablediffusion 标签每天涌现精彩、大胆或超现实的图像,激起了人们的兴趣。广大公众可能正在等待一个面向 Stable Diffusion 的 Photoshop——可跨平台安装的应用,融合 Stability.ai 架构最强大的功能和新兴 SD 开发社群的巧妙创新,不再有独立漂浮的命令行窗口、晦涩且不断变化的安装更新流程,或缺失的功能。
目前,多数功能较强的安装方案仍是一张或多或少精美的网页,连接着独立命令行窗口,网址指向 localhost 端口:

与 FaceSwap 等命令行驱动的合成应用,以及依赖 BAT 的 DeepFaceLab 类似,Stable Diffusion 的预打包安装仍显露其命令行根源。界面通过 localhost 端口访问(见图顶端),与基于 CLI 的 Stable Diffusion 功能通信。
更流畅的应用无疑会出现。目前已有一些基于 Patreon 的整合应用可下载,例如 GRisk 和 NMKD(见下图),但尚无一款整合了那些更先进、也更难使用的 Stable Diffusion 实现所拥有的全部功能。

早期基于 Patreon 的 Stable Diffusion 软件包,初步被包装为应用。NMKD 首先将 CLI 输出直接整合进 GUI。
我们来看看这个惊人的开源项目,在更加完善、整合的实现中可能是什么样,以及会遇到哪些挑战。
资金充足的商用 Stable Diffusion 应用面临的法律考量
NSFW 因素
Stable Diffusion 源代码以非常宽松的许可证发布,不禁止商用重实现或大量利用源代码的衍生作品。
除了上述不断增多的 Patreon 版本,还有为以下软件开发的大量插件:Figma、Krita、Photoshop、GIMP 和 Blender等。因此,没有实际理由认为资金充足的软件开发公司不能打造远为先进、强大的 Stable Diffusion 应用。从市场角度,有充分理由相信多个项目已经取得相当进展。
这些项目立即面临一个两难问题:如同多数 Stable Diffusion 网页 API,应用是否允许关闭系统原生的 NSFW 过滤器,也就是一段代码。
隐藏 NSFW 开关
虽然 Stability.ai 的开源许可证列出了一系列可广泛解释的用途,规定 Stable Diffusion 不得用于这些用途,其中可能包括色情内容和深度伪造,但供应商要有效阻止这类使用,唯一办法是把 NSFW 过滤器编译为不透明的可执行文件,而不是 Python 文件中的参数;或者强制比较包含 NSFW 指令的 Python 或 DLL 文件的校验和,让用户修改设置后就不能渲染。
这会让应用受到类似当前 DALL-E 2 的限制,降低商业吸引力。但这些组件经过反编译和篡改的版本,可能不可避免地出现在种子下载和黑客社群中。无论是原始 Python 运行时元素,还是 Topaz AI 图像增强工具目前使用的编译 DLL,都可能被替换掉阻碍组件并绕过校验和要求,以解除限制。
最终,供应商可能选择仅重复 Stability.ai 的禁止滥用警告,正如许多现有发行版首次启动时所做的。
然而,以这种方式使用非正式免责声明的小型开源开发者,与投入大量时间金钱、让 Stable Diffusion 功能齐全且易用的软件公司相比,损失风险小得多,因此需要更深入考虑。
深度伪造责任
正如我们最近指出,LAION-aesthetics 数据库是 Stable Diffusion 持续开发的模型所用 42 亿张训练图像的一部分,其中有大量名人照片,使用户能够生成深度伪造,包括名人深度伪造色情内容。

摘自我们的近期文章:Stable Diffusion 推断出的 Jennifer Connelly 四个阶段,跨越她四十年的职业生涯。
这与生成通常合法的抽象色情内容不同,也更具争议。后者并不描绘真人,虽然图像也是从训练资料中的多张真实照片推断而来。
越来越多美国州和国家正在制定或已实施反深度伪造色情法律。Stable Diffusion 的名人色情生成能力,可能意味着并非完全审查、也就是仍能生成色情材料的商用应用,仍需过滤被识别出的名人面孔。
一种办法是在用户提示中内置禁用词列表,涉及名人姓名及与其相关的虚构角色。由于原始数据含其他语言,这类设置可能需要覆盖英语以外的语言。另一种办法是加入 Clarifai 等公司开发的名人识别系统。
软件厂商可能必须提供这些方法,或许初始默认关闭,以帮助阻止完整独立应用生成名人面孔,同时等待可能将这类功能定为违法的新立法。
不过,这些功能同样可能被反编译和逆转。但只要逆向工程并非过于容易,厂商可以主张这种行为属于未经许可的破坏。
可以整合的功能
资金充足的商用应用应拥有所有发行版的核心能力,包括用文本提示生成合适图像(文本生成图像);用草图或其他图片引导新图像(图像生成图像);调节系统想象力;权衡渲染时间与质量;以及可选自动保存图像和提示、可选常规使用 RealESRGAN 提升分辨率,以及至少通过 GFPGAN 或 CodeFormer 做基本面部修复。
这只是基本安装。再看看当前正在开发或扩展、可以加入完整传统 Stable Diffusion 应用的高级功能。
随机编码冻结
即使重复使用随机种子,来自之前成功的渲染,只要后续生成时提示或原图的任何部分发生变化,或两者都变,Stable Diffusion 都很难准确重复相同转换。
若要使用 EbSynth 将转换以时间连贯的方式施加到真实视频上,这就是个问题。不过,对于简单的头肩镜头,这项技术可以非常有效:

有限运动可以让 EbSynth 成为将 Stable Diffusion 转换变成真实感视频的有效工具。 来源:https://streamable.com/u0pgzd
EbSynth 将少量修改过的关键帧外推到已导出为连续图像文件的视频中;之后还能将文件重新组装为视频。

在 EbSynth 网站的例子中,少数视频帧经过艺术绘制。EbSynth 将其作为风格指导,修改整个视频以匹配绘画风格。 来源:https://www.youtube.com/embed/eghGQtQhY38
下例左侧是真实的金发瑜伽教练,几乎没有动作,但 Stable Diffusion 依然难以保持面孔一致。这是因为作为关键帧转换的三张图像并非完全相同,即使随机种子数值相同。

即便三次转换使用同样提示和种子,源帧差异也极小,肌肉的大小和形状仍会变化;更重要的是,面孔不一致,妨碍后续 EbSynth 渲染的时间连贯性。
下方 SD/EbSynth 视频很有创意:手指分别变成穿裤子行走的双腿和鸭子。但裤子的不一致显示,即使源帧相似且种子相同,Stable Diffusion 仍难以保持不同关键帧之间一致。

男子的手指通过 Stable Diffusion 和 EbSynth 变成行走的人和鸭子。 来源:https://old.reddit.com/r/StableDiffusion/comments/x92itm/proof_of_concept_using_img2img_ebsynth_to_animate/
视频作者评论说,鸭子转换或许更成功,但不那么引人注目、独创,只需一个转换后的关键帧;行走裤子却要渲染 50 张图像,时间不一致更明显。作者还说,50 个关键帧中每个都要尝试五次才能获得一致效果。
因此,真正完整的应用若能最大限度保留关键帧间的特征,将大有裨益。
一种办法是允许用户冻结每帧转换的随机编码,目前只能手动修改源代码做到。下例说明这有助于时间一致性,但无法彻底解决:

一位 Reddit 用户把自己的摄像头视频变成不同名人,不仅保留所有实现都能保留的种子,还保证每次转换的 stochastic_encode() 参数相同。这靠修改代码实现,但很容易成为用户开关。不过,显然没有解决所有时间问题。 来源:https://old.reddit.com/r/StableDiffusion/comments/wyeoqq/turning_img2img_into_vid2vid/
云端文本反演
要获得时间一致的角色和对象,更好的办法是将它们固化到一个文本反演文件里:它只有 5 KB,只需五张带标注图像即可在数小时内完成训练,再用特殊的*提示调用,让新角色在叙事中保持稳定外观。

带适当标签的图像可以通过文本反演变成独立实体,再用特殊标记词无歧义地在正确背景、风格中调用。 来源:https://huggingface.co/docs/diffusers/training/text_inversion
文本反演是 Stable Diffusion 所用大型完整训练模型的附加文件,被整合进调用或提示流程,以便参与模型生成的场景,利用模型关于对象、风格、环境和互动的巨大知识库。
训练文本反演时间不长,却需要大量显存。当前不同教程提到 12、20 甚至 40 GB VRAM。
多数普通用户可能没有这种 GPU 能力,因此已有云服务承接操作,包括 Hugging Face 版本。虽然存在Google Colab 实现可以创建文本反演,但其显存和时间要求可能对免费层用户构成困难。
对于未来完整、资金充足的安装式应用,将繁重任务交给公司的云服务器是明显的盈利策略。前提是低价或免费应用内含这类付费功能,这在未来 6–9 个月从此技术涌现的许多应用中似乎很可能。
提交图像和文本的标注、格式处理相当复杂,也可在整合环境中自动化。创建能够探索并互动于 Stable Diffusion 广阔世界的独特元素,可能令人欲罢不能,无论对普通爱好者还是年轻用户。
灵活的提示词权重
目前已有许多实现允许用户加强长文本提示中某一部分的权重,但操作方式差异很大,而且常常笨拙或不直观。
例如,很受欢迎的 Stable Diffusion 分支AUTOMATIC1111 的版本可以通过给提示词加上一层或多层圆括号来降低其权重,或用方括号增加权重。

在这个版本的 Stable Diffusion 提示词权重机制中,方括号和/或圆括号可以改变你的早餐,但无论哪种结果都是胆固醇噩梦。
其他 Stable Diffusion 版本用感叹号加强权重,而最灵活的版本允许用户通过图形界面为提示中的每个词指定权重。
系统还应该支持负提示词权重——这不仅适用于恐怖爱好者,还因为 Stable Diffusion 的潜在空间中,或许存在一些不那么吓人、却更有启发性的奥秘,是我们有限的语言运用尚未召唤出来的。
图像外扩
Stable Diffusion 引发轰动地开源后不久,OpenAI 试图通过宣布“图像外扩”功能,重新夺回 DALL-E 2 的部分风头,但基本没有成功。该功能允许用户在保持语义逻辑和视觉连贯性的同时,将图像扩展到原有边界之外。
自然,这项功能随后已以各种形式实现于 Stable Diffusion 中,也已加入 Krita,完整的 Photoshop 式 Stable Diffusion 应用当然也应包含它。

只要提示词、现有图像和语义逻辑允许,基于图块的扩展就能将标准的 512×512 图像几乎无限地扩展下去。 来源:https://github.com/lkwq007/stablediffusion-infinity
由于 Stable Diffusion 使用 512×512 像素的图像训练,加上其他各种原因,它经常截掉人物的头部或其他重要身体部位,即便提示中已明确写出“强调头部”等要求。

Stable Diffusion“断头”的典型例子;不过,图像外扩可以把 George 放回画面。
上方动态图所示类型的任何外扩实现,虽然完全基于 Unix 库,但应该能够在 Windows 上复现,也应提供一键或一条提示即可修复此问题的工具。
目前,一些用户会把“断头”图像的画布向上延伸,粗略填入头部区域,再用 img2img 补完失败的生成结果。
理解上下文的有效蒙版
蒙版在 Stable Diffusion 中可能非常碰运气,具体取决于分支或版本。即便能够画出连贯的蒙版,指定区域最终填入的内容也往往没有考虑整幅图像的上下文。
有一次,我在一张人脸图像上遮住角膜,并给蒙版重绘输入提示“蓝眼睛”,结果却像是透过两个挖空的人眼,望见远处一幅相貌诡异的狼的图像。我想自己还算幸运,看到的不是 Frank Sinatra。
还可以通过识别最初生成图像的噪声进行语义编辑,让用户处理生成图像中特定的结构元素,而不干扰其余部分:

识别最初产生图像的噪声,并处理其中对目标区域有贡献的部分,就能在不用传统蒙版、也不改变相邻内容的情况下修改图像中的一个元素。 来源:https://old.reddit.com/r/StableDiffusion/comments/xboy90/a_better_way_of_doing_img2img_by_finding_the/
此方法基于K-Diffusion 采样器。
过滤身体结构错误的语义筛选器
如前所述,Stable Diffusion 经常会增添或减少肢体,这主要是因为训练图像的数据问题,以及配套标注的不足。

就像学校集体照中那个调皮地伸出舌头的孩子,Stable Diffusion 的身体结构怪相不一定一眼就能发现;你可能已经把最新的 AI 杰作发上 Instagram,才注意到多出的手或融化般的肢体。
此类错误非常难以修复,因此,完整的 Stable Diffusion 应用若能包含某种人体结构识别系统,利用语义分割判断待呈现图像是否存在严重身体结构缺陷(如上图),并在展示给用户之前丢弃它、重新生成,将会很有用。

当然,你可能想生成女神迦梨或章鱼博士,甚至只是想挽救肢体出错图像中没有受到影响的部分,所以这项功能应当允许用户自行开关。
如果用户能够接受遥测,这些失败结果甚至可以匿名传送,以联邦学习的集体方式帮助未来模型改善对身体结构逻辑的理解。
基于 LAION 的自动人脸增强
正如我在此前的文章中谈到 Stable Diffusion 未来可以解决的三个问题时所指出的,不应仅依赖某个 GFPGAN 版本来尝试“改善”首次生成的人脸。
GFPGAN 的“改善”非常千篇一律,往往破坏人物身份特征,而且它仅处理通常已经生成得不佳的人脸:最初生成时,人脸得到的处理时间或关注并不比画面其他部分更多。
因此,专业级 Stable Diffusion 程序应能利用 YOLO 这样标准且相对轻量的库识别人脸,集中全部可用 GPU 算力重新生成,再把改善后的人脸融合回保留完整上下文的原图,或单独保存以便人工重新合成。目前,这仍是一项相当依赖手动操作的工作。

如果 Stable Diffusion 使用足够多的某位名人图像训练过,就可以把全部 GPU 算力集中用于随后仅生成人脸,通常能明显改善结果。而且,与 GFPGAN 不同,这会利用 LAION 训练数据中的信息,而不只是调整已经生成的像素。
应用内 LAION 搜索
自从用户发现,在 LAION 数据库中搜索概念、人物和主题有助于更好地使用 Stable Diffusion 后,网上便出现了多种 LAION 浏览器,包括 haveibeentrained.com。

haveibeentrained.com 的搜索功能让用户探索支撑 Stable Diffusion 的图像,了解自己想让系统生成的物体、人物或想法是否可能出现在训练中。这些系统也有助于发现相邻实体,例如名人的聚类方式,或由当前想法引出的“下一个想法”。 来源:https://haveibeentrained.com/?search_text=bowl%20of%20fruit
虽然这些网上数据库经常展示图像所附的一些标签,但模型训练过程中的泛化意味着,不太可能仅把某张图像的标签用作提示,就将该特定图像召回。
此外,自然语言处理会移除“停用词”,并进行词干提取和词形还原,因此,展示的许多短语在进入 Stable Diffusion 训练之前,已被拆分或省略。
尽管如此,这些界面中审美分组的结合方式,仍能让最终用户充分了解 Stable Diffusion 的逻辑——或者说“个性”——并帮助生成更好的图像。
结论
我还希望完整的原生桌面版 Stable Diffusion 包含许多其他功能,例如原生的 CLIP 图像分析。它可以反转标准 Stable Diffusion 流程,让用户获得系统自然会与源图像或生成图像联系起来的短语和词语。
此外,真正基于图块的放大也很值得加入,因为 ESRGAN 几乎和 GFPGAN 一样粗糙。幸好,整合 GOBIG 的txt2imghd实现的计划正迅速让各发行版具备这项能力,它也显然适合桌面版本。
Discord 社区中其他一些热门要求,例如内置提示词词典,以及可用艺术家和风格列表,我的兴趣较小。不过,应用内笔记本或可自定义的短语词库,似乎是合理的补充。
同样,虽然 CogVideo 和其他项目已推动 Stable Diffusion 中以人为主体的动画发展,但这方面仍极其初级,受限于上游关于真实人体运动时间先验的研究。
目前,Stable Diffusion 视频仍完全呈现迷幻效果,不过,通过 EbSynth 和其他相对初期的文本转视频项目,它在深度伪造式人物操控方面,近期或许有更光明的前景。值得注意的是,Runway 的最新宣传视频中没有合成或“修改过”的人物。
另一项有价值的功能是与 Photoshop 无缝互通;Cinema4D 的纹理编辑器等类似工具早已支持这种方式。这样就能轻松在应用之间传递图像,使用各应用最擅长的转换功能。
最后,或许也是最重要的,完整的桌面版 Stable Diffusion 程序不仅应能轻松切换检查点,也就是驱动系统的底层模型版本,还应能更新原先适用于旧版官方模型的自定义文本反演,以免它们在新模型中失效,正如官方 Discord 的开发者所说,这种情况可能发生。
讽刺的是,最有条件为 Stable Diffusion 构建如此强大、集成工具体系的 Adobe,却已如此紧密地站在内容真实性倡议一边,以至于推出这样的产品可能被视为公关上的倒退——除非它像 OpenAI 限制 DALL-E 2 那样,彻底限制 Stable Diffusion 的生成能力,并将其定位为自身庞大图库业务的自然演进。
首次发表于 2022 年 9 月 15 日。












