PS上的开源Stable Diffusion插件来了:一键AI脑补,即装即用
机器之心报道
网友:「它能颠覆整个行业。」
Stable Diffusion 是今年 AI 领域内大火的新技术,得益于 Stability AI 的开源精神,它催生了众多 AI 绘画的应用。相比传统的绘画方法,根据文本生成图像的方法操作简单,画图速度也快,每次生成都会呈现不一样的效果。
随着技术的发展,消费级 GPU 也已能在数十秒内生成图片,人们开始考虑将 AI 绘图能力用于生产力。鉴于 Stable Diffusion 早已开源,开发者将其用来创建做图工具也是情理之中。
比如此前的 Automatic1111,就是 Stable Diffusion 用户社区常用的网络 UI,但对于经常使用 Photoshop 的专业用户来说,还是不够方便。
现在,借助 Auto-Photoshop-StableDiffusion-Plugin,用户可以直接在最著名的绘图软件 Photoshop 中使用 Automatic1111 Stable Diffusion 的功能,而无需在程序之间切换。
这意味着你可以在熟悉的 Photoshop 环境中轻松使用 Stable Diffusion AI,即装即用。安装这个插件之后,你可以使用所有喜欢的工具编辑 Stable Diffusion 图像,并将其便捷地保存在 Photoshop 中。
项目链接:https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin
功能介绍
快速测试
1. 在 PhotoShop 中新建一个项目。
2. 加载插件后,不要选择或更改任何内容。只需点击「生成」按钮。
3. 如果看到一只猫的图像被加载到画布上,那么一切都已正确设置。
txt2Img
1. 使用矩形选框工具并选择正方形(1x1 比例)
a. 在选择工具中,可以将比率设置为 512x512 或 512x768;
b. 只需确保选择的比例等于生成的图像的大小。
2. 编写 prompt 并单击「生成」。
3. 结果将调整大小以适合所选区域。但别担心,图像将作为智能对象加载到 PhotoShop 中。所以你可以在不损失质量的情况下调整它的大小。
img2img
1. 选择一个位于其自身图层上的图像。
a. 如果希望生成的图像完美地放置在初始图像上,可选「Ctrl + 单击」图层缩略图。
2. 在插件 UI 中将模式更改为「img2img」。
3. 单击「设置初始映像」按钮。如果图像没有更改为所选图层。点击多次(作者正在解决这个问题)。
4. 点击生成。
inpaint
1. 将插件模式更改为 「inpaint」。
2. 在要修复的图像之上创建一个方形选区:
a. 通过矩形选框工具;
b. 或通过「ctrl+click」图层缩略图。
3. 创建一个新图层,并在选定区域内绘制白色。请注意,任何白色区域都将通过 Stable Diffusion 重新生成。
4. 单击「Init Inpaint Mask」按钮。
a. 单击之前确保当前仍在白色图层上;
b. 点击后插件会生成一个合适的黑白遮罩,将其设置为 Stable Diffusion 要使用的遮罩。
c. 它还会在所选区域下创建画布快照,并将此快照用作初始图像。
5. 单击「生成」按钮。
outpaint
1. 将插件模式更改为修复。请记住,「outpaint」只是修复的一个特例。
2. 创建一个与要扩展的图像相交的「矩形选择」。
3. 单击「Init Outpaint Mask」,这将会:
a. 在选择下创建画布的快照,并将其用作 Stable Diffusion 的「初始图像」;
b. 创建一个黑白蒙版并将其用作「初始蒙版」;
c. 它将更新插件 UI 中的「初始图像」和「初始掩码」。
一些经验之谈
为了获得最佳的 inpaint 和 outpaint 效果,必须选择「stable-diffusion inpainting model」。
img2img 的「初始图像」不能有透明度。
始终检查插件 UI 中的「初始图像」和「初始掩码」,并确保它们与画布上的图层相匹配。如果要调整不匹配,请执行以下操作:
在图层面板中选择「group_mask」并点击「set init mask」按钮。
在图层面板中选择「group_init_image」并点击「set init image」按钮。
选择模型后,可能需要等待它加载到 Stable Diffusion 中,然后才能点击生成。
检查进度条是否停留在 0% 或 1%:如果你认为它花费的时间太长并想再次重新生成,可以随时取消 / 中断请求。
不要打开多个 PhotoShop 文档,这将破坏插件。请一次只处理一个项目。
关于 img2img、inpaint 或 outpaint 的问题
img2img、inpaint 和 outpaint 使用 photoshop 的「快速导出为 png」功能。
随机快速导出为 png 会损坏,这是一个已知的 photoshop 错误。
若想测试该功能是否已损坏以及问题的原因,可执行以下操作:
选择一个图层并右键单击它,然后选择快速导出为 png。如果收到窗口提示,则快速导出工作正常。反之如果没有任何反应,那么你需要重新启动 photoshop 并再次尝试导出功能,直到它起作用为止。
在导出功能有效时你可以使用该插件,否则 img2img、inpaint 和 outpaint 将无法正常工作。
如何安装
第一次运行插件时:
1、下载插件:
git clone https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin.git
2、在「Auto-Photoshop-StableDiffusion-Plugin」下运行「start_server.bat」
3、在你安装 automatic1111 的位置,编辑 webui-user.bat 改这一行内容:
set COMMANDLINE_ARGS=
到
set COMMANDLINE_ARGS= --api
这将允许插件与 automatic1111 项目进行通信。保存后关闭「webui-user.bat」文件,正常运行即可。
4、运行 photoshop。选择编辑→首选项→插件,确保选中「启用开发者模式」(Enable Developer Mod)选框。
5、安装官方的「Adobe UXP Developer Tool」,此工具会将插件添加到 photoshop:https://developer.adobe.com/photoshop/uxp/devtool/installation/
6、运行 Adobe UXP Developer Tool 并单击右上角的「添加插件」按钮。导航到「Auto-Photoshop-StableDiffusion-Plugin” 文件夹所在的位置并打开「manifest.json」
7、选择插件并点击 Actions → Load Selected,就完成了。
第二次及后续运行插件的步骤:
1、启动 「webui-user.bat」
2、启动 「start_server.bat」
3、启动 「Photoshop」
4、启动 「Adobe UXP Developer Tool」并加载插件
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者