35 亿+66 亿参数双模型，消费级显卡上也能跑！Stability AI 发布重大升级，生成图像真假难辨

日前，Stability AI 发布了 SDXL 0.9，这是其 Stable Diffusion 文本到图像模型的最新版本，代表 Stability AI 文本到图像模型套件迎来了新的发展里程碑。

继今年 4 月成功发布 Stable Diffusion XL beta 之后，SDXL 0.9 在图像和构图细节方面继续做出大幅突破。SDXL 0.9 是一款强大的工具，可用于在各种创意产业中创建高度逼真的图像。与之前的版本相比，此更新的模型对生成图像的质量和细节带来了重大改进。

现在用户已可通过 ClipDrop 访问该模型，API 也将在不久后推出。研究人员正在努力完善 1.0 版本，相关成果包括权重设置预计将在七月中旬与大家见面。

SDXL 0.9 在继续保持通过现代消费级 GPU 运行的能力之外，在生成 AI 图像的创意用例方面也实现了飞跃。SDXL 能够为影视剧、音乐和教学视频生成超现实风格的创作结果，也具备在设计和工业用途中一展身手的水平。

示例：

在 SDXL beta（左）和 0.9 版本上以相同提示词进行测试，即可体现该模型在短短两个月内取得的重大进展。

提示词: ✨美学✨ 外星人拉在拉斯维加斯的人群中，粗砺的胶片摄影

(左图 - SDXL Beta, 右图 - SDXL 0.9)

提示词: 优胜美地国家公园的狼，冷冽的自然纪实胶片摄影

（左图 - SDXL Beta, 右图 - SDXL 0.9）

SDXL 系列还提供一系列超出基础文本提示的功能。其中包括图像到图像提示（输入一张图像，以获取该图像的更多变体）、填充（重建图像内的缺失部分）和外延（根据现有图像无缝向外扩展）。简单来说，它可以让用户更有创意，以更高级有趣的方式对图像进行更改。

那么，SDXL 0.9 的底层技术到底是怎样的？

据 Stability AI 介绍，SDXL 0.9 之所以取得重大进展，核心驱动因素在于参数数量（模型训练时神经网络中所有权重和偏差的总和）较 Beta 版本有了显著增加。

SDXL 0.9 是目前所有开源图像模型中参数量最大的模型之一，基础模型拥有 35 亿参数，模型集成管线拥有 66 亿参数（最终输出由两套模型的运行聚合结果创建而成）。管线的第二阶段模型，专门用于向第一阶段模型生成的输出 添加更多精巧细节。

相比之下，之前的 beta 版权拥有 31 亿参数并使用单一模型。

SDXL 0.9 运行在两个 CLIP 模型之上，其中包括迄今为止训练的最大 OpenCLIP 模型之一 OpenCLIP ViT-G/14。它增强了 SDXL 0.9 的处理能力，使其能够创建出更具深度和 1024 x 1024 更高分辨率的逼真图像。

SDXL 团队将很快发布一篇研究博客，详细介绍该模型的规格和测试情况。

尽管具有强大的输出和更先进的模型架构，但 SDXL 0.9 仍能够在现代消费级 GPU 上运行。具体配置要求为：

• Windows 10 或 11/Linux 操作系统；

• 16 GB 内存、英伟达 GeForce RTX 20 系列显卡（或更高版本）且至少配备 8 GB 显存；

• Linux 用户也可以使用配备 16 GB 显存的 AMD 兼容显卡。

  测试版发布期间获得积极反响

Stability AI 因于 2022 年 8 月推出开源图像生成器 Stable Diffusion 而闻名，进一步加剧了其与 OpenAI 的 Dall-E 和 MidJourney 的竞争。

近日，Stability AI 刚被《时代》周刊评为 2023 年最具影响力的公司之一。其他出现在榜单上的人工智能公司还有 OpenAI（ChatGPT）、Hugging Face（协作开源人工智能平台）、Runway AI（生成视频）、Nvidia 和谷歌 DeepMind。

自 4 月 13 日 SDXL beta 版发布以来，Stability AI 在 Discord 社区上收到近 7000 名用户的热烈响应。用户们生成了超过 70 万张图像，平均每天超过 2 万张。超过 5.4 万张图像进入 Discord 社区的“Showdowns”评选，最终有 3521 张 SDXL 图像被评为优秀作品。

SDXL 0.9 现已在 Clipdrop by Stability AI 平台上发布。Stability AI API 及 DreamStudio 客户端将于 6 月 26 日星期一开放该模型，同时提供 NightCafe 等其他领先的图像生成工具。

SDXL 0.9 目前暂时仅供研究学习目的使用，希望在全面发布前收集反馈并充分完善模型。相关代码后续将在 GitHub（https://github.com/Stability-AI/generative-models）上公开。

如果研究人员希望访问这些模型，请通过以下链接申请：

SDXL-0.9-Base 模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-0.9

SDXL-0.9-Refiner：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-0.9

Stability AI 一再强调，目前 SDXL 0.9 仅用于研究学习目的。

SDXL 1.0 计划在今年七月中旬（时间选定）全面发布。SDXL 0.9 遵循非商用、仅供研究的许可证发布，并受相关使用条款的约束。

参考链接：

https://stability.ai/blog/sdxl-09-stable-diffusion