Redian新闻
>
开源文生图模型再进化,Stable Diffusion XL 1.0登场,出图效果不输Midjourney

开源文生图模型再进化,Stable Diffusion XL 1.0登场,出图效果不输Midjourney

公众号新闻
机器之心报道
编辑:蛋酱、梓文

Stable Diffusion XL 1.0 闪亮登场,给你不一样的色彩体验。


在大模型开启的 AIGC 时代,由明星 AI 初创公司 Stability AI 打造的文本到图像生成模型 Stable Diffusion 可谓风靡全球。

虽然从文本到图像的生成模型并不少,但 Stable Diffusion 是最受欢迎的开源模型。各路开发者也基于 Stable Diffusion 模型进行二创,推出各种各样、花式繁多的 AIGC 应用。

刚刚,Stability AI 正式推出了 Stable Diffusion XL(SDXL)1.0。文本到图像生成模型,又完成了进化过程中的一次重要迭代。

这是 Stability AI 最新的旗舰图像模型,也是当前图像生成领域最好的开源模型。


在 SDXL 1.0 版本发布之前,Stability AI 在六月份推出的 SDXL 0.9 仅作研究用途。但从今天起,SDXL 1.0 将通过 Stability AI 的 API 开源开放给开发者,普通人也可以通过消费级应用 Clipdrop 和 DreamStudio 访问。

如何马上体验到 SDXL 1.0?目前有几种渠道:

  • Clipdrop:https://clipdrop.co/stable-diffusion
  • DreamStudio:https://dreamstudio.ai/generate
  • Stability AI Platform:https://platform.stability.ai/
  • Github:https://github.com/Stability-AI/generative-models

此外,鉴于与亚马逊的密切合作关系,SDXL 1.0 已经登陆亚马逊云科技的基础模型托管服务 Amazon Bedrock,而且还会登陆 Amazon SageMaker JumpStart。

SDXL 1.0,什么进化了?

1. 生成概念与风格更具挑战的作品

SDXL 1.0 几乎能够生成任何艺术风格的高质量图像,并且是实现逼真效果的最佳开源模型。用户可以在没有任何特定的「灵感」的情况下进行提示,确保风格的绝对自由,生成各具特色的图像。SDXL 1.0 在色彩的鲜艳度和准确度方面做了很好的调整,对比度、光线和阴影都比上一代更好,并全部采用原生 1024x1024 分辨率。

除此之外,SDXL 1.0 可以生成图像模型难以渲染的概念,例如手、文本以及空间的排列。

图源:Stability AI 官网

图源:Stability AI 官网

2. 语言更简洁、更智能

SDXL 1.0 只需几句话就能创建复杂、细致、美观的图像。用户不再需要用华丽的辞藻进行修饰就能够获得想要的高质量图像。

它甚至能够区分「The Red Square」(红场,一个著名景点)和「red square」(红色正方形)。


3. 微调和高级控制

有了 SDXL 1.0 ,根据自定义数据对模型进行微调比以往任何时候都要容易。可生成自定义 LoRA 或检查点,减少数据处理的需要。Stability AI 正在利用专门用于 SDXL 的 T2I / ControlNet 构建下一代任务特定结构、样式和组成控制。这些功能目前处于测试预览阶段,可以随时关注微调的更新。SDXL 1.0 上的图像控制也即将推出。

自 4 月 13 日发布 SDXL beta 版本以来,ClipDrop 用户已经使用该模型生成超过 3500 万张图片,而 Stability AI 的 Discord 社区平均每天生成 2 万张图片。

看看用户使用 SDXL 1.0 的效果吧。

推特:@pratzlowcode

从网友的图片生成效果来看,SDXL 1.0 在光线上把握更加精准,光线效果、色彩对比更加真实。

推特:@foxtrotfrog

可以看到,在色彩的运用上,SDXL 1.0 更加大胆,饱和度较高的情况下光线与阴影的细节依然在线。

推特:@ai_for_success

在这张图片中可以看到,景深较为合适,主体突出,色彩之间的过渡,甚至真实度都十分优秀。

推特:@sizubito

网友制作了 SDXL 0.9 与 SDXL 1.0 的对比图,左边为 SDXL 0.9 生成图像,右边为 SDXL 1.0 生成图像。可以明显看出二者对于色彩运用的差距。SDXL 1.0 的色彩更加丰富且真实,光效表现也更加出色。


也有网友在 SDXL 1.0 中使用 Midjourney 中的旧 prompt,评论中纷纷感叹,它的效果不比 Midjourney 差,甚至有些出乎意料的优秀。

SDXL 1.0 细节:Base 和 Refiner 模型

Stability AI 将 SDXL 1.0 与各种模型进行了对比测试:与 Stable Diffusion1.5/2.1、SDXL 0.9 等模型相比,人们更喜欢由 SDXL 1.0 生成的图像。


SDXL 1.0 也是所有开放式图像模型中参数量最多的模型之一,它建立在一个创新的新架构上,由一个 35 亿参数的基础模型和一个 66 亿参数的细化模型组成。

完整模型包括一个用于潜在扩散的专家混合管道:第一步,基础模型生成(噪声)潜在变量,然后用专门用于最终去噪步骤的细化模型对其进行进一步处理。

基础模型也可以作为独立模块使用。细化模型为基础模型的输出添加更精确的颜色、更高的对比度和更精细的细节。

这种两阶段架构可确保图像生成的稳健性,而且不会影响速度或需要过多的计算资源。SDXL 1.0 可在配备 8GB VRAM 的消费级 GPU 或随时可用的云实例上有效运行。


  • 论文地址:https://arxiv.org/pdf/2307.01952.pdf
  • 代码地址:https://github.com/Stability-AI/generative-models

参考链接:https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
二十五 参军中国团队自动驾驶大模型斩获CVPR最佳论文;Stability AI推出新文生图模型;京东大模型即将发布丨AIGC大事日报ChatGPT当编剧,Midjourney做画师,这款游戏只用了72小时开发?Costco公寓和健康美食, 喜欢吗?Midjourney 5.2震撼发布!原画生成3D场景,无限缩放无垠宇宙Midjourney劲敌来了! 谷歌StyleDrop王牌「定制大师」引爆AI艺术圈 |【经纬低调分享】超大杯Stable Diffusion免费来袭!「最强文生图开放模型」,提示词也更简单对话Midjourney创始人:图片只是第一步,AI将彻底改变学习、创意和组织 | GGView爆火视频竟不是真人,逼真程度不输Midjourney,创始人数字人亲自上C919大型客机内部画面完整呈现 见证国产大飞机商业首航!Midjourney劲敌来了! 谷歌StyleDrop王牌「定制大师」引爆AI艺术圈我为什么要活到老学到老?就不!Meta重新定义多模态!北大校友共同一作,70亿参数文生图模型击败DiffusionAI绘画之问:Midjourney走上神坛,靠什么赚钱像相机一样变焦、填充画面细节,还能自定义风格,AI作画神器Midjourney又更新了Midjourney最新“扩图”玩法:1小时直接出高清大片!表情最逼真机器人靠AIGC再进化!接入Stable Diffusion学会用笔画画专访HiDream.ai梅涛:视觉模型还未智能涌现,现在还有机会打造一家超越Midjourney的公司|年度AI对话AI 作画神器 Midjourney 又更新了与Midjourney开战!Stable Diffusion XL 0.9重磅发布,35亿+66亿双模型,AI图像生成飞跃式进步“蔚小理”创始人时隔三年再同框;知乎CEO周源回应匿名功能下线;Meta公布文生图模型CM3Leon丨邦早报AIGC日报丨华为云发布盘古汽车大模型;英特尔将为Stability AI打造超级计算机;Midjourney将于年内升级对话Midjourney创始人:图片只是第一步,AI将彻底改变学习、创意和组织Midjourney最强平替来了!广告大片分分钟直出,网友直呼太逼真文生图模型又“卷”起来了!比 Stable Diffusion 中文理解能力更强、更懂国人的文生图模型是如何构建的?人手一部「小电影」!视频版Midjourney免费可用,一句话秒生酷炫大片惊呆网友视频版Midjourney又进化了:一句话生成视频,谷歌注资,网友大呼好莱坞已死!GPT-4大杀器谷歌Gemini来袭!26位研发大佬名单曝出,祭出类Midjourney生图能力iPhone两秒出图,目前已知的最快移动端Stable Diffusion模型来了Midjourney5.2版本开始测试,用文字“画”出图片变得更加简单会要命的小小鸟Midjourney、Stable Diffusion 齐更新,最强 AI 画图工具大战|Hunt Good 周报国产Midjourney震撼登场!阿里通义万相画出「海底星空」,自研Composer架构立功号称业界最强!Meta发布全新文生图模型,实力碾压Stable Diffusion、Midjourney视频版Midjourney免费开放,一句话拍大片!网友:上一次这么激动还是上次了
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。