Redian新闻
>
18秒完成渲染!苹果Core ML官宣深度支持Stable Diffusion 2.0

18秒完成渲染!苹果Core ML官宣深度支持Stable Diffusion 2.0

公众号新闻



  新智元报道  

编辑:David Joey
【新智元导读】最近苹果官宣了对Stable Diffusion 2.0的深度支持,搭配苹果自家Core ML模型,M2芯片最快18秒即可出图!

最近AIGC有多火不用多说了,只需一张朴实无华的自拍,就可以让你变身肌肉型男,拥有一个自己二次元的完美角色。

自2022年8月首次公开发布以来,Stable Diffusion依靠其支持本地化运行的特性以及强悍的性能从一众软件中脱颖而出,得到了苹果的青睐。

而就在上周三,苹果在官博发文表示,他们已在Github上发布了针对 macOS 13.1 和 iOS 16.2 平台的Stable Diffusion的Core ML优化。

此次更新可允许Stable Diffusion AI图像生成器使用Apple专有的Core ML模型在Apple Silicon上运行。

这些优化将使应用程序开发人员能够使用Apple Neural Engine硬件运行Stable Diffusion,速度是之前基于Mac的两倍左右。

Stable Diffusion (SD) 于今年8月推出,是一款开源AI图像合成模型。通过发布新的SD优化版本,苹果希望释放其设备上图像合成的全部潜力。

上一张图看看SD优化版的图像有多炸。

以「宇航员在宇宙中骑着龙/马的高质量图片」为关键词输入,下面为Stable Diffusion的多个模型和版本中图片生成的效果图。

随着 Stable Diffusion 的应用程序越来越多,确保开发人员能够有效地利用这项技术对于创建各地的创意人员都能够使用的应用程序非常重要。

果还表示隐私和避免云计算成本是在Mac或Apple设备上运行AI生成模型的优势。

在本地设备上部署 Stable Diffusion 比基于服务器的方法更可取的原因有很多。首先就是最终用户的隐私将受到保护;


其次,初始下载后,用户无需互联网连接即可使用该模型;最后,本地部署此模型使开发人员能够减少或消除与服务器相关的成本。


Stable Diffusion 2.0有多快?

目前,当在Windows或Linux PC上运行时,Stable Diffusion在Nvidia的高端GPU上生成图像的速度最快,在RTX3060上以50步生成512×512图像在我们的机器上大约需要8.7秒。

相比之下,在 Apple Silicon Mac 上运行 Stable Diffusion 的传统方法要慢得多,在M1 Mac Mini测试中使用 Diffusion Bee 以50步生成 512×512 图像大约需要69.8秒。

根据 Apple 在GitHub上的基准测试,而生成相同的512×512图像Apple新的Core ML SD优化版只需35秒。

此外,M2芯片可在23秒内完成任务,而Apple最强大的硅芯片M1 Ultra仅需9秒即可完成相同的结果。

这是一个巨大的改进,在搭载M1芯片的情况下,生成时间几乎减少了一半。

Apple 的 GitHub 版本是一个 Python 包,可将 Stable Diffusion 模型从 PyTorch 转换为 Core ML,并包含一个用于模型部署的Swift包,这些优化适用于Stable Diffusion 1.4、1.5 和新发布的 2.0。

Github链接:https://github.com/apple/ml-stable-diffusion

目前,在 Mac 上本地使用 Core ML 设置 Stable Diffusion 的体验主要针对开发者,需要基本的指令技能。

同时Hugging Face也发布了一个通用指南来为那些想要设置Apple Core ML优化版的用户体验。

项目链接:https://huggingface.co/blog/diffusers-coreml

除了根据文本提示生成图像外,开发人员还发现了 Stable Diffusion 的其他个性化用途,例如图像编辑、修复、风格转换甚至调色板生成。

图为Hugging Face开发的DreamBooth,对Stable Diffusion的个性化处理

随着 Stable Diffusion 的应用程序越来越多,确保开发人员能够有效地利用这项技术非常重要。

关于CoreML


CoreML是苹果发布的机器学习框架 ,用户可以将机器学习算法应用于一组训练数据来创建模型。


创建的模型可以完成各种各样的任务,比如可以对照片进行分类,或者直接从照片的像素中检测特定的物体。而这些任务用代码来写是很困难的。

在创建模型之后,将其整合到你的应用程序中,并将其部署到用户的设备上。你的应用程序使用Core ML APIs和用户数据来进行预测,并训练或微调模型。

CoreML流程图,左边是一个Core ML模型文件图标,中间是Core ML框架图标,右边是一个通用的应用程序图标,标为「你的应用」。

用户可以用Xcode捆绑的Create ML应用程序建立和训练模型,并在自己的应用程序中使用。

或者,可以使用各种其他机器学习库,再用Core ML工具将模型转换为Core ML格式。一旦模型出现在用户的设备上,就可以使用Core ML在设备上用该用户的数据重新训练或微调。

Core ML通过利用CPU、GPU和神经引擎优化设备上的性能,最大限度地减少内存占用和功耗。模型严格在用户的设备上运行模型,不需要任何网络连接,保持用户数据的私密性和应用的响应速度。

苹果称,Core ML是特定领域框架和功能的基础。它支持用于分析图像的视觉,用于处理文本的自然语言,用于将音频转换为文本的语音,以及用于识别音频中声音的声音分析。

Core ML本身建立在加速器和BNNS等低级基元以及金属性能着色器之上。

按照官网介绍,苹果机器学习栈架构如上图所示。

顶层是「你的应用」单一模块,横跨整个框图的宽度。第二层有四个块,分别标记为 「视觉」、「自然语言」、「语音」和 「声音分析」。第三层为 Core ML。第四层也是最后一层有两个块,「加速和BNNS」 和 「金属性能着色器」。

此次,苹果Core ML提供对「AI大画家」Stable Diffusion的深度支持,果粉们在手机上就可以一展身手了。

参考资料:
https://arstechnica.com/information-technology/2022/12/apple-slices-its-ai-image-synthesis-times-in-half-with-new-stable-diffusion-fix/

  https://github.com/apple/ml-stable-diffusion



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
新晋独角兽陷纠纷!「AI艺术大师」stable diffusion到底归谁所有?英伟达超快StyleGAN回归,比Stable Diffusion快30多倍,网友:GAN好像只剩下快了首个中文Stable Diffusion模型背后的技术:IDEA研究院封神榜团队揭秘Stable Diffusion再迎重磅更新!2.0版「涩图」功能被砍,网友狂打差评1.01亿美元融资,为Stable Diffusion捐赠算力的公司两年成为独角兽新神鞋首跑:两个“我”的交战姐妹们一起,在草原安家首个中文Stable Diffusion模型开源,IDEA研究院封神榜团队开启中文AI艺术时代Stable Diffusion采样速度翻倍!仅需10到25步的扩散模型采样算法Stable Diffusion背后的故事:独辟蹊径,开源和社区驱动的AI独角兽 | 创始人专访生成式 AI 火了,Stable Diffusion 幕后开发公司 Stability AI 宣布获得 1 亿美元融资类数值方法PNDM:Stable Diffusion默认加速采样方案告诉Stable Diffusion 2.0你不想要什么,生成效果更好:Negative Prompt显奇效惊呆!苹果CEO库克主动降薪5000万美元!最强打工人?特斯拉前AI主管出手,Stable Diffusion使用体验拉上一个台阶,还可白嫖算力网友白嫖画师原作训练Stable Diffusion引正主不满:未经同意,说用就用?Stable Diffusion 2.1版本发布,涩图功能回来了?把Stable Diffusion模型塞进iPhone里,做成APP一分钟出图文件更小,质量更高,大火的Stable Diffusion还能压缩图像?NeurIPS 2022 | Stable Diffusion采样速度翻倍!清华提出扩散模型高效求解器2022出圈的ML研究:爆火的Stable Diffusion、通才智能体Gato,LeCun转推StableDiffusion嵌入现实世界,能在墙上直接长出小猫咪,手机可玩Stable Diffusion团队开撕!“背后公司”刚成独角兽,最新版本遭原作者抢发:这是我们的Stable Diffusion、DreamFusion、Make-A-Video、Imagen Video 和下一步闲话人生(211)深切怀念黎林同学前苏联斯大林援助蒋介石国民党「最牛AI艺术家」Stable Diffusion有多值钱?种子轮融资即晋升独角兽!《满江红》片方提起诉讼/疑小米汽车设计效果图曝光/苹果头显或支持Siri创建AR应用3D暴龙模型塞进侏罗纪公园只需一部手机,拍摄角度360°可选,Stable Diffusion又被玩出新花样Stable Diffusion的魅力:苹果亲自下场优化,iPad、Mac上快速出图Stable Diffusion新玩法,一句话帮你换图,网友魔改《戴珍珠耳环的少女》长这样1.01亿美元融资,Stable Diffusion背后的公司两年迅速成长为AI内容生成独角兽Stable Diffusion背后公司再融1亿美金,网友:资本的盛宴,艺术家却分不到一杯羹?Stable Diffusion入侵短视频,华人导演玩得太6,小扎都来请她你肯定知道更年期有多么的恐怖!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。