商汤大模型团队提出的文生图大模型RAPHAEL，可以生成具有高度艺术风格或者摄影风格的图片，速度极快。
自从 2022 年开始，以 Stable Diffusion、ChatGPT 为代表的生成式 AI 席卷了整个 AI 社区，AI 大模型也走进了公众的视野。
但是，现有的绝大部分模型仍然做不到生成高质量且符合文本描述的图。本文将介绍商汤大模型团队提出的文生图大模型 RAPHAEL，可以生成具有高度艺术风格或者摄影风格的图片，而且生成速度极快，并且在各项测试上击败了 Stable Diffusion XL，DALL-E 2，DeepFloyd 等模型。
论文地址：https://arxiv.org/pdf/2305.18295.pdf该研究还提供了将 RAPHAEL 作为基座的 artist v0.3.0 beta 模型的在线试玩链接，可以在 https://miaohua.sensetime.com/zh-CN/ 中免费试玩（注意不要选错模型了）。同时，研究者也设置了反馈按钮（在生成图的旁边）来帮他们不断优化，希望大家可以积极体验并进行反馈。
本文共提出了三个组件: Space-MoE, Time-MoE, 以及 Edge-supervised learning 模块。Space-MoE 找出了文本中每一个 token 在图片中对应的区域，用不同的 expert 来处理不同的区域，最后再融合。Time-MoE 模块使得模型能够在不同的 timestep 上选择不同的 expert；这些 MoE 事实上组成了一系列的 diffusion path，用来画某一类名词，动词，或者形容词。这些词的 diffusion path 都可以被 XGBoost 算法分开，证明了每一个 path 负责一个词。如下图所示：
Edge-supervised learning 使用物体的轮廓纹理来监督 attention 模块的学习，帮助模型更好的学习到图片的结构信息。该研究也做了充分的消融实验来验证这三个模块的效果，具体可见论文的正文部分。研究者使用了清洗后的 LAION-5B 以及一些内部数据集来训练 RAPHAEL，LAION-5B 的清洗方案参考了 Stable Diffusion，超参数文中都有提供。同时，为了使得网络能够生成任意长宽比的图片，受到目标检测领域的启发，研究者提出了多尺度训练：即把不同尺度的图，根据这一尺度的图的数量，输入不同的 GPU 训练。具体的网络结构见下图：
该研究首先在 FID 上进行了测试，FID 是一个衡量图片生成质量和多样性的指标，常常被用于评测生成模型的能力，实验在这一指标上击败了如 Stable Diffusion，DALL-E 2 等模型，达到 6.61。
此外，研究者同时也基于人类评估给出了一些指标，结论发现 RAPHAEL 在图文匹配度以及生成质量上均超过了 Stable Diffusion XL，DeepFloyd，文心一格以及 DALL-E 2，如下图所示：
可能很多读者没有练习过怎么写文生图的 prompt，因而本文也提供了描述词优化的功能，可以将简单的 prompt 扩展成能得到优秀效果的 prompt。当然，一些国外的网站也提供了一些优秀的 prompt 库：- https://www.midjourney.com/app/feed/
- https://app.prompthub.studio/
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
