Adobe Firefly 2能打过Midjourney和DALL-E 3吗?10月11日凌晨,设计软件巨头Adobe宣布推出一系列图像生成模型,其中Firefly Image 2作为新一代图像生成器,通过改善皮肤、头发、眼睛、手和身体结构增强了人体渲染质量,提供更好的色彩和改进的动态范围,并为用户提供更大的控制输出的能力 。此前,OpenAI于9月21日宣布旗下图像生成工具DALL-E的升级,新版本DALL-E 3大幅提升图像生成质量,尤其改进了在图像上生成文字的功能。在国外图像生成赛道,Midjourney和DALL-E常被视为两大竞争对手。Adobe Firefly 2的发布,意味着又一强大竞争对手加入,形成三强对阵的格局。虽然Adobe在今年3月便推出了Firefly模型的测试版,但当时一些图像分析师批评Firefly在生成效果方面落后于Midjourney和DALL-E 2等竞争对手,他们将这一差距部分归因于Adobe承诺仅使用授权和公共领域内容进行训练。下面是一组Adobe Firefly、Midjourney与DALL-E 2生成图像对比,提示词为:山谷,童话般的树屋村庄覆盖,哑光绘画,高度精细,动态照明,电影,现实主义,逼真,照片真实,日落,详细,高对比度,去噪,居中。▲Adobe Firefly、Midjourney与DALL-E 2生成图像对比(图源:Muhammad Usman,mdorazio)
从上图的对比可以看出,Midjourney生成的图像内容最丰富,有很多细节描绘;DALL-E 2的生成更类似于油画风格,虽然不够逼真,但表现尚可。相比之下,Firefly的生成效果则不尽人意,既没有符合大多数提示词,整体质量也较差,甚至在物体轮廓上出现杂色。此次更新,Firefly 2大幅提升了生成图像质量和准确性,尤其是人像渲染方面。▲Firefly 2与Firefly 1生成图像对比(图源:Adobe)
那么,目前的Firefly 2在其他方面具体表现如何?它能否与DALL-E 3和Midjourney竞争,帮助Adobe在生成式AI领域占据一席之地?这三款图像生成器各自具有什么样的特点和优势?近日,外媒Gold Penguin从8个方面的生成图像效果对比中,也许找到了这些问题的答案。总体来看,三款图像生成器各具风格,也各具优势。如DALL-E 3拥有优秀的文字生成功能,更适合高语境提示;Adobe Firefly 2生成效果最逼真,在人像细节等写实表现上最具优势;Midjourney则时常迸发出一些“艺术性”的创作,可提供创作灵感。下表总结了这三款图像生成器在可用性、输出效果、运行速度等方面的特点,供读者参考。简单来说:Firefly 2更逼真,Midjourney更艺术,DALL-E 3善解人意。▲三款AI图像生成器性能对比(图源:Gold Penguin,智东西译制)
首先是一号选手Adobe Firefly Image 2,它是Adobe于10月11日凌晨推出的新一代图像生成模型。Adobe公司在图像处理领域的地位可谓是不言而喻。背靠Adobe,Firefly系列一经推出便获得了巨大的关注。据介绍,Firefly 2通过改善图像中人体皮肤、头发、眼睛、手和其它身体结构,来增强图像的渲染质量,为用户生成更高质量图像。Firefly 2模型有三大新功能:生成匹配(Generative Match)、照片设置(Photo Settings)、提示指导(Prompt Guidance)。它支持100多种语言的文本提示,以及包括“快速”生成积分在内的新付费计划。▲Firefly 2的生成匹配功能(图源:Adobe)
DALL-E 3是OpenAI于9月21日凌晨推出的升级版文生图工具,与之前的版本相比,它的提示理解能力更强,对文本的处理效果也更好。OpenAI作为现象级应用ChatGPT的开发商,可谓是刮起了一阵AIGC热潮。升级后的DALL-E 3原生集成至ChatGPT,对两款产品而言都是“如虎添翼”。10月3日,微软宣布DALL-E 3可供所有Bing Chat和Bing Image Creator用户免费使用,再次降低了它的使用门槛。值得一提的是,DALL-E 3在此次升级中增强了“在图像上生成文字”的功能,此功能目前在Firefly 2和Midjourney中暂未实现。▲DALL·E 3可在图像上生成准确的文字(图源:OpenAI)
三号选手Midjourney与前两位相比,背后的公司可能没有太大的名头,但它凭借着强大的图像生成质量,一度成为图像生成领域的现象级应用,一年实现1000万用户和1亿美元营收。Midjourney公司成立于2021年8月,创始人大卫·霍尔茨(David Holz)曾是体感控制器公司Leap Motion的联合创始人。Midjourney以详细的输出、通过提示工程参数进行的广泛定制和细微差别而著称,其最新5.2版本于6月23日推出。Midjourney 5.2版本的最大亮点在于放大(Zoom Out)功能,允许用户将放大图像的画布扩展到其原始边界之外,而不更改原始图像的内容。新扩展的画布将根据提示和原始图像的指导进行填充。▲Midjourney的放大功能(图源:Midjourney)
9月,Midjourney首席执行官曾向媒体透露,Midjourney 6会在今年内发布,将实现品质上的巨大飞跃。Adobe Firefly 2、Midjourney、
接下来,让我们从8个方面对比一下Adobe Firefly 2、Midjourney和DALL-E 3生成图像的效果,分别是写实人像、建筑设计、风景、超现实主义、抽象概念、风格化艺术、矢量平面设计以及文字生成。首先是Adobe Firefly 2“大肆宣扬”的人像,下面两组图的提示词分别为:一个疲惫大学生的特写;一位身着黄色衬衫女士的肖像照。▲写实人像(图源:Gold Penguin)
▲写实人像(图源:X博主@saana_ai)
可以看出,Adobe Firefly 2生成的人像确实非常逼真,面部表情清晰,具有明显的皮肤、毛发质感,光照效果也很好。Midjourney的输出也相当不错,但与Firefly 2相比更柔和,皮肤质感略逊一筹。对于第一组提示词,Midjourney生成的图像中桌面上的书本存在渲染失误,不过并不明显。对比之下,DALL-E 3生成的人像有些逊色,几乎不存在皮肤和毛发质感。对于第一组提示词,DALL-E 3过分强调了学生的疲惫,“黑眼圈”有些夸张。值得一提的是,这些图像都没有产生“恐怖谷”效应,这是一个很大的优点。再来看看建筑设计,第一组图的提示词为:从广角俯瞰,带下沉式客厅的时尚砖墙曼哈顿风格阁楼。▲建筑设计(图源:Gold Penguin)
对于第一组提示词,这三个图像生成器都没有完全理解提示意图。它们都创造了一个曼哈顿风格的阁楼,但很难将下沉式客厅的部分表现出来。Adobe Firefly 2的照明效果最好,强调了阴影与光线来源的对应关系,并将它们完美地融合在一起。Midjourney最大的优点是注重细节。从一楼的书籍到二楼的画作,都符合典型阁楼式公寓的设计。DALL-E 3的灯光则显得有些夸张,质感也比较柔和。不过,它是唯一表现了“下沉式客厅”这一提示词的生成器,虽然表现方式有些失误。第二组图的提示词为:卧室,大窗户,现代家具,灰色和金色,豪华,中世纪现代风格。▲建筑设计(图源:X博主@chaseleantj)
对于第二组提示词,三个图像生成器都表现得很好。不过相比之下,DALL-E 3生成的图像对“豪华”和“金色”提示词的表现比其他两个生成器少。在风景景观方面,第一组提示词为简短的词组:野花草地日落景观。▲风景(图源:Gold Penguin)
对于第一组提示词,Adobe Firefly 2的输出效果栩栩如生,但与网络上的草地图片过于相似。此外,野花的渲染似乎出现了故障,细看会发现没有一朵花是正常渲染的。Midjourney的草地色彩非常鲜艳,但倾向于风格化,比起写实照片更像是一幅画。DALL-E 3更加强调“日落”这个提示词,整体色彩呈橘色色调,给人一种雄伟壮观的感觉。虽然它不是色彩最丰富的,但质感细腻。第二组提示词比较详细:无人机航拍波拉波罗岛令人惊叹的陆地景观,阳光下波光粼粼的水面。▲风景(图源:X博主@chaseleantj)
对于第二组提示词,Firefly 2和Midjourney生成图像相似,有种宏大的史诗感,不过后者的树木渲染更具细节。DALL-E 3的水面渲染则显得有些粗糙,强调了“阳光”,但却没有表现出强烈光照下的阴影投射,因此显得很扁平。看完了现实,再来看看超现实主义。下图的提示词为:一幅超现实主义油画,牛仔布做的房子中有一只大萤火虫。▲超现实主义(图源:Gold Penguin)
对于第一组提示词,三个生成器采取了完全不同的处理方式。Adobe Firefly 2的作品大量借鉴了儿童读物,风格很像儿童绘本。Midjourney结合了现实世界的图像和奇幻的概念。与其他两张图像不同,它将视角放在了房间内部,也因此对“牛仔布”的表现并不明显。此外,Midjourney似乎连萤火虫都渲染成了牛仔布质感。这可能有些偏离提示词的描述,但测试者表示很喜欢这个处理。DALL-E 3的处理方式则更具艺术性,它模糊了房子的界限,创造了一种新的叙事方式。它还“创作”了一些细节,比如两个月亮和口袋窗户。再试试更抽象的提示词:震惊、美丽的外星人,科幻、未来,浅茶色和琥珀色。▲超现实主义(图源:X博主@saana_ai)
对于第二组提示词,三个生成器的处理方式也是各具风格。Adobe Firefly 2仍然采用了类似于插画的风格,Midjourney和DALL-E 3则更偏向于“写实”。但DALL-E 3忽略了“琥珀色”这个提示词,并且生成的图像比起“外星人”,似乎更接近“机器人”。如果说超现实主义还提供了一些细节上的表述,接下来我们再试试完全抽象的概念。下图的提示词为:无限的可视化。▲抽象概念(图源:Gold Penguin)
“无限”是无法被创造出来的,但三幅作品进行了不同的尝试来表现这个概念。Adobe Firefly 2和DALL-E 3都选取了螺旋化的表达方式,Firefly 2类似于斐波那契数列的可视化,DALL-E 3生成的图像则更加迷幻,具有丰富的色彩,看起来就像一件复杂的扎染衬衫。Midjourney生成的图像则具有故事性,一个人类的背影向光芒走去,四周围绕着像藤蔓或树枝一样的东西。在一些风格化艺术的理解上,三位选手也表现各异。第一组图的提示词为:达达主义(Dadaism)风格插图,妇女为争取平等而斗争。▲风格化艺术(图源:Gold Penguin)
达达主义诞生于20世纪初,具体可以追溯到第一次世界大战期间。达达艺术以非传统材料、拼贴、组合和表演为特征,旨在挑衅和震撼观众,达到质疑艺术和社会的意义和目的。Adobe Firefly 2的输出看起来不像任何达达艺术,且多次调整提示词后,得到的结果总是相似。Midjourney和DALL-E 3则理解了背景,它们的作品完全模仿了达达主义。Midjourney倾向于拼贴艺术,与著名的俄国艺术家汉娜·霍克(Hannah Höch)风格相似;DALL-E 3更偏向于模仿法国艺术家马塞尔·杜尚(Marcel Duchamp)。这两位艺术家都是达达主义运动时期的杰出代表。再来看看像素风格艺术,采用的提示词为:白色背景上的Q版像素艺术,RPG游戏的游戏资产,以挥舞火之力量的龙巫师盔甲为特色,周围环绕着配套的物品组。▲风格化艺术(图源:X博主@chaseleantj)
对于像素风格艺术,DALL-E 3的表现非常突出。它覆盖了几乎所有提示词,同时生成了Q版人物(Chibi characters)、像素艺术和物品套装。Firefly 2成功地完成了像素艺术,但忽略了“白色背景”和“物品组”的提示词。接下来是办公领域比较实用的矢量平面设计。首先我们让AI助手来画一下AI助手,提示词:一个AI助手的平面矢量插图。▲矢量平面设计(图源:Gold Penguin)
Adobe Firefly 2又一次理解失误。输出本身仍然是矢量艺术,但没有表现“AI助手”这个关键词。Midjourney和DALL-E 3的输出则更像传统的矢量艺术。前者着重表现AI助手帮助人类工作这一场景,后者则将重点放在“AI助手”本身。值得注意的是,DALL-E 3甚至在没有提示的情况下自行添加了文字,且具有逻辑性。再试一下更具象的提示词:白色背景上简单的平面矢量插画,一位女性和一只小狗坐在办公桌前,拿着笔记本电脑。▲矢量平面设计(图源:X博主@chaseleantj)
但细看之下,Firefly 2和Midjourney都有些细节上的缺陷。Firefly 2生成图像中,女人的左手似乎“消失”了;Midjourney生成图像中,小狗的耳朵太过尖锐,看起来更像一只猫。DALL-E 3的表现风格则更加扁平化,色块干净,很适合用在演示文稿和宣传材料中。最后是DALL-E 3引以为傲的文字生成功能,提示词:白色背景上的定制贴纸设计,采用优雅的字体书写“Rachel”字样,并点缀以水彩蝴蝶、雏菊和柔和的粉彩色调。▲文字生成(图源:X博主@chaseleantj)
在文字生成方面,DALL-E 3取得了压倒性的胜利。Firefly 2和Midjourney均无法生成准确的文字,不过相比之下,Firefly 2比Midjourney稍微接近正确答案一些。Firefly 2和DALL-E 3对“贴纸”的表现更明显,均采取了白色描边的方式来表现。水彩风格上,Firefly 2表现最佳。值得注意的是,Firefly 2似乎总是在忽略“白色背景”这一提示词,“执着地”以浅绿色的背景来代替。
生成式AI正在重塑艺术创作领域,通过图像生成器,任何人都可以通过编写文本提示打开艺术创作的新世界,从事创造性工作的人们也可以节省大量时间、激发想象力的更多可能性。作为老牌的创意软件巨头,Adobe通过一系列更新再次强化了其在图像编辑领域的深厚积累,Firefly 2的表现比升级前大幅提升,可以与Midjourney、DALL-E 3打得有来有回。与此同时,国内的百度文心一言、讯飞星火认知大模型等都上线了图像生成能力,并面向全社会开放;国内知名的图像软件公司美图也在积极布局生成式AI,于10月9日发布自研视觉大模型3.0,增强了图像生成质量以及提示词智能联想功能。良性的竞争可以为用户提供更多选择,促使产品不断迭代进化。也许,一年后我们回过头来看,会发觉如今的图像生成效果是多么“稚嫩”。(本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。)