比 Midjourney 还聪明，这个爆火 AI 神器只要听歌就能画图！｜附体验方式

科技

2023-08-11 10:08

生成式 AI 浪潮到来，让我们见识到了每一朵 AI 浪花的无限可能。

在生成式 AI 的产品序列中，音频、文字、图片、视频在技术盲盒中洗牌，经过反复的转换和重组，排列组合出「文生图」、「文生音」、「音生文」等令人眼花缭乱的应用。

而唯独「音生图」的应用落地却迟迟在这紧锣密鼓的节奏中慢了半拍。

直到最近，一个名叫「Music To Image」应用程序在 Hugging Face 社区横空出世后，直接热度飙升，冲上了本周热搜榜，让人们看到了「音生图」的潜在可能性。

简而言之，只要输入一段音乐，它就能根据音乐旋律和歌词，生成一张对应意境的图片。

长安三万里. 图片来自：官方

最近动画《长安三万里》很火，你想象一下，你只要朗诵李白的诗，AI 能将电影里那个盛唐画卷自动给你生成出来，这就是「音生图」潜在的可能性。

由 Adele《Rolling In The Deep》的 30 秒副歌生成
左侧「音频不含歌词」右侧「音频含歌词」

由 Taylor Swift《Love Story》的 30 秒副歌生成
左侧「音频不含歌词」右侧「音频含歌词」

生成的过程非常简便，只需要几个小步骤。

将提前挑选好的30秒音频放进应用程序，给 AI 提示音频中是否含有歌词，再确认生成，只需耐心等待几分钟，就能得到一张与音频基调相契合的图片。

原理也比较好理解。这款应用程序是将音频发送到 LP-Music-Caps 以生成音频字幕，然后使用 Llama2 将其转换为说明性图像描述，最后运行 Stable Diffusion XL 以从音频生成图像。

在生成的音频字幕中，LP-Music-Caps 会将音频「切割」成以 10 秒为基准单位的音频段，并在各个音频段详细描述其韵律、节奏、乐器、单双声道以及AI感受等信息。

没错，相信你看到这里，能联想到这个「音生图」模型的一大乐趣就是输入各类音乐进行测试。

比如，当我们将Michael Jackson《We Are The World》的30秒副歌音频输进去后，勾选「音频不含歌词」，几分钟后，我们就得到了下面这张图。

一名时髦的年轻女生在街道上纵情歌唱舞蹈，全然沉浸在自己的音乐天地，呈现出振奋高昂的情绪姿态，与音频中抑扬顿挫、热情的感情基调遥相呼应。

而当勾选「音频含歌词」后，「Music To Image」所生成的图片又截然不同，生成了下面这张更吻合歌词的图片。

不同年龄，不同性别、不同种族的人都汇聚于这小小的一张照片之中。

一如那30秒歌词中的「We are the world,we are the children 」，众人相聚于此，为充满希望的未来欢声歌唱。

但遗憾的是，应用程序生成的图片质量却参差不齐，「车祸」图片也是常有的事，比如上面图片就存在着脸部缺失的失败情况。

究其原因，可以回顾上文所提到的技术原理。

在转换为说明性图像描述的过程中，如果Prompt的提示词不精准，加之Stable Diffusion XL 技术的尚未成熟，多重因素叠加之下，成品质量也就难以保障。

更重要的是，不能轻易忽视「音频是否含歌词」这一选项。

比如，在测试中，当我们将《see you again》的带有歌词的 30 秒输入，勾选「音频不含歌词」或者「音频含歌词」后所生成的图片截然不同。

年轻男子在优雅地弹着钢琴与右侧表达的家长里短，显然是风马牛不相及。

此外，我们还尝试了各种不同风格的音乐。

比如将前30秒带有歌词的《Baby Shark》（Youtube 上播放量最多的儿歌）放进去，选择「音频不含歌词」，最终生成了一张女生在阳光的沐浴下的海边冥想图。

而勾选「音频含歌词」，生成图片则较之更贴合歌词，生成了海洋和鲨鱼等富有儿童意趣的场景。

那么如果将两种代表中西方乐器的纯音乐放进去，又会形成怎样有趣的对比

结果可能会让你稍稍失望。用琵琶弹奏的《十面埋伏》，本该激昂震撼的30秒前奏却生成了一幅岁月静好的场景：一个女孩悠闲地坐在草地上演奏着乐器。

这个画面当然不贴合原音频的旋律，理由也很简单，就是目前该应用程序「音生图」在识别中文乐器的能力相对薄弱。

而用钢琴弹奏的《卡农》的高潮音频在「音生图」的转换下，将一个正在刻苦练习钢琴的女孩生动地描绘出来。

只不过尽管图片的主旨对了，但不成熟的技术还是将女孩的右手「忽略了」。

可以看出模型雏形尚且有些「小缺陷」，但不管怎么说，这个「音生图」将音频的频谱、节奏等特征映射为图片还是让生成式 AI 的步伐向前迈了一步。

以下是体验链接⬇️

🔗 https://huggingface.co/spaces/fffiloni/Music-To-Image

「音生图」背后的神秘独角兽

而背后给这个突破性的「音生图」模型提供平台支持的正是一家神秘独角兽公司 Hugging Face。

可能很多人对 Hugging Face 十分陌生，但如果将代表他们公司的 Emoji 放在你眼前，你可能会发现原来你们之间早已有了交集。

在所有科技巨头都在内卷生成式 AI 的赛道时，富有远见的 Hugging Face 选择另辟蹊径，开辟了 AI 的另一赛道。

Hugging Face 致力于成为机器学习领域的「GitHub」，通过创建一个开放的机器学习模型仓库，允许全球的开发者可以免费使用，将最前沿的技术通过开放平台进行普及。

就在最近，英伟达宣布与 Hugging Face 达成战略合作关系。

只需要在 Hugging Face 平台中简单勾选几下，开发者即可轻松地将生成式 AI 项目从笔记本电脑到工作站，再转移到数据中心或云端，最终借助英伟达 DGX 云 AI 超级计算资源来训练 AI 模型。

由此也可以看出 Hugging Face 这个模型仓库的火爆程度。也难怪 Hugging Face 在短短几年内就实现了爆发式的增长，频频获得投资人的青睐。

资本市场高度认可的背后其实也离不开 Hugging Face 模式过硬的商业逻辑。

首先，Hugging Face 的开源模型仓库降低了使用机器学习的门槛，开发者只需要引用仓库中的模型，就可以将 AI 能力直接集成到自己的产品中，完全省去了训练环节。

其次，Hugging Face 利用了协作开源的力量，目前该社区上已经汇集了 12 万个模型，3 万个数据集和 5 万个被称为Spaces 的演示应用程序，且数量和质量还在不断提升。

比如上文所说的「音生图」应用程序便是发布在 Hugging Face 的社区。

最后，免费吸引用户，再提供增值服务盈利，当用户产生服务依赖后，Hugging Face 就可以将付费用户转化率最大化。

机器学习是未来最重要的技术之一，整个市场规模将达到数万亿美元，Hugging Face 正处于这波浪潮的风口之中。

现在 Hugging Face 正在进行 2 亿美元规模的 D 轮融资，估值进一步提升至 40 亿美元。

而即使以 GitHub 的市值作为参考，前景不可估量的 Hugging Face 未来也有望达到 507 亿美元的规模。

正如「音生图」技术为艺术创作开拓新可能，Hugging Face 也在引领机器学习技术步入开放共享的新纪元。

他们正顺应着技术浪潮，在创新实践中探索不同方向，其模式和愿景也让人对其未来充满期待。

点击「在看」

是对我们最大的鼓励

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章