输入文字生成音乐，这个音乐版Stable Diffusion火了，网友：电子音乐界要被冲击了 | 在线可玩
鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
Stable Diffusion被两位普林斯顿校友玩出花儿来了。
这是一张Stable Diffusion生成的图片：
先别着急说“丑”，仔细看，其实这是一份频谱图。
还是真的能转换成一段音乐的那种！
并且两位作者还表示：
只是对Stable Diffusion的1.5版本进行了微调。
这个会创作音乐的Stable Diffusion名叫Riffusion（riff+Diffusion），现在打开网页就能玩。
输入提示词，即可获得一段对应的音乐。比如，输入“民谣，女声引入，过渡到青少年流行歌星”。
生成的音乐是酱婶的：
这么一个音乐版Stable Diffusion，上线后立即引来不少网友围观。
连作者自己都赶紧抛出来说：试不上别着急，等我们扩充下GPU。
而有网友已经开始为电子音乐从业者们担心了：
它会像核弹一样冲击电子音乐。
那么问题来了——
Riffusion怎么做到的？
就像开头说到的，作者表示，他们没对Stable Diffusion v1.5做任何修改。
只是用与文本配对的频谱图数据，对模型进行了微调。
这样一来，Riffusion就能根据提示词，生成对应的频谱图了。
这里需要补充的背景知识是，利用短时傅里叶变换（STFT），我们可以从音频中计算出频谱图。而短时傅里叶变换是可逆的，所以根据频谱图，我们也可以重建出一段音频。
不过，作者提到，因为相位具有混沌性，模型学起来比较困难。所以Riffusion生成的频谱图像，其实只有正弦波的振幅，而不包含相位。
实际在重建音频剪辑时，作者们是采用Griffin-Lim算法来近似相位的。
值得一提的是，就像Stable Diffusion能根据文字提示P图，Riffusion也能够依照文本指示，修改音乐的细节。
比如把开头那段萨克斯即兴重复段（也就是riff）：
改成钢琴版：
丝滑过渡
看到这里你可能会觉得，Riffusion生成的riff有点短啊。
但其实，Riffusion也有一些时长更长的作品。关键是怎么把不同的音乐片段串联起来。
比如先来一段rap，再自然过渡到爵士乐：
作者们采用的策略，是先选取一个初始频谱图，然后通过改变种子和提示词，去不断修改这张图，使其产生新的变化。
而为了使整段音乐更加和谐统一，作者们还在模型的隐空间内进行了插值。
具体而言，可以对具有两个不同种子的提示的隐空间进行采样，也可以对具有相同种子的两个不同提示的隐空间进行采样。
关于作者
如果你对Riffusion感兴趣，戳进文末链接就可以直接体验起来了~
最后的最后，还得提一嘴，Riffusion其实是个“业余项目”。
它的作者是两位普林斯顿校友。
其中，Seth Forsgren本科在普林斯顿学生物，毕业后搞了不少软件创业项目，今年刚把一个能把手机变成对讲机的项目卖掉。
而Hayk Martiros则是美国无人机独角兽Skydio的技术专家，同样在普林斯顿本科毕业，后来在斯坦福读完了研究生。
在线试玩：
https://www.riffusion.com/?&prompt=jack+johnson+vocals
参考链接：
https://www.riffusion.com/about
— 完 —
「人工智能」、「智能汽车」微信社群邀你加入！
欢迎关注人工智能、智能汽车的小伙伴们加入我们，与AI从业者交流、切磋，不错过最新行业发展&技术进展。
PS. 加好友请务必备注您的姓名-公司-职位哦 ~
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者