Redian新闻
>
随便哼两句就能变歌曲,还有国宝歌手帮你演绎,音乐的 Dall·E 2 时刻来了

随便哼两句就能变歌曲,还有国宝歌手帮你演绎,音乐的 Dall·E 2 时刻来了

科技

机器之能报道

编辑:Sia

一个模型+两个功能=仅从文本提示就能生成引人入胜的音乐和歌声。



你是否有过这样的体验,脑海不时冒出各种旋律,却因对乐器一窍不通,无法将这些创意释放出来?


今天 ,YouTube 和 Google DeepMind 强强联合推出的新服务能让你的创意和音乐实现无缝转化。


Google DeepMind 提供的复杂的 AI 音乐生成系统 Lyria 帮助下,YouTube 正在测试新的音乐生成功能:


仅用文本提示或者简单哼唱几句,AI 就能立刻生成一段引人入胜的音乐或歌曲。


最先推出的一个服务叫  Dream Track,可自动生成模仿某音乐人声音、风格的 30 秒音乐曲目,甚至包括歌词。


目前有 9 位流行音乐音乐人参与了这项合作,他们是 Alec Benjamin、Charlie Puth、Charli XCX、Demi Lovato、John Legend、Papoose、Sia、T-Pain 和Troye Sivan,以美国和澳洲歌手为主,饶舌说唱歌手相对多一点。 


部分合作音乐人:Troye Sivan, Demi Lovato, John Legend (从左到右)


澳洲国宝级歌手 Sia 也在合作之列


Dream Track 用户只需输入提示,比如文字输入 「佛罗里达州一个阳光明媚的早晨,R&B」( R&B ,节奏布鲁斯,一种曲风),再选择美国饶舌歌手 T-Pain :


马上就能得到一段 30 秒的音乐,里面歌手的声音是 T-Pain ,连歌词都替你生成了(当然,你也可以自己写)



这是音乐人美国歌手 Charlie Puth 风格的作品:


早在 9 月,YouTube 就宣布推出一项名为 Dream Screen 的服务,该功能可以自动生成视频和照片用作背景。不过对于创作者来说,仅能自动生成视频是不够的,能为短片配上独特的背景音乐才算圆满。
现在, Dream Track 填补了这一缺失——Lyria 生成包含该艺术家 AI 生成声音的原创 Shorts 配乐,供创作者使用。这也有利于 YouTube 与「宿敌」TikTok 竞争用户。

YouTube Shorts 中试用 Dream Track 

有短视频创作者抢先体验了一把 Charlie Puth 风格的创作,创作主题是她的宠物狗索尔:
除了 Dream Track ,强劲的 Lyria 模型还被用来构建今天宣布的第二个工具,名为 Music AI。
这是谷歌和与艺术家、歌曲作者和制作人一起设计的一套工具,辅助用户音乐创作。比如,随便唱一段旋律就能变成一段管弦乐演奏的曲子、将 MIDI键盘上的和弦变成真实合唱团的演唱或者给一段口技打击乐配上鼓点。
在这个视频中,制作人/词曲作者 Louis Bell 只用几句 balah~,外加一个文本提示(「萨克斯管独奏」),就自动生成一段萨克斯管曲目,简直不要太好听:

将一段哼唱转化为一段管弦乐:



将 MIDI 键盘和弦转换为真实的合唱团人声:


将类似口技的打击节奏变成一段鼓循环:



YouTube 音乐 AI 工具的用户界面

目前,YouTube 只挑选了约 100 位短视频创作者试用这些功能,并表示 Music AI incubator的参与者能在晚些时候体验到这些新工具。
在音乐生成领域,谷歌并不孤单。
Meta 在 6 月份开源了一款 AI 音乐生成器;Stability AI 也在 9 月推出了 Dance Diffusion,可以根据文本描述生成歌曲和声音效果。像 Riffusion 这样的初创公司也在为他们在这一领域的努力筹集资金。音乐界也在尝试拥抱新技术。
不过,对于 AI 来说,创作引人入胜的音乐尤其具有挑战性。音乐包含大量的信息,包括每一秒的节拍、音符还有和声。当生成长序列声音时,AI 模型很难在乐句、  副歌和章节段落之间保持音乐的连续性。由于音乐通常同时包含多种声音和乐器,创作起来也比语音难得多。

Lyria 擅长使用器乐和人声生成高质量的音乐,在转换和保持音乐延续性方面做的不错,能让用户更细致地控制输出的风格和效果。

谷歌 DeepMind CEO 哈萨比斯表示,音乐生成的技能也是一个很好的例子说明大模型越来越具有「多模态」功能。OpenAI 的 ChatGPT 的最新版本除了文本之外还可以处理音频和图像。谷歌 DeepMind 正在开发自己的强大人工智能模型,称为 Gemini,据传具有多模式功能。

不过,使用 AI 模仿艺术家的声音和风格的做法一直令人担忧,也颇具风险。
今年早些时候,环球音乐集团提出版权侵权索赔,要求从 YouTube 和其他平台上删除一首席卷各社交媒体平台的 AI 生成的歌曲「Heart on My Sleeve」,这首歌听起来像是 Drake 和 「盆栽哥」之间的合作——尽管他们事实上根本没有参与这首歌。
DeepMind 在博客文章中表示,使用 Lyria 创建的音轨将带有 SynthID 水印,人耳听不到,也不会影响聆听体验。
水印可以在修改音轨时保留下来,因此即使有人在音轨中添加了更多噪音,将其压缩成 MP3 文件,理论上仍然可以分辨出是否包含来自 Lyria 的音频。

SynthID 通过将音频转换为二维可视化图谱来添加数字水印

打了水印音频的波形动画


发布这些新工具的几天前,YouTube 宣布了针对人工智能生成的深度伪造的新内容指导方针,旨在保护人们,并最终保护该平台的音乐行业合作伙伴。

参考链接
https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/
https://www.theverge.com/2023/11/16/23963570/youtube-generative-ai-dream-track-music-tools-voice-clone



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
DALL·E 3正式上线ChatGPT;智谱AI今年已融资25亿元;科大讯飞回应美国AI芯片出口管制丨AIGC大事日报DALL·E 3 推理能力炸裂提升,OpenAI 抢跑“ChatGPT 原生”龙行龘(dá)龘(dá)!不到 600 行代码实现了《愤怒的小鸟》翻版,GPT-4+DALL·E 3+Midjourney 撼动游戏圈!DALL·E 3必应开测!马骑宇航员难题攻破,一张画指定50个物体,微软前所未有深度参与研究GPT-4版微软Win11下周二见;千亿参数生物医药大模型面世;DALL·E 3模型将接入Bing丨AIGC大事日报48 自古万事难两全DALL·E 3内部实测效果惊人!Karpathy生成逼真灵动「美国小姐」,50个物体一图全包GPT-4写代码,DALL·E 3+MJ搞定画面,AI版「愤怒的南瓜」来袭OpenAI救了Stable Diffusion!开源Dall·E3同款解码器,来自Ilya宋飏等龙行龘(dá)龘(dá)!这些三叠字怎么念?我的同桌OpenAI一夜颠覆AI绘画!DALL·E 3+ChatGPT强强联合,画面直接细节爆炸DALL·E 3辣眼图流出!OpenAI 22页报告揭秘:ChatGPT自动改写PromptAdobe新版AI绘画炸场,2k分辨率在线就能玩,网友:效果比DALL·E 3更强体验 DALL·E 3 + ChatGPT 王炸组合后,我感受到了甲方的快乐科大讯飞回应美国AI芯片出口管制;DALL·E 3正式上线ChatGPT Plus和企业版丨AIGC日报ChatGPT与DALL·E 3之间的行业「黑话」被人发现了龙行龘(dá)龘(dá)!2024央视春晚宣布→DALL·E 3=Midjourney+PS?OpenAI悄悄推出「种子」功能,生图之后还能精修DALL·E 3关键技术公开!19页论文揭秘如何对提示词“唯命是从”还乡49心之忧矣,於我归息DALL·E 3 微软Bing抢先测!马骑宇航员难题攻破!一张画指定50个物体DeepMind让大模型学会归纳和演绎,GPT-4准确率提升13.7%Midjourney V6来袭!性能对标DALL·E 3,争夺地表最强作图AI称号体验 ChatGPT+DALL·E 3 王炸组合后,我再也回不去了西交、清华等发布多模态大模型,有望成为「DALL·E 4」技术路线?和AI一起「白日作梦」重磅!他真的来悉尼开演唱会了!超燃现场、深情演绎,一起搭乘音乐时光机“回到过去”!LIVE门票火热抢购中!OpenAI扔出DALL·E 3!能画画的ChatGPT要来了:简单提示,讲出“超级向日葵刺猬”连环画OpenAI祭出绘画神器,Midjourney一夜下台!DALL·E 3联手ChatGPT,无需prompt一笔成神不需要任何演绎,张桂梅的故事本身就足够伟大DALL·E 3瞬间生成素材,零成本制作数千万流水游戏!OpenAI总裁转赞对标DALL·E 3!Meta最强文生图Emu技术报告出炉2023再次回国 (中美旅馆早餐对比)
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。