Redian新闻
>
30分钟音频当数据,任何音色零门槛生成,产品免费体验

30分钟音频当数据,任何音色零门槛生成,产品免费体验

公众号新闻
允中 发自 凹非寺
量子位 | 公众号 QbitAI

这年头,万物都可以是AI生成的,

从文字,到图片,亦或是目前火热的虚拟主播,

设想下,你在直播平台看到的虚拟主播背后,有可能是这样的画面。

连声音都可以是AI生成的,什么时候变声器已经能做到这个地步了,带着一丝震惊,我们深入了解了这款产品背后的技术团队,并得知了一个更加惊人的事实:

  • 免费使用

  • 仅需30分钟音频

  • 任何人就可复刻任何人声

这意味着在未来声音合成的门槛几乎为零,而这项技术是由国内一家年轻的AI初创公司格子互动自研的大饼AI变声,基于深度学习实现的声音转换(Voice Conversion)

以往我们使用的传统变声器需要根据输入声源不断调整参数,而Voice Conversion可以提供更稳定的声音输出,让任何输入人声都高质量的转换成目标音色(Any to One)

在Diffusion(图像)和GPT(文字)卷到飞起的同时,AI语音生成这片蓝海正在逐渐成为AIGC领域的下一个热点。

近期山东文旅宣布为旗下主持人海蓝生成了数字分身,并使用大饼声音引擎的产品为其定制了声音皮肤,引发了大量关注。

抑扬顿挫,委婉洒落。通过VC输出的声音极其细腻地还原了真人的语气、情绪和声音特征。

并且相较于非实时场景下对完整音频的声音转换,实时声音转换有着更加丰富的落地场景。在RTC领域,如直播、虚拟人等场景,变声的结果需要在很短的延迟内实时流式的生成,才能保证音画同步。

大饼团队针对这一点,通过对模型进行不断优化,使得实时转换延迟低于50ms,在实际使用过程中几乎感受不到。


大饼实时变声流程示意

大饼已经以插件形式登录声网云市场,在RTC领域受到了不少关注和讨论。

微信Steam都能用

目前,大饼变声已经适配了市面上大部分社交娱乐应用和游戏。

不仅可以接入到微信、腾讯会议等社交办公软件中,同样支持在英雄联盟、CSGO、狼人杀、Steam等游戏和游戏平台中同步使用。

无论游戏还是社交,都可以用各种声线来戏弄好友。

当然,这不一定是“大饼变声”最正确的打开方式…

一方面,变声带来了更丰富的可玩性和趣味性,另一方面,变声也保障了用户在线上社交时的隐私安全性,免去不必要的骚扰和歧视。

例如不少女性玩家曾经在玩游戏因为性别而被对手,甚至队友攻击,选择Carry角色却被认为不够格。

在线上游戏尤其是MMORPG等角色扮演游戏中,人们往往展现出和现实生活里截然不同的性格和人格,而这正是因为这些玩家游玩网络游戏的本质是希望在游戏里找到并扮演最完美、最理想的自己。

AI变声的出现可以让玩家在游玩过程中使用符合自己虚拟人设的声音皮肤,从而更好的带入角色,沉浸于游戏世界中。

就在6月2日,大饼推出了首个Windows实时变声客户端,用PC搜索“大饼AI变声”,即可前往官网免费下载试用。客户端内置丰富的音色选择,并且支持48k的高清音质输出。

拥有萝莉、御姐、正太等200+音色

我们上手体验了一番,无需任何前置调试,一键就能完成变声。

客户端演示

所以,这样一款好用易上手的AI变声工具背后究竟用到了哪些技术,而相比于以往传统的变声器,又有哪些不同呢?

AI变声将取代传统变声器

传统软件变声是对语音信号进行处理,通过改变输入声音频率,进而改变声音的音色、音调。

由于每个人的音色特征不同,需要不断调整声音参数,而这也难以保证输入音色效果稳定。

传统变声器的工作原理

而声音转换(Voice Conversion)是根据发声者的说话音频,将音频中的音色转换到目标发音人上,并保持说话内容、韵律情感等一致。将发声者的情感、抑扬顿挫、停顿等一并保留并输出:

输入样例—中文:

声音转换—中文:

换一种语言也能自然地转换,以日语为例:

输入样例—日语:

声音转换—日语:

通过AI输出音色相较于传统变声器,有几大明显的优势:

  • 能获得实时变声+声音克隆的效果,不需要使用者夹着嗓子发声,不需要因为声音不同而重新调试参数。任何人开启引擎,都可以实时稳定变声目标声音。

  • 并且在输出声音的质量上,也远远优于传统变声器。保留情感,抑扬顿挫的同时,支持多语种、方言的声音转换。

  • 并且AI变声不再需要物理机架以及声卡这些额外的专业设备支持,大饼自带虚拟声卡,保证了傻瓜式的操作流程,将使用门槛和成本降到了最低。

  • 不仅仅能换音色,还能消除口音,增强情感,甚至模仿各式各样的腔调。

事实上,不少科技大厂和巨头纷纷组建AI语音研究团队,朝着语音合成的方向暗暗发力。

大饼声音引擎,则是目前为止最集中在数字声音资产方向的生成式模型产品。其背后的AI初创公司格子互动,成立于2021年。

创始人凌天格是一位毕业于美国卡耐基梅隆计算机系的00后,团队的CTO徐颖则是前阿里巴巴语音算法专家,而CMO刘建俊曾任职于新浪、盛大及恺英网络VP,有多年的互联网经验。

这支新老搭档的团队在短短一年半的时间内前后获得源码资本奇绩创坛的两轮投资。

团队专注于声音领域,语音合成的研究与商业化。在AIGC还未成为热点的2021年就已经决定专注做声音的AI生成。而这个颇具魄力,在业内已经小有名气,极有“少年感”的团队,平均年龄只有26岁

短短半年时间,大饼变声引擎完成了多项技术的突破和上线,发布了PC实时变声客户端、以SDK形式登录声网云市场。

AIGC的价值就是把创作的门槛降到最低。试想在虚拟与现实逐渐交融的未来,每个人都可以免费、零门槛地拥有自己想要的声音,并在游戏、元宇宙等场景中使用符合自己虚拟人设的声音进行社交互动,自由开口,或许我们距离真正的“沉浸式”,又更近了一步。

用电脑搜索关键词“大饼AI”,立即前往官网免费下载体验;或点击阅读全文,了解更多大饼资讯。

*本文系量子位获授权刊载,观点仅为作者所有。


—  —

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
轰动大温!规划学院创单人37万美金奖学金纪录,免费体验作品课大受欢迎道人笔记(五十二)天地茫茫风卷山岗,人世沧桑已然初尝新加坡公布Top 100大学名单:美国27所英国18所,零门槛拿工签道人笔记(五十)重读经典通至理,历尽磨难获保送一「/」唤起钉钉魔法!麻瓜打工人零门槛玩转AI,老板笑疯了一个开源库搞定各类文本到音频生成,Meta发布AudioCraft英国IBD实习直推重磅来袭:零门槛、无面试、可远程!2023产品商业机会涌现,产品经理面临新要求|2023北京产品经理大会逐一展开旗舰级新品免费体验,云鹤4/G200限量抢!Meta音频AI三件套爆火:一句话生成流行音乐&音效,还能高保真压缩音频|开源即日执行!香港人才政策迎来新变,留学生“零门槛”留港再无可能?逼真复刻「完美中国情侣」!加强版Stable Diffusion免费体验,最新技术报告出炉定了!英国公布人才签:世界排名Top50留学生,零门槛拿永居?夏日纳凉!迪士尼在多伦多开了间免费体验“鬼屋”!无需任何3D数据,直接文本生成高质量3D内容,清华朱军团队带来重大进展零门槛、无面试!北美IBD实地实习直推来袭限时一个月!Chadstone黑白节免费体验!喷火魔术、互动下棋...沉浸式“遇见鬼”!多伦多快闪迪士尼鬼屋:限时免费体验后背发凉上海CFA面授班即将开课!线下免费体验,仅限3个名额!3分钟一个大片!视频版Midjourney上线iPhone,网友实测太绚了|免费体验新加坡公布Top 100大学名单:加拿大、美国共30所,零门槛拿工签免费体验动画制作现场!动画花火·2023活动营开营!突发!香港人才政策迎来新变,留学生零门槛留港再无可能?夏季晒斑、变黑怎么破?这个项目帮你改善,今日免费体验轰动!大温学生获37万美金奖学金!学校特开免费体验课,全是干货!道人笔记(五十一)望旧屋几经沧桑,敬天地傲然无畏基于扩散模型的音频驱动说话人生成,云从&上交数字人研究入选ICASSP 2023我们是大唐盛世 第十八章 董方明珠之死3油墨里飘香的解语铃铛花属于GPT-4的一周:免费体验、增强问答、抢先识图|Hunt Good周报Data Analyst重量级证书!德勤官方盖章:3小时拿证,留学生零门槛新加坡公布Top 100大学名单:加国这几所院校零门槛拿工签文心一言APP国区可下载!免费体验120+玩法,PPT大纲Excel公式一键生成这类基金成5月新发主力!整体规模最大已缩水四成,产品跟进创新需谨慎谷歌Bard支持中文了!十级过关,看懂梗图,直接上手免费体验
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。