Redian新闻
>
让美国女星“霉霉”说流利中文!AI换声背后意想不到的大变革!

让美国女星“霉霉”说流利中文!AI换声背后意想不到的大变革!

Science/technology

 点击订阅,抓住风口

你好,我是王煜全,这里是王煜全要闻评论。

前段时间,AI成功模仿了许多歌星的音色,让不少歌迷难辨真假,最近,AI又进化了,不只模仿音色,还能让老外说中文了。

10月17日,一位B站UP主johnhuu发布了一段视频,题目是“这才是没有译制片腔调的翻译!”,内容是美国知名歌手“霉霉”(泰勒・斯威夫特)用中文接受采访,在片中她的中文讲得非常流利,比很多译制片的配音都自然,更让网友惊讶的是,居然连嘴型都对上了。

这就引来了大量观众,原视频播放量200万,其他媒体转发的播放量超过600万。

作者解释说,视频制作起来非常麻烦,不仅要翻译、语音克隆,还要替换嘴型,但他并没有说出具体的AI工具名称。

那有没有更加简单易行的制作方法呢?

视频火了之后,推特用户@Gorden_Sun也制作了一段霉霉说中文的视频,实现了相同的效果。

但是,他的制作过程却非常简单,只需要在HeyGen平台中上传一段视频,再选择想要翻译的语种,就自动生成了中文视频。

我们办公室的小伙伴也尝试了一下。他们在我以前的演讲视频中节选了一段,上传到HeyGen平台,结果很快将中文演讲变成了英文演讲。各位可以看看文章里嵌入的这段小视频。

我看了之后感觉效果非常惊艳,视频中的英语口语比我自己还流利,口型与语音的匹配也很自然,可以说毫无违和感。

那么,HeyGen是如何实现视频翻译的呢?

这实际上是一家深圳公司诗云科技推出的产品,创始人徐卓毕业于卡内基梅隆大学,曾经是Snapchat的工程师。据介绍,HeyGen支持40种语言的视频翻译,背后的模型是他们的多模态内容生成引擎“Surreal Engine”。

虽然Heygen没有详细说明引擎背后的核心技术,不过,市面上也有很多相关的开源AI工具,结合起来就可以实现类似的效果。比如,先用whisper将语音转成文字,之后用GPT做翻译,再用so-vits-svc完成声音克隆和音频生成,最终用GeneFace++匹配视频嘴型。

也就是说,无论你是技术专家,还是对AI一窍不通的小白,都可以方便快捷地做出AI翻译视频,而且,随着各项技术的更新迭代和技术调优,视频效果也会越来越真实。

但是,AI视频翻译也会带来不容忽视的负面影响,那就是人们会越来越难以分辨真假,这会产生什么样的后果呢?

以往,人们验证新闻真实性时,喜欢说“有图有真相”,但各种修图工具出现之后,图片已经不能代表真相了,人们转而相信视频,毕竟视频造假比较复杂,有一定的技术门槛。

如今,随着AI视频工具的进步,未来只靠肉眼分辨真假视频将会难上加难,而技术门槛的降低,很可能催生出越来越多的假视频。

也就是说,未来即使看到视频也不代表看到真相!

有人会说,既然有AI视频造假工具,就会有AI视频检测工具,比如Deepfake Detector等等。但是,技术的发展本就是“道高一尺魔高一丈”,造假工具的进步速度完全有可能超过检测工具的发展。

既然肉眼难以分辨,技术检测也可能失效,那是不是就无解了?

当然有解,只不过并非单纯的技术解决方案,而是需要建立新的以“信用”为核心的网络媒体生态。

我们一直在强调,在互联网时代,“物理世界坍塌,社会规则永存”,不管线上还是线下,“信用”是构建稳定社会最基本的规则之一。

但是,在社交媒体时代,现有平台价值取向都出现了问题,其评价信息传播价值的核心指标无一例外都是“点赞”和“转发”,原理是点燃观众的情绪,这成了社交媒体信息传播的流量密码。

问题是,流量是一把双刃剑,无论信息真假,只要具备情绪价值就都会被大量传播,这就有可能成为网络谣言和网络暴力发酵的温床。

在平台设置的助力下,AI工具如果进一步降低了造假成本,如果再有管理不善的问题,很可能会让网络平台充斥假信息、假视频,长此以往会导致整体平台信誉大幅下降,最终失去用户。

与此同时,也很可能孕育出以“可信”为核心价值的新兴网络媒体,重点是建立“信用溯源机制”。比如,无论信息和视频在哪个平台传播,都需要附带原始来源链接或链接通道,就像现在的“论文索引”,最终承担信用风险的是第一位原作者。

这样一来,即使在传播过程中有人做出修改,也能够对比出差异,就不敢轻易造假了。

更重要的是,我们可以通过溯源来判断信息真伪,因为某领域的专家,又一贯有很高的信用,他发出的信息为真的可能性就大大增加了。

我相信,很快会出现能够溯源和分析信息信用的新媒体,这样的平台不哗众取宠,不强调关注和爆款,但却能让人们信任。在网络社会越来越稳定的未来,这样的平台才是主流。

也就是说,AI技术的进步,会进一步放大传统社交媒体的缺陷,同时也会催生出以“信用”为核心的新型媒体和新型网络社会。未来,人人都需要珍视自己的信用,共同创造一个真正宜居的线上世界,让有信用的人享受更加美好的生活。

关键在于,国内外社交媒体大厂都在追逐流量,忽视“信用”对AI时代网络媒体的战略价值,而这很可能是未来社交媒体创业的新机会。

以上是今天的内容,更多详细的产业分析和底层逻辑,我会在科技特训营里分享。欢迎关注全球风口微信号,报名加入!

另外,告诉大家一个好消息,我们的“CES2024前哨创新考察活动”新增了一位嘉宾,场景实验室创始人吴声老师,他将和我、万维钢老师、一苒老师共同参加CES的活动。

活动报名已经接近尾声,如果大家想和我们一起亲身接触新科技、新场景、新应用,现场分析和研判新趋势,那就尽快扫描下方活动二维码,报名参加吧。

2024CES,我们一起同行!

王煜全要闻评论,我们明天见!

我们还整理了一份builtin:20个AI艺术生成工具”清单辛苦你点下“赞”和“在看”,点击顶部的“进入公众号”,在对话框里发送“科技”二字,你就会获得这份清单。
清单每天更新,所以请跟上全球风口的节奏;如果想要所有行业清单,扫码加入科技特训营,分分钟尽在掌握!

【科技特训营】全新的会员订阅制线上书院模式,全年50次“在线直播课程+私享群互动”,你随时可以加入、我持续保持更新!一起互动,伴随成长!让我们为未来五年做好准备,一起探讨把握机遇,决胜未来!

【CES2024前哨创新考察】
长按扫描二维码报名加入。

1. 前哨科技特训营直播课程第四季(2023年)共50讲+,除此之外还有5节加餐+公开课。
2. 每讲承诺为1小时视频内容,实际平均时长为2小时。
3. 每周四晚八点准时直播,会员可无限次观看回放。
4. 新入会员,可以无限次回看之前所有视频课程。
5. 成为会员即可使用【AI王煜全】,最新AI大模型开发的专属科技分析助手
6. 每周组织【前哨·创新启发局】,链接科技/产业一线人士,打开技术/应用前沿视野
7. 优先获取全球科技产业一线游学、访问机会,接触科技/产业专家,获取最新、最前沿的趋势洞察,人脉链接
8. 本课程为虚拟内容服务,年费订阅服务制。一经订阅概不退款,线下活动需另行支付差旅成本,请您理解。

课程咨询】
请加“创新地图助手”:
微信:innovationmapSM

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
深度好文|“霉霉”在资本圈杀疯了双11特惠|国际重奢疯了?!𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢(雅格狮丹)90%白鸭绒羽绒服,保暖防泼水,1折开抢!“最强扫地僧”火了,高手往往出现在你意想不到的地方全网近千万预约,烛龙拿“古剑奇谭”做了一款意想不到的新游戏是时候彻底放弃“高分低能”的Leetcode了:AI时代的面试需要大变革!慢慢体悟生成式人工智能国际重奢卷疯了?!𝘼𝙦𝙪𝙖𝙨𝙘𝙪𝙩𝙪𝙢(雅格狮丹)90%白鸭绒羽绒服,保暖防泼水,1折开抢!第十一章 现代社会经济体系的运作 (2)新英格兰赏枫地汇总:12个意想不到的秋色美境!全世界最美赏枫地-佛蒙特州秋之美 | 秀丽山水间的生机盎然一个意想不到的中国女人,刚刚发表了世界级神作。正规医院里都有哪些意想不到的快乐项目?THE MOLAB|这款「真香」外套 有意想不到的时髦效果40年最大变革!美国大学排名出炉,公校排名提前小说:兰欣与乌茶 29李佳琦出事72小时后,最意想不到的事,发生了.......【人工智能 X 咨询行业】咨询行业的大变革时代即将到来?麦肯锡&埃森哲的大裁员只是一个开端卖淫女数量暴增!纽约街头胜似曼谷,背后原因意想不到...团圆换新筷,推荐五福筷,“霉”不沾筷,健康常在!泰勒·斯威夫特巡演上粉丝暴晒数小时惨死!“霉霉”大崩溃!推迟演出顶尖名校应对平权法案:文书申请大变革!我开始发烧+咳嗽了,竟带来了意想不到的后果!今天垂死病中惊坐起……赛马场突然熄灯!结果骑手摔伤、赛马安乐死,背后的错误意想不到!H-1B和F-1签证重大变革!影响你的可能性有多大?"意想不到的好处"每天吃爆米花不仅能解馋还能降低"变傻"风险。旅行时有哪些意想不到的幸福感小物?Woolies推出新变革!这种你天天买的商品大变样“大学生伸懒腰骨折被送医??” 意想不到的受伤经历...简直离谱!AI让“霉霉”、特朗普开口说中文,郭德纲用英文讲相声...【震惊】巡演上粉丝暴晒数小时惨死!“霉霉”大崩溃!推迟演出震惊!泰勒·斯威夫特巡演上粉丝暴晒数小时惨死!“霉霉”大崩溃!推迟演出有哪些意想不到的行为,会让男生不行?冰山“霉霉”在资本圈杀疯了大变革!加拿大修订技术移民甄选制!工种及专业获优先你不是姓“胡”
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。