让美国女星“霉霉”说流利中文!AI换声背后意想不到的大变革!
你好,我是王煜全,这里是王煜全要闻评论。
前段时间,AI成功模仿了许多歌星的音色,让不少歌迷难辨真假,最近,AI又进化了,不只模仿音色,还能让老外说中文了。
10月17日,一位B站UP主johnhuu发布了一段视频,题目是“这才是没有译制片腔调的翻译!”,内容是美国知名歌手“霉霉”(泰勒・斯威夫特)用中文接受采访,在片中她的中文讲得非常流利,比很多译制片的配音都自然,更让网友惊讶的是,居然连嘴型都对上了。
这就引来了大量观众,原视频播放量200万,其他媒体转发的播放量超过600万。
作者解释说,视频制作起来非常麻烦,不仅要翻译、语音克隆,还要替换嘴型,但他并没有说出具体的AI工具名称。
那有没有更加简单易行的制作方法呢?
视频火了之后,推特用户@Gorden_Sun也制作了一段霉霉说中文的视频,实现了相同的效果。
但是,他的制作过程却非常简单,只需要在HeyGen平台中上传一段视频,再选择想要翻译的语种,就自动生成了中文视频。
我们办公室的小伙伴也尝试了一下。他们在我以前的演讲视频中节选了一段,上传到HeyGen平台,结果很快将中文演讲变成了英文演讲。各位可以看看文章里嵌入的这段小视频。
我看了之后感觉效果非常惊艳,视频中的英语口语比我自己还流利,口型与语音的匹配也很自然,可以说毫无违和感。
那么,HeyGen是如何实现视频翻译的呢?
这实际上是一家深圳公司诗云科技推出的产品,创始人徐卓毕业于卡内基梅隆大学,曾经是Snapchat的工程师。据介绍,HeyGen支持40种语言的视频翻译,背后的模型是他们的多模态内容生成引擎“Surreal Engine”。
虽然Heygen没有详细说明引擎背后的核心技术,不过,市面上也有很多相关的开源AI工具,结合起来就可以实现类似的效果。比如,先用whisper将语音转成文字,之后用GPT做翻译,再用so-vits-svc完成声音克隆和音频生成,最终用GeneFace++匹配视频嘴型。
也就是说,无论你是技术专家,还是对AI一窍不通的小白,都可以方便快捷地做出AI翻译视频,而且,随着各项技术的更新迭代和技术调优,视频效果也会越来越真实。
但是,AI视频翻译也会带来不容忽视的负面影响,那就是人们会越来越难以分辨真假,这会产生什么样的后果呢?
以往,人们验证新闻真实性时,喜欢说“有图有真相”,但各种修图工具出现之后,图片已经不能代表真相了,人们转而相信视频,毕竟视频造假比较复杂,有一定的技术门槛。
如今,随着AI视频工具的进步,未来只靠肉眼分辨真假视频将会难上加难,而技术门槛的降低,很可能催生出越来越多的假视频。
也就是说,未来即使看到视频也不代表看到真相!
有人会说,既然有AI视频造假工具,就会有AI视频检测工具,比如Deepfake Detector等等。但是,技术的发展本就是“道高一尺魔高一丈”,造假工具的进步速度完全有可能超过检测工具的发展。
既然肉眼难以分辨,技术检测也可能失效,那是不是就无解了?
当然有解,只不过并非单纯的技术解决方案,而是需要建立新的以“信用”为核心的网络媒体生态。
我们一直在强调,在互联网时代,“物理世界坍塌,社会规则永存”,不管线上还是线下,“信用”是构建稳定社会最基本的规则之一。
但是,在社交媒体时代,现有平台价值取向都出现了问题,其评价信息传播价值的核心指标无一例外都是“点赞”和“转发”,原理是点燃观众的情绪,这成了社交媒体信息传播的流量密码。
问题是,流量是一把双刃剑,无论信息真假,只要具备情绪价值就都会被大量传播,这就有可能成为网络谣言和网络暴力发酵的温床。
在平台设置的助力下,AI工具如果进一步降低了造假成本,如果再有管理不善的问题,很可能会让网络平台充斥假信息、假视频,长此以往会导致整体平台信誉大幅下降,最终失去用户。
与此同时,也很可能孕育出以“可信”为核心价值的新兴网络媒体,重点是建立“信用溯源机制”。比如,无论信息和视频在哪个平台传播,都需要附带原始来源链接或链接通道,就像现在的“论文索引”,最终承担信用风险的是第一位原作者。
这样一来,即使在传播过程中有人做出修改,也能够对比出差异,就不敢轻易造假了。
更重要的是,我们可以通过溯源来判断信息真伪,因为某领域的专家,又一贯有很高的信用,他发出的信息为真的可能性就大大增加了。
我相信,很快会出现能够溯源和分析信息信用的新媒体,这样的平台不哗众取宠,不强调关注和爆款,但却能让人们信任。在网络社会越来越稳定的未来,这样的平台才是主流。
也就是说,AI技术的进步,会进一步放大传统社交媒体的缺陷,同时也会催生出以“信用”为核心的新型媒体和新型网络社会。未来,人人都需要珍视自己的信用,共同创造一个真正宜居的线上世界,让有信用的人享受更加美好的生活。
关键在于,国内外社交媒体大厂都在追逐流量,忽视“信用”对AI时代网络媒体的战略价值,而这很可能是未来社交媒体创业的新机会。
以上是今天的内容,更多详细的产业分析和底层逻辑,我会在科技特训营里分享。欢迎关注全球风口微信号,报名加入!
另外,告诉大家一个好消息,我们的“CES2024前哨创新考察活动”新增了一位嘉宾,场景实验室创始人吴声老师,他将和我、万维钢老师、一苒老师共同参加CES的活动。
活动报名已经接近尾声,如果大家想和我们一起亲身接触新科技、新场景、新应用,现场分析和研判新趋势,那就尽快扫描下方活动二维码,报名参加吧。
2024CES,我们一起同行!
王煜全要闻评论,我们明天见!
1. 前哨科技特训营直播课程第四季(2023年)共50讲+,除此之外还有5节加餐+公开课。 2. 每讲承诺为1小时视频内容,实际平均时长为2小时。 3. 每周四晚八点准时直播,会员可无限次观看回放。 4. 新入会员,可以无限次回看之前所有视频课程。 5. 成为会员即可使用【AI王煜全】,最新AI大模型开发的专属科技分析助手
6. 每周组织【前哨·创新启发局】,链接科技/产业一线人士,打开技术/应用前沿视野
7. 优先获取全球科技产业一线游学、访问机会,接触科技/产业专家,获取最新、最前沿的趋势洞察,人脉链接
8. 本课程为虚拟内容服务,年费订阅服务制。一经订阅概不退款,线下活动需另行支付差旅成本,请您理解。
微信扫码关注该文公众号作者