Redian新闻
>
口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它

口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它

公众号新闻

推荐关注↓

转自:机器之心

这两天,美国女歌星霉霉(泰勒・斯威夫特)一则说中文的短视频在各社交平台火了起来。有的播放量已经达到了 600 多万。

在视频里,霉霉操着一口流利、地道的中文,神情自若,几乎没有早期译制片女主角的那种腔调,口型也能对得上。
图源:微博 @会火

还没有看过视频的小伙伴们,我们先来一睹为快。

视频作者:johnhuu 教英语
感觉怎么样,是不是很神奇呢?

可以看到,不仅是霉霉,蕾切尔・布罗斯纳安、特朗普、艾玛・沃森、憨豆先生都掌握了一口正宗的中文。此外,小品演员蔡明在吐槽大会上「秀了一段流利的英文」。

作者表示,视频制作中有三个重要的因素:掌握地道的口语翻译、语音克隆和替换嘴型,每个步骤都要做好。不过,他没有说明用到的具体模型是什么。

视频火了之后,更多的人开始了新的尝试,也让我们了解到了视频背后使用到的 AI 生成工具 ——HeyGen。

推特用户 @Gorden_Sun 同样制作了一段霉霉说中文的视频,这次口型完美,卡点和嘴型都对得上。有人评论到,「音色其实也很像了。」

作者表示,视频里面的翻译是 HeyGen 自动完成的,质量可能不太好,他只需要上传视频并选择要翻译的语言就行了。

视频字幕是作者自己加的,HeyGen 没有该功能。此外视频人物在情感还原度方面仍有欠缺。

不过,HeyGen 虽然可以免费试用,但需要等待很长时间。懂技术的小伙伴也可以寻找开源替代方案,比如语音转文字 whisper、文字翻译 GPT、声音克隆 + 生成音频 so-vits-svc、生成符合音频的嘴型视频 GeneFace++。

除了中英互换之外,国外还有人尝试将英语翻译成日语,效果同样很不错。他表示,该视频同样是使用 HeyGen 做的。


原始英文视频如下:

转换后日语视频如下:

还有更离谱的是,有人使用 HeyGen 制作了说多达 6 种不同语言的视频。对此有人评价称,「HeyGen 将成为内容创造领域的搅局者。」

那么,这个 HeyGen 是什么来头呢?原来它在两个多月前就生成过一段爆火视频。

HeyGen:做不输 Midjourney 的 AI 视频生成器

当时,HeyGen 生成了一个超逼真的数字人,还是创始人 Joshua Xu 亲自上阵。人物的表情、动作、脸部微表情等等,都活灵活现地展现在你眼前。

HeyGen 的这段视频掀起了一阵热潮,但是因为还有一些效果缺陷,大家更加期待改善后的版本。

HeyGen 创始人 Joshua Xu 的 AI 生成数字人,眨眼频率过高

HeyGen 背后的公司名叫诗云科技,成立于 2020 年。他们最初致力于做 AI 数字人生成,创始人 Joshua Xu 曾在 Snapchat 担任主要工程师,负责机器学习领域。

Joshua Xu 曾发博客表示,自 2022 年 7 月产品发布以来,历时 178 天,该公司 ARR (annual recurring revenue)已达到 100 万美元。


HeyGen 为用户提供更加便宜、省时的视频制作方法。这打破了传统视频制作中费用高昂、周期长、人员杂乱和设备需求高等问题。

参考链接:https://www.sohu.com/a/711139471_99985415


- EOF -

推荐阅读  点击标题可跳转

1、马斯克硬核迁移服务器

2、中国数学老师在P站教微积分年入百万

3、放弃亚马逊、谷歌!!!

4、监控员工微信聊天记录,方法还这么多!


关注「程序员的那些事」加星标,不错过圈内事

点赞和在看就是最大的支持❤️

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
2023广美、中传…优秀毕设集结!最潮的视觉设计新趋势!明明是Top100,却经常被当作保底院校的“最惨备胎”,原来是它!霉霉憨豆讲中文、蔡明阿姨秀英语,能让你说任何语种的AI神器火了中国智能卡车“遥遥领先”:卡车NOA落地5000万公里0事故,全球首个哈马斯地道战术曝光!以色列分享摧毁地道方法一日一诗:我在午夜茫然时温习你的嗔笑 / 一个眼神 / 一个口型 / 一次对视的确认 | 自明 :午夜的月光——致妻让霉霉说地道中文,背后玩家竟来自中国,7个月收入百万美元本拿比击败温哥华,抢下全省第一高楼!地标之争赢家原来是它!1500句超地道的英语口语,每天背10句,背完口语棒棒哒(视频跟读)理发师吐槽顾客视频火了:“顾客这五种行为最让我不能忍”爱意藏不住,霉霉热吻球星男友照片曝光!霉霉会说地道中文了?更可怕的是......红色日记 10.11-205144 血壮山河之武汉会战 崩溃 4解读命运的密码Pika的AI视频火了!Stability AI要卖了?哪种AI项目有未来?|前哨魏晋名士有道好,只泡自己喝的茶,不煲心灵鸡汤。让霉霉说地道中文,背后玩家竟来自中国,7个月年订阅收入超百万美元加沙原来是这个样子,几乎所有人想象不到用手机拍出好莱坞级电影特效,这些以假乱真的视频火了7个月收入百万美元!让霉霉说地道中文,国产AI火到国外!加航秋季大促,北美、南美、加勒比航线机票闪购!圣诞节、春假周均参加!火了|霉霉会说地道中文了?更可怕的是......【活动最后一天】老爹鞋的鼻祖原来是它!燃爆上海时装周,好看到炸裂~口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后AI工具原来是它加拿大研究发现4大儿童过敏症 罪魁祸首原来是它!最接近人声的传统乐器,原来是它→让霉霉说地道中文,背后AI 工具强大到可怕,7个月收入百万美金外国大学生哭穷视频火了!留学党:这题我熟!老烟记事(365) 战友霉霉中文水平“开口跪”,背后国产AI火到国外围观 ◇ BC省首个城市全面禁用天然气!再不能做地道中餐,再不能烧气取暖...一个近乎完美的台灯!霉霉说地道中文的视频火了,背后这个 AI 工具强大到可怕全新AI视频生成工具Pika爆火!做电影都不在话下,高颜值学霸创始人被评“近乎完美”,她父亲还有家A股上市公司……
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。