Redian新闻
>
美国知名女星中文水平“开口跪”,背后是国产AI

美国知名女星中文水平“开口跪”,背后是国产AI

公众号新闻
丰色 发自 凹非寺
量子位 | 公众号 QbitAI
这两天,霉霉(泰勒・斯威夫特)说中文的视频着实火了。
在各个平台的点赞数量be like
而真相,才不是霉霉学会了中文,纯纯是AI在“捣鬼”!
对比原片,AI不仅完成了语言翻译,连声线也完美模仿、口型相当逼真,实在是让人叹为观止。
吓得网友都喊妈了:


另一个霉霉说中文的视频(cr: Gorden_Sun)效果也很不错:
还有赫敏、憨豆以及蔡明通通都来了个“开口跪”:
有网友直接称这才是“没有译制片腔调的翻译”,表示真人配音都达不到这样的高度
嗯哼,甚至比真人配音还要省事“一万倍”:
如果你也想做,只需要上传你的视频、再选择要翻译的语言——就这么简单的两步,就可以了!
瞧瞧,连外国网友们也玩得不亦乐乎。

更令人称赞的是,这个火到国内外的🐂🍺神器,是国内诞生的产品,背后公司来自深圳
(注:除了黑色礼服的霉霉视频,其余均源自于@johnhuu教英语)

一键视频翻译AI火了

此工具名称为HeyGen
目前处于Beta测试阶段,在官网直接上传一段原视频即可。
其中:
文件支持3种类型:mp4、quicktime和webm;
文件大小最高支持1GB,时长不低于30s,不高于5分钟;
分辨率则需介于360x360到4096x4096之间。
为保证效果,HeyGen对视频内容本身也有两点要求:
1、尽量无背景音乐或噪音;
2、尽量避免多人
上传以后,就可以选择你要翻译的语言了。
目前支持输出包含中英文等在内的15种语言(输入语言支持18种)
除此之外,别的什么也不需要咱做。
当然,这个工具本身是付费的且不便宜(每月至少48美刀),免费试用只提供2分钟的视频翻译时长,且需要排队。
鉴于效果确实非常惊人,网友们也十分好奇HeyGen背后的技术。
结果也扒出来了:
基本是在开源方案基础上整合出来的(开源方案没有这么直接的一键效果)
具体而言,根据推特博主@Gorden_Sun的总结:
文本翻译用的是GPT;
语音转文字用的是whisper
声音克隆+生成新音频用的是so-vits-svc;
最后的口型匹配用的是GeneFace++

背后公司来自深圳,7个月收入超百万

让人眼前一亮的是,HeyGen的背后是一家来自深圳的AI公司。
名叫诗云(surreal)科技,主营AIGC,成立时间为2020年11月。
从官网看其产品除了视频翻译,也有数字头像生成、AI脚本生成等服务。
其联合创始人兼CEO为徐卓(Joshua Xu),他硕士毕业于CMU计算机专业,本科毕业于同济大学,此前在Snapchat工作了六年,是该司前100号员工。
另一位联创兼CPO为梁望,硕士毕业于CMU人机交互专业,本科也来自同济大学,曾任字节跳动北美设计Lead。
除了他俩,其他核心成员也均来自国内外互联网大厂。
据介绍,公司目前已获两轮百万美元融资
CEO在今年4月就发文透露:
HeyGen在7个月内实现了100万美元的ARR(年度经常性收入)。
而有推特网友(@MacroWang007)统计发现,就在今年9月,HeyGen还迎来了一波用户量的爆炸式增长(+91.77%)
前途可谓不可估量,接下来他们还即将推出商业版的视频翻译服务。
不过,值得注意的是,从推特官网的介绍来看,HeyGen目前的base似乎改到了美国加州,目前在招聘的两个岗位工作地点也是在那边。

最后,再聚焦到HeyGen工具本身。
网友对其潜力无比赞不绝口,有的担心这会让假消息更加泛滥。
也有人表示:又一部分人可能要面临失业了。
不过,它的不足之处也还是有的,比如有网友指出感情有些缺乏、翻译质量一般等等。
且看未来如何改进。
试玩地址: https://labs.heygen.com/video-translate
参考链接:
[1]
https://twitter.com/Gorden_Sun/status/1716075577117929841
[2]https://twitter.com/Gorden_Sun/status/1716271766891573692
[3]https://weibo.com/3725773862/NoAIfp93p
[4]https://twitter.com/HeyGen_Official

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
知名女星被举报偷漏税?名下多家公司已注销离婚6年后,知名女星官宣生子!不领证不办婚礼,41岁的她凭啥这么敢2023中国纪行(7) 二探香港半岛局势再次紧张,背后是韩国的独走?24集纪录片《四季中国》,每天10分钟,英文水平快速提高这几天上班都在「摸鱼」?不怪你,背后是有科学解释的——知名女星疑癌症复发,全身插管举吊瓶!加拿大老公竟然...医药反腐不止一阵风暴,背后是一场系统战役知名女星酒驾逃逸!沦为寺庙“打工妹”,彻底不装了...[重磅]加航停飞主要航线 美联航大砍赴华直航!知名女星被实名举报!"白天旅游 晚上那个"华人曝小红书找旅伴涉黄!热搜第一!知名女星被实名举报偷漏税,关联多家公司已注销!徐翔卸任泽熙投资很突然!知名女星遭各大卫视删除……“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge)穆迪的偏见,背后是巴菲特1341亿的算计!突发!美国知名女歌手演唱会 粉丝猝死 现场1000多人晕倒 观众绝望哭喊 巨星呼吸困难恭喜!42岁TVB前知名女星突然宣布怀孕,自曝想和医生老公生4个小孩她中风瘫痪失语20年,现在脑机接口+AI终于让她重新“开口说话”!羽生结弦105天闪婚闪离,背后是顶流的无奈小姐和卖货郎的故事日本妹子在线“下跪”,姿势赢麻了?网友:这一坐真要命!!这一“跪”,帅气!免费领 | B站评分9.7!大语文水墨动漫《餐桌上的世说新语》,让孩子走进历史​夜光剧本女星怀孕了?​大眼男神要完蛋?整容女星恋爱了?小鸡嘴欠下巨款?烧伤女星男友不知足?前三季度NOA同比增长超150%,背后是一场残酷「成本」大战突然断崖式衰老!42岁香港知名女星全素颜出镜显沧桑,未婚为富商生俩儿子两婚两离的知名女星,结婚前才知渣男隐瞒已婚已育,分手后奉子成婚再嫁他人仍离婚收场…知名女星逃税4500万?春天霉霉中文水平“开口跪”,背后国产AI火到国外大型幸福事件的余波冷却的不止季节(102)— 梦境人妻迫不及待岛国找牛郎?爱哭女星被资本抛弃?四字女星异性缘爆棚?嘻哈歌手被收买?清纯女星婚姻亮红灯?全国知名女主播最终身败名裂,居然因为这件小事……5G基站功耗等于一个灯泡!华为秀到了迪拜,背后是能源与5G双向奔赴大势偷税漏税4500万?知名女星栽了
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。