Redian新闻
>
让霉霉说地道中文,背后玩家竟来自中国,7个月收入百万美元

让霉霉说地道中文,背后玩家竟来自中国,7个月收入百万美元

公众号新闻

完美口型,还能卡点,一款主打视频生成的AI工具,被网友狂打call。


虞景霖 尚恩
编辑邓咏仪

封面来源IC photo

最近,霉霉说地道中文的视频在全网疯传。

没有机械的翻译腔,霉霉用自然而地道的语气讲述自己最近的游历,甚至连嘴型都卡点对上,效果堪称绝绝子。
还没有看过视频的小伙伴们,原视频奉上
视频作者表示,想要做出效果这样的视频,其中有三个很重要的因素:掌握地道的口语翻译、语音克隆和替换嘴型,但没有提到具体用到的模型。

看到视频效果如此好,不少网友就开始试图找到“复刻之法”。
一位网友就表示需要至少三步才能达到这种效果,Whisper识别、Tortoise-TTS合成带原始说话人音色的语音、Wav2lip换嘴型。

视频火了之后,吸引了更多人开始尝试,其中背后一款AI工具也被网友迅速扒出。

这不扒不知道,一扒吓一跳,这个工具竟然还是来自国内的一个初创团队搞的。

全网爆火,HeyGen被网友疯玩

全网火爆,网友纷纷动手玩了起来。
网友@Gorden Sun也复刻了一段霉霉说中文的视频,在排队等待7000个视频后,用HeyGen制作的视频翻译终于完成了。并直言:“效果绝对目前最好,没有之一”。

从视频可以看到,无论是口型完美,卡点和嘴型都对的。
不过作者也表示,虽然声音克隆稍有缺陷,毕竟HeyGen只通过40秒的视频来克隆音频,如果刻意对比原视频,情感还原度稍有欠缺。
HeyGen虽然可以免费试用,但只能生成1分钟时长视频,且生成需要等待很长时间,而付费版最便宜的也要24美元/月。因此,就有热心网友贴出了如何用开源的工具,做出和HeyGen生成效果同样的视频。
比如,语音转文字whisper、文字翻译GPT、声音克隆+生成音频so-vits-svc、生成符合音频的嘴型视频GeneFace++。

除了这种中英互译的视频,HeyGen在外网也是一片火爆景象,各种玩法都有。
比如,这位网友就用HeyGen制作了说6种不同语言的视频。
HeyGen火爆程度可见一斑,而近日根据推特上一位分析师Will的统计显示,今年8-9月,各大文生图类AI网站的访问量均开始呈现下降趋势,但HeyGen的访问量却上升了92%,流量跃居各大独立AI网站之首。

图源:网友Will推特

那么,这个被众多网友狂推,成为AI独立网站之首的HeyGen,到底是什么来头?

国内创业团队,7个月收入百万美元

2020年12月,HeyGen的背后玩家“诗云科技”在深圳成立。
据36氪此前报道,公司成立之初,就以“用AI生成内容,让用户以更低成本完成内容创作”为愿景,已获得来自红杉中国、真格基金等风投们累计近千万投资。

HeyGen要做AI视频创作领域的Midjourney,在团队方面竟也有一些相似之处。目前,HeyGen的团队只有大概30人,分布在全球各地,以远程办公形式进行合作。
HeyGen的前身,一款名为“Movio”的AI视频翻译平台,背后所依靠的模型是自家的多模态内容生成引擎“Surreal Engine”。
2022年7月,诗云科技推出多模态内容生成引擎Surreal Engine,将内容生产分为Understanding(理解)、Framing(视框化)、Rendering(渲染)三个步骤。区别于市面上的两大3D内容创作巨头:Epic Game的Unreal Engine和Nvidia的Omniverse,Surreal Engine让普通人也可以轻松进行高维度、可交互的内容创作。
得益于此,HeyGen的最新版本Joshua Avatar 2.0在实时生成人物视频方面逼真度方面表现出色。
这不,连公司创始人都亲自上阵打广子了~
不仅如此,HeyGen的产品正式上线后的一年不到,创始人Joshua Xu就发表博文表示:HeyGen在7个月内实现了100万美元的ARR(年度经常性收入),并保持连续9个月50%的月环比增长率。

目前,HeyGen可以支持50多种语言和300多种不同的音色,用户可以上传自己的照片进行个性化形象定制,HeyGen也贴心地为用户提供了上百款数字人素材和模板。

盈利模式方面,HeyGen主要依靠C端客户付费,视频生成付费模式分为“创作者(Creator)和商务(Business)”两种,最低24美元/月。也支持“声音克隆、人像精调”单独付费。未来将逐步开放API接口、团队协作和企业功能。

HeyGen可以基本保证1080P的分辨率,满足广告、电商、新闻等行业的需求,还能帮助用户制作PPT。此外,HeyGen还提供了文本转视频、音频上传、视频分享和多种场景视频等功能。
当然,HeyGen还处在成长期,并不是完美的。目前,一些技术问题还会存在——比如生成的AI视频存在视频抖动、眨眼频率过高等问题。

不过,HeyGen目前正在趁着这一热度全力冲刺。上周四,HeyGen就在一场线上会议中展示商业版本的各项新功能——商业用户可以用HeyGen生成长达3小时的内容,画质最高可提升至4K,这一切工作都可以在新上线的并排脚本编辑器、集成的校对模块中进行。

点击下方【36氪小程序】,一站式收获市场最新动态。看完记得加入【我的小程序】中哦~


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
7个月收入百万美元!让霉霉说地道中文,国产AI火到国外!亚太裔选民成2024大选“香饽饽”,两党投入百万美金搏青睐瞄准“富贵闲人”,2款社交App月入百万美金“让霉霉中文开口跪”的AI有开源平替了!每月立省350(doge)霉霉说地道中文的视频火了,背后这个 AI 工具强大到可怕让霉霉说地道中文,背后AI 工具强大到可怕,7个月收入百万美金12/1 波士顿新闻总汇 | 谣言四起?吴弭市长直击虚假传闻!波士顿市政府投入百万美元资助餐饮企业 极光或将再临麻州游戏公司下场做短剧,真干出海外月收入1000万美元爆款?燃情岁月1989(22)新加坡坐拥16家独角兽企业!排名第一的公司来自中国估值高达660亿美元光 早餐一个信息差,收入百万霉霉中文水平“开口跪”,背后国产AI火到国外三家来自中国,一家中国人实控SPAC宣布合并标的(9.4—9.10)火了|霉霉会说地道中文了?更可怕的是......国产AI火爆海外,7个月收入近千万哈马斯地道战术曝光!以色列分享摧毁地道方法围观 ◇ BC省首个城市全面禁用天然气!再不能做地道中餐,再不能烧气取暖...九十五 刘教授山寨网红鹿哈直播7个月挣3500万,而现实是只有0.4%主播月收入超10万让霉霉说地道中文,背后玩家竟来自中国,7个月年订阅收入超百万美元震惊!新泽西参议员受贿的金条竟来自一场持枪抢劫案!先河环保爆发争夺战:“80后幕后玩家”鏖战中小股东?口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它实锤“接私活”,董明珠首次回应孟羽童离职!目前月收入可能20万近1年半广告收入400万口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后AI工具原来是它早报 | Zara母公司上半年利润大涨40%;玛丝菲尔将举办三十周年时装大秀;Diesel母公司中国市场前八个月收入猛涨逾一倍早报 | ​adidas第三季度中国收入增长放缓;Tod's前九个月收入大涨逾14%;戴比尔斯钻石销量暴跌逾82%2023《年入百万家庭国际教育报告》出炉!超9成坚定出国,1/4预算超500w,香港、澳洲成新爆款霉霉会说地道中文了?更可怕的是......你永远不知道你可能会遇上什么样的人1/4收入来自中国!芯片巨头冲击美股IPO,估值达640亿美元!你的手机上也有他们的设计...简直离谱!AI让“霉霉”、特朗普开口说中文,郭德纲用英文讲相声...九十六 拜访多数来自中国!澳洲一个月收超2000难民申请,基本全被拒!
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。