国际科技财经博客移民网络热点娱乐民生时事公众号

>

让霉霉说地道中文，背后玩家竟来自中国，7个月年订阅收入超百万美元

让霉霉说地道中文，背后玩家竟来自中国，7个月年订阅收入超百万美元

公众号新闻

2023-10-24 15:10

完美口型，还能卡点，一款主打视频生成的AI工具，被网友们狂打call。

文｜虞景霖尚恩

编辑｜邓咏仪

来源｜智能涌现（ID：AIEmergence）

封面来源｜IC photo

最近，霉霉说地道中文的视频在全网疯传。

没有机械的翻译腔，霉霉用自然而地道的语气讲述自己最近的游历，甚至连嘴型都卡点对上，效果堪称绝绝子。

还没有看过视频的小伙伴们，原视频奉上

视频作者表示，想要做出效果这样的视频，其中有三个很重要的因素：掌握地道的口语翻译、语音克隆和替换嘴型，但没有提到具体用到的模型。

来源：johnhuu教英语

看到视频效果如此好，不少网友就开始试图找到“复刻之法”。

一位网友就表示需要至少三步才能达到这种效果，Whisper识别、Tortoise-TTS合成带原始说话人音色的语音、Wav2lip换嘴型。

来源：X（原Twitter）

视频火了之后，吸引了更多人开始尝试，其中背后一款AI工具也被网友迅速扒出。

这不扒不知道，一扒吓一跳，这个工具竟然还是来自国内的一个初创团队做的。

全网爆火，HeyGen被网友疯玩

全网火爆，网友纷纷动手玩了起来。

网友@Gorden Sun也复刻了一段霉霉说中文的视频，在排队等待7000个视频后，用HeyGen制作的视频翻译终于完成了。并直言：“效果绝对目前最好，没有之一”。

来源：X（原Twitter）

从视频可以看到，无论是口型完美，卡点和嘴型都对的。

不过作者也表示，虽然声音克隆稍有缺陷，毕竟HeyGen只通过40秒的视频来克隆音频，如果刻意对比原视频，情感还原度稍有欠缺。

HeyGen虽然可以免费试用，但只能生成1分钟时长视频，且生成需要等待很长时间，而付费版最便宜的也要24美元/月。因此，就有热心网友贴出了如何用开源的工具，做出和HeyGen生成效果同样的视频。

比如，语音转文字whisper、文字翻译GPT、声音克隆+生成音频so-vits-svc、生成符合音频的嘴型视频GeneFace++。

来源：X（原Twitter）

除了这种中英互译的视频，HeyGen在外网也是一片火爆景象，各种玩法都有。

比如，这位网友就用HeyGen制作了说6种不同语言的视频。

HeyGen火爆程度可见一斑，而近日根据推特上一位分析师Will的统计显示，今年8-9月，各大文生图类AI网站的访问量均开始呈现下降趋势，但HeyGen的访问量却上升了92%，流量跃居各大独立AI网站之首。

来源：X（原Twitter）

那么，这个被众多网友狂推，成为AI独立网站之首的HeyGen，到底是什么来头？

国内创业团队，7个月收入百万美元

2020年12月，HeyGen的背后玩家“诗云科技”在深圳成立。

据36氪此前报道，公司成立之初，就以“用AI生成内容，让用户以更低成本完成内容创作”为愿景，已获得来自红杉中国、真格基金等风投们累计近千万投资。

来源：X（Twitter）

HeyGen要做AI视频创作领域的Midjourney，在团队方面竟也有一些相似之处。目前，HeyGen的团队只有大概30人，分布在全球各地，以远程办公形式进行合作。

HeyGen的前身，一款名为“Movio”的AI视频翻译平台，背后所依靠的模型是自家的多模态内容生成引擎“Surreal Engine”。

2022年7月，诗云科技推出多模态内容生成引擎Surreal Engine，将内容生产分为Understanding（理解）、Framing（视框化）、Rendering（渲染）三个步骤。区别于市面上的两大3D内容创作巨头：Epic Game的Unreal Engine和Nvidia的Omniverse，Surreal Engine让普通人也可以轻松进行高维度、可交互的内容创作。

来源：诗云科技

得益于此，HeyGen的最新版本Joshua Avatar 2.0在实时生成人物视频方面逼真度方面表现出色。

这不，连公司创始人都亲自上阵打广子了～

来源：HeyGen

不仅如此，HeyGen的产品正式上线后的一年不到，创始人Joshua Xu就发表博文表示：HeyGen在7个月内实现了100万美元的ARR（年度经常性收入），并保持连续9个月50%的月环比增长率。

来源：X（原Twitter）

目前，HeyGen可以支持50多种语言和300多种不同的音色，用户可以上传自己的照片进行个性化形象定制，HeyGen也贴心地为用户提供了上百款数字人素材和模板。

来源：HeyGen

盈利模式方面，HeyGen主要依靠C端客户付费，视频生成付费模式分为“创作者（Creator）和商务（Business）”两种，最低24美元/月。也支持“声音克隆、人像精调”单独付费。未来将逐步开放API接口、团队协作和企业功能。

来源：HeyGen

HeyGen可以基本保证1080P的分辨率，满足广告、电商、新闻等行业的需求，还能帮助用户制作PPT。此外，HeyGen还提供了文本转视频、音频上传、视频分享和多种场景视频等功能。

当然，HeyGen还处在成长期，并不是完美的。目前，一些技术问题还会存在——比如生成的AI视频存在视频抖动、眨眼频率过高等问题。

来源：X（原Twitter）

不过，HeyGen目前正在趁着这一热度全力冲刺。上周四，HeyGen就在一场线上会议中展示商业版本的各项新功能——商业用户可以用HeyGen生成长达3小时的内容，画质最高可提升至4K，这一切工作都可以在新上线的并排脚本编辑器、集成的校对模块中进行。

36氪旗下AI公众号

真诚推荐你关注

来个“分享、点赞、在看”👇

让霉霉说地道中文

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章

相关阅读

PICO：180+应用收入超过10万，平台头部开发者年收入超800万三家来自中国，一家中国人实控SPAC宣布合并标的（9.4—9.10）先河环保爆发争夺战：“80后幕后玩家”鏖战中小股东？山寨网红鹿哈直播7个月挣3500万，而现实是只有0.4%主播月收入超10万《经济学人》地道习语: on a shoestring | 在校师生、应届生订阅特惠德州仅有51人小镇，居民平均年收入超11万美元《经济学人》地道习语: have another string to your bow | 订阅特惠口型几乎完美、还能卡点，霉霉说地道中文的视频火了，背后AI工具原来是它震惊！新泽西参议员受贿的金条竟来自一场持枪抢劫案！围观 ◇ BC省首个城市全面禁用天然气！再不能做地道中餐，再不能烧气取暖...哈马斯地道战术曝光！以色列分享摧毁地道方法校园巡礼之加州大学圣地亚哥分校今年最后一次播种简直离谱！AI让“霉霉”、特朗普开口说中文，郭德纲用英文讲相声...圣经中最美的一首诗我老人家对瓦格纳叛军的精确解读美国小镇仅有51人，居民平均年收入超11万美元多数来自中国！澳洲一个月收超2000难民申请，基本全被拒！《经济学人》地道习语: up to snuff | 在校师生、应届生订阅特惠火了｜霉霉会说地道中文了？更可怕的是......让霉霉说地道中文，背后玩家竟来自中国，7个月收入百万美元 Y耶路撒冷国产AI火爆海外，7个月收入近千万 VOGUE 18周年订阅心动上市口型几乎完美、还能卡点，霉霉说地道中文的视频火了，背后 AI 工具原来是它让霉霉说地道中文，背后AI 工具强大到可怕，7个月收入百万美金 “让霉霉中文开口跪”的AI有开源平替了！每月立省350（doge）1/4收入来自中国！芯片巨头冲击美股IPO，估值达640亿美元！你的手机上也有他们的设计...霉霉说地道中文的视频火了，背后这个 AI 工具强大到可怕《经济学人》地道习语: a damp squib| 订阅特惠 Take-Two手游收入超50%，坚定看好订阅制，不会制作GTA电影霉霉中文水平“开口跪”，背后国产AI火到国外《经济学人》地道习语: space cadet; put your head above the parapet | 订阅特惠霉霉会说地道中文了？更可怕的是......7个月收入百万美元！让霉霉说地道中文，国产AI火到国外！

热点事件追踪