昆仑万维发布全球首款AI短剧平台SkyReels,AIGC业务矩阵再升级
AIGC的大规模落地应用,让已经火爆一阵的短剧市场添了一把新火。
8月19日,人工智能科技企业昆仑万维发布了全球首个集成视频大模型与3D大模型的AI短剧平台SkyReels,成为AI大模型落地短剧工业领域的标志性事件。
据介绍,这款产品是全球首个混合3D引擎和生成式AI的视频创作平台,支持全自动化剧本生成、个性化定制分镜头与角色、音色等,提供动漫、卡通、真人3D等多种风格选择,适用于从有声小说、微短剧到广告制作等多种创作场景,大大降低了短剧视频创作的成本。作为一款集剧本生成、角色定制、分镜设计、视频拍摄与合成于一体的AIGC产品,SkyReels的推出标志着全球AI短剧创作的一次技术飞跃。
汇集多项首创特性 打造全球首款AI短剧平台
定位于短剧生产的内容助手,SkyReels向外传达的使命是“让每个人轻松将故事转化为短剧,尽情表达自我”,将利用尖端游戏引擎技术与视频大模型,简化短剧的制作流程,降低技术和成本门槛,建立全新的短剧创作生态系统,赋予更广泛的创作参与者以更有想象力的创作空间。
基于上述愿景,作为AI驱动的全流程短剧创作与消费平台,SkyReels在产品特性方面,具备了不少“独门秘籍”。
分镜生成则是另外一个值得一提的创新。SkyReels能够精准捕捉剧本中的叙事精髓,一键生成分镜图片和对应的文字脚本。另外,通过昆仑万维团队自研的MOE多智能体混合微调视频模型,角色与场景在不同分镜中将保持一致性与连续性。
灵活的高精度调整也为AI视频带来更逼真的观感。在不少视频大模型的最终生成效果中,撕裂感严重、不合常理的情节以及不符合物品的运动物理规律是最被诟病的一环。为了避免上述问题,SkyReels支持用户通过修改文字描述(如场景或人物动作)灵活调整分镜效果,确保画质在无限逼近真实的同时,更加符合物理常识。
在分镜头的选择上,SkyReels同样具备灵活度,可选长度在5-8秒之间,满足不同视听叙事语言的需求。
在剧本和分镜生成之后,来到实际拍摄环节,SkyReels的AI技术同样表现出色。通过AI 3D引擎与视频大模型的结合,场景和人物生动展现,并且支持1080P 60帧输出。AI根据情节描述自动推演,实现人物表情、动作、台词的协调一致。
目前市面上相似的AIGC视频产品,如智谱清影、可灵AI等,面向C端用户为主,以图文形式快速生成数秒到几分钟不等的短视频,适合碎片化的创作表达。
而SkyReels支持短剧全流程创作,单次可生成视频长度达180秒,相比Sora单次可生成60秒视频、可灵单次可生成10秒视频,有显著突破。
同时,SkyReels生成的画面分辨率更高,画质更流畅,在人物表演上拥有更强的口型表情和肢体动作的可控生成能力。
据介绍,SkyReels产品的适用人群包括内容创造者、营销人员、教育工作者、企业宣传部门、新闻机构、独立制作人等,几乎涵盖了目前所有的中短视频创作场景,例如有声小说、微短剧、短视频内容创作、科普、品牌营销与广告、公益和宣传片、产品展示与推广、学习与培训视频、纪录片和影视作品预制作等。
业内首创 将AI 3D引擎与视频大模型融合
为了实现上述短剧的全流程自动化生产,昆仑万维团队研发了全新的剧本大模型SkyScript和分镜大模型StoryboardGen,以应对海量的内容生成需求。
在SkyScript的模型训练中,工程师投喂了大量市面上的现有短剧剧本,并针对短剧爽点和情绪变化做了特别标注,以高质量且结构化的训练数据训练,确保新手小白都能快速掌握。
而在StoryboardGen的训练上,数据集是从各类影视动画中通过逆向处理,得到的高质量工业级分镜。团队还为其设计了分镜多智能体框架,实现场景、镜头、角色、角色动作等的高质量可控生成。据透露,该模型使用的基于DiT的渐进式生成框架,实现高密度分镜信息生成,大幅增强视觉叙事表达能力。团队自研首创的DiT-Moe框架,帮助图像生成效果有明显提升。
图:分镜大模型技术原理图
另外,此次昆仑万维重磅推出大模型深度融合创新平台WorldEngine,也是业内首个将AI 3D引擎与视频大模型融合的产品。在平台上自研的Sky3DGen大模型,能够生成从自然景观到未来都市、从静态物体到动态角色的多样化3D元素和场景,构建3D虚拟影棚。
并且,该平台以图层融合技术为核心,打造3D与视频混合创作模式。针对光照和风格差异,团队单独训练了融合生成模型,使得图层融合后的视频呈现出了较好的一致性。
总的来说,作为全球第一款面向短剧内容生产的AI平台,SkyReels打造了更加全面、细致、可控的创作流程,强大的AI模型也支撑起了生动、逼真的画面体验。
布局AIUGC生态 推动AI内容黄金时代的到来
自2022年起,随着监管的逐步到位和相关利好政策的扶持,短剧产业迎来了前所未有的爆发期。华泰证券研究显示,2022年国内备案短剧数量为2775部,到了2023年,光1-11月的备案量就已经达到2580部,前三季度705部微短剧的量级更是远超2022年454部的全年数量。
在市场规模方面,来自艾媒咨询的数据显示,2023年中国微短剧市场规模达到373.9亿元,同比上升267.65%,2027年整体市场规模将超1000亿元。
激烈竞争之下,市场对优质内容的需求愈发明显。与此同时,创作者也正在呼唤更多元化的内容品类、更低的制作与拍摄成本和更加精准预估消费者需求的内容模型。
耕耘精品娱乐内容多年,深谙技术先发优势的昆仑万维敏锐抓住了这波AI大潮的兴起。自从发布了国内排名第一的MoE大模型“天工”,其接连推出了自建搜索引擎的天工AI搜索、全球AI音乐SOTA模型“天工SkyMusic”,将其集成至天工AI App中。今年5月,天工AI App的每日活跃用户(DAU)已超过100万。
在前沿技术储备方面,昆仑万维也已经走在业界前列,旗下的2050研究院联合海外多个高校团队发布并开源了Vitron通用像素级视觉多模态大语言模型,这标 志着大模型迈向通用人工智能(AGI)的又一大步。
此次推出SkyReels AI短剧平台,不仅为专业内容创作者提供了强大的创作工具,更极大地降低了AI短剧创作的门槛,使得非专业用户也能轻松上手。这一革命性的工具有望带来AI短剧用户生成内容(UGC)与专业用户生成内容(PUGC)的爆发式增长,为短剧内容生态注入前所未有的活力。
此外,在内容走向全球化的浪潮中,作为集网游、社交娱乐、元宇宙于一体的互联网科技企业,昆仑万维拥有积淀多年的经验优势,例如早前的《三国风云》、《魂之觉醒:死神》和《圣境之塔》三款游戏均大获成功。
昆仑万维董事长兼CEO方汉曾表示,AI拉齐了制作成本,导致在海外存在巨大红利。当地消费者希望看到本土文化产品,不管小说、音乐、视频还是漫画均是如此,所以AI内容全球化存在巨大的机遇。
值得注意的是,娱乐、信息流内容和工具类的产品都在海外都有空白,真正好用、算法推荐精准的产品为数不多。借助丰富的全球化经验、大模型技术积累深厚、全球视野,昆仑万维正致力于打造AI内容全链路的全球化产业布局。
而作为全球首款AI短剧平台,昆仑万维推出的SkyReels,可谓填补了AI短剧制作这一领域的空白。相信在本地化运营的支持之下,经过不断尝试与迭代,它将带领AI内容赛道的黄金时代,推动全球更多优质AIUGC内容的涌现。
微信扫码关注该文公众号作者