Redian新闻
>
Sora 平替出现了!字节 Dreamina 开放测试,申请就给用|AI 鲜测

Sora 平替出现了!字节 Dreamina 开放测试,申请就给用|AI 鲜测

公众号新闻
图由 Midjourney 生成
最近,字节旗下的一款视频生成AI——Dreamina 开始大规模开放测试。
Dreamina 不算是新产品,但现在它与 Sora 最大的区别,不是模型能力,而是它真的是能使用的。

Dreamina官网:https://dreamina.jianying.com/ai-tool/home

虽然有人觉得 Dreamina 生成出来的视频可能会有一些“抽象”、“幻觉”,但这是跟 Sora 来比。
Sora 过去两个月用一系列视频拉高了人们对于文生视频的预期,似乎所有文生视频的产品到不了 Sora 的水平都是垃圾。
我觉得这是落入了 OpenAI 的陷阱,一款无法使用的产品只能叫做概念。所以我一直觉得 Sora 这个概念是挺厉害的,但并不在商用产品的范畴当中。
在拿到 Dreamina 的测试资格后赶紧上手试试,体验下来效果远远超出我的预期!(现在申请大概一两天就能通过)

1

Dreamina,你到底有啥绝活?

话不多说,今天咱们就用10个案例告诉你它行不行!
首先第一个就是前段时间被刷屏的 Sora 生成的长镜头。我们用同样的提示词来试一下效果如何:
  • 看这效果,背景跟人挺般配的,看得出它秒懂我们的意思!人倒也画得不错,不过就是脸有点飘!

再仔细一看,人物的衣褶阴影与环境光影变化同步,肤色与周围色温协调一致,整个场景浑然一体,仿佛就是一个真实存在的空间。这种高度的融合感,体现了Dreamina 对场景理解的深度。整体画面似乎能摸到 Sora 的一点感觉,不过差距还是有

对于动物的处理,能看出来似乎是在走动,但其实细看还是有点别扭。

Dreamina 生成的视频在光影质感方面的表现可圈可点,基本具备了电影级别的画面感。逆光、斜射、散射等各种复杂光线都能得到准确的模拟,比如大象周围的光线洒在雪地上,黄昏余晖对天空和雪山的晕染。

  • 不仅是真实运动,连动物跳舞也不在话下,跳得可带劲了!即便如此,视频动作过快也避免不了主体会出现手断指的情况!

虽然 Dreamina 在人体动作的整体模拟上已经做得不错,但在面部表情、手指动作等细节方面还比较粗糙,特别是在长时间特写镜头下,人物的细微表情变化往往不够到位,显得有些呆板

  • 再来看看人物特写,人物脸部的光影传达出一种很唯美的氛围。

与其他一些AI工具不同的是,Dreamina 内置了比较完善的内容审核机制,可以有效过滤掉暴力、色情等不良信息,为用户提供一个相对健康良性的创作环境。这对于青少年用户来说尤为重要。
  • 物理运动模拟真实到位,动起来贼6,跟真的一样!
先来看看镜头内物体运动理解和生成的效果如何:

这个视频大体上理解了我们的意思,但是在帆船的细节部分生成就比较欠缺了,这也直接体现了 Dreamina 在细节处理上有很大的进步空间。

再来看看它的运镜

视频中海浪打在岸上,运动轨迹特别真实,这里 Dreamina 严丝合缝地遵循着物理规律,毫无违和感。同时镜头在顺时针旋转,给人感觉十分流畅。这足以证明 Dreamina 在物体运动的模拟上可以说是一绝!

这里测试镜头多个主体同时运动的效果,我调整了视频的参数,选择了「保持、快速、16:9」
视频生成参数调整
生成效果如下:

可以看到整个画面中有多个物体同时运动,每条鱼不仅运动时快速流畅,而且还没有太大的变形,在物体运动这块能做到这样的效果,这里给 Dreamina 上大分!

不足的是视频长度太短,而且延长会变模糊。下面就是个典型的例子:

视频清晰度高,但持续时长内一致性略有波动。当视频延长到6秒时,人物扭头前后部分不太连贯,开始变得模糊,进而导致整体一致性不够稳定,时有"崩坏"发生,影响了整体观感。这一块儿离Sora的"分钟级"还有段距离!对于一些需要长时间连贯表现的创意内容,比如MV、宣传片等,Dreamina 可能还不太能胜任。

测试到这儿,想要得到更好的效果,AI视频生成还是免不了大量“抽卡”!
  • 下面测试 Dreamina 对不同题材的理解,首先是动漫

整个视频对提示词的理解很到位,同时生成的动物表情很生动!不过表情细节有待加强,另外蜡烛比 Sora 生成的大很多,火焰也有一些掉出来了。看来 Dreamina 还有很长一段路要走!

  • 其次是超现实主义题材:

目前 Dreamina 生成的视频在镜头语言上还比较单一,基本上就是固定、推进、拉远、顺时针旋转、逆时针旋转等运动镜头,缺乏丰富的画面调度。这在一定程度上限制了专业用户的创作自由度,不利于用户更好地创作。

尽管 Dreamina 目前还主要面向十几秒的短视频领域,但其整体生成效果之出众,已经完全超越了大多数真人创作的同类型内容。流畅的动作衔接、合理的场景切换、动人的光影氛围......种种亮点汇聚在一起,足以让大多数短视频爱好者叹为观止。站在这个角度看,Dreamina 在短视频领域可谓是一匹黑马,前景不可限量!

1

一句话:Dreamina,你还得努努力!

在一番上手实测后,不得不说,Dreamina 确实有点东西!
说实话,Dreamina 确实没有 Sora 那么强,比如人物动作有时候还是有点僵硬,面部表情也略显呆板、时长清晰度也有待提升。但它绝对能用!特别是模拟物理运动、自然切换场景、背景和主题契合度确实让人眼前一亮!
再给它点时间!

点个在看,再走吧👀

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
CVPR 2024 | COCO数据集升级!字节提出新一代数据集COCONut“流量的尽头是放贷”!字节跳动也不例外Kimi+更新快报:全新智能体商店现已上线!|AI 鲜测新的多模态盲测榜单来了,一眼望过去全是国产模型 | AI鲜测39 项 Linux 基准测试:英伟达数据中心 CPU Grace 媲美 Threadripper 7000人类都看不懂的甲骨文,AI 能猜到啥意思?|AI 鲜测用Luma的图生视频功能,给地狱笑话再加点料|AI 鲜测最新:凯特今年都不会出现了!伦敦也出现饮水污染,这个区域多人病倒......狐狸《“由韩愈到王阳明”,经学史杂说》 其二3D 版 SORA 来了!DreamTech 推出全球首个原生 3D-DiT 大模型 Direct3D美国大量Sponsor岗位开放:向留学生大开国门!来就给工签【求职战报】全球金融交易平台Deutsche Börse Systems销售运营面试邀约!一地鸡毛 (1)外企社招丨Dräger德尔格,行业全球领导者,15薪,六险一金,多样福利,偏爱留学生太可怕了!Tyler Perry 在见证 OpenAI 的 Sora 后,搁置了价值8亿美元的扩展计划全日程发布,Sora 之后的视频生成技术与应用| Q推荐旅行的尽头是日本(20)忠犬八公像与设计酒店trunk抖音豆包成年轻人AI顶流!字节跳动大模型家族登场,tokens价格比行业低99%3月最新!字节、腾讯、中银总部...200+公司开岗,最快2周拿Offer视觉错觉也能识别?被忽略的 Gemini 1.5 Flash 有哪些神奇表现?|AI 鲜测​晚点财经丨微软给用户更多理由回到Windows;现在去日本买东西没那么划算了用国考题来测试“百小应”和 GPT-4o,到底谁能成功上岸?|AI鲜测突发:英国7月4日举行大选:保守党末日到了!PSW签证确认保留,申请者或需每年参加英语测试;AI鲜测 | Claude 3全面升级:多模态+100万Token上下文长度,OpenAI也拦不住了88、长篇家庭伦理小说《嫁接》第二十三章 爱断情殇(3)老便宜了!字节跳动豆包大模型开始营业,一元钱能买125万Tokens,月活用户量达2600万鲜测|全民疯抢的华为Pura 70 Ultra ,值你花一万块钱么太突然!字节最新业绩曝光:2224亿,第一刚刚!字节又放大招:杀入万亿赛道Suno证明了当Rapper是真没门槛|AI 鲜测快手版Sora「可灵」开放测试:生成超120s视频,更懂物理,复杂运动也能精准建模2025 UCAS注册系统已开放,申请材料这样填!几点变动要注意!最新!众院通过法案!字节跳动须出售TikTok给美方,否则将禁用原来 ChatGPT Search 已经出了?|AI鲜测假期被“Remini”硬控五天,这就是古希腊掌管粘土人的神?|AI 鲜测
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。