国内版“Sora”，字节旗下的Dreamina开启内测-淘金部落

😀

国内版”Sora“，字节旗下的Dreamina开启内测

全文速览
✨实测Dreamina产品AI视频功能
✨通过10个案例对比Sora和Dreamina

Sora在3月25日宣布了与首批艺术家合作的新视频作品，这7个作品引起了业内广泛关注。

在AI视频领域，被寄予厚望的国内版“Sora”——字节跳动的Dreamina，也于3月26日推出了首批内测名额。在获得Dreamina的内测资格后，我们进行了一系列的对比测试，将其与Sora进行了详尽的对比分析。

Dreamina核心功能

Dreamina的核心功能是帮助用户根据文本或者图像，生成创意视频。支持多种风格的视频生成，如动漫、写实、摄影和插画等。

图生视频/文生视频

目前图片生成视频功能中，与其他AI视频生成产品类似。其中一个比较特别的功能点是可以使用尾帧功能。

上传首尾两张图片，实现AI生成补帧画面，这样对视频画面的内容一致性有比较好的控制性。

国内版“Sora”，字节旗下的Dreamina开启内测

文生视频功能，与其他AI视频生成产品Runway、Pika等类似，输入视频文字描述即可生成。Dreamina对中文语义理解比其他两个产品略好一点。

视频功能控制

目前在视频控制上，Dreamina只提供了基础的5种运镜控制、5种视频比例和3档运动速度。

Dreamina

Dreamina、Runway、Pika视频控制功能对比

国内版“Sora”，字节旗下的Dreamina开启内测

通过10个案例对比Sora和Dreamina

我用Sora的10个视频提示词Prompt，在Dreamina里重新生成了一遍。对于两者在生成质量、语义理解和运动自然度这三个维度进行了比较。

我也整理了Sora目前100+官方视频及提示词，大家在公众号回复“Sora”或者“s”获取下载链接。

Dreamina比较好的案例

💡

示例1：POV video of a bee as it dives through a beautiful field of flowers.一只蜜蜂在一片美丽的花田中的视频。

模拟真实世界中蜜蜂飞舞的视频，Dreamina生成出来画面细节有阳光和花海，比Sora视觉上更加真实和丰富。

但是蜜蜂动作真实度上，还是Sora更为真实，翅膀震动、飞舞路径都比较符合物理世界。Dreamina的蜜蜂动作会有腿部突然消失的情况。

💡

示例2：Fly through tour of a museum with many paintings and sculptures and beautiful works of art in all styles. 飞越博物馆，参观许多绘画和雕塑以及各种风格的精美艺术品。

这个Dreamina生成出来，其实还挺惊喜的。场景符合真实博物馆，而且我镜头选择的是保持固定，但是Dreamina自动判断了推近运镜，效果很自然。

💡

示例3：A grandmother with neatly combed grey hair stands behind a colorful birthday cake with numerous candles at a wood dining room table, expression is one of pure joy and happiness, with a happy glow in her eye. 一位祖母站在一张五颜六色的生日蛋糕后面，蛋糕上插着许多蜡烛，放在木制餐桌旁。她的表情充满了纯粹的快乐和幸福，眼中闪烁着喜悦的光芒。这是一个温馨的场景，充满了家庭的温暖和庆祝的氛围。

这个视频Sora放出时，是当做不好的案例的，想说明目前Sora模型的弱点：模拟对象和多个角色之间的复杂交互对模型来说通常具有挑战性，有时会导致幽默的生成。这个显示在背景中人群的手部。

Dreamina在理解这段提示词时，没有生成多个人物，只生成了老奶奶。老奶奶整个表情和神态还原的还是不错的，眨眼和吹蜡烛动作都比较合理。手部还加了一个点赞的动作，连贯性很好，只是手指还是有轻微粘连。

不太好的案例

💡

示例1：一个穿着西装的人，头是一个硕大的红色哑光半透明气球，背影，往前行走

先用Dreamina生成气球人图片，抽卡了好几次才生成出来一个类似的图片，它不太能理解”没有头“这种提示词。再用图片生成视频，生成出来有2个问题，一个是发现气球是粘在脑袋上的，人物还是有真实的头部，不是一个脑袋是气球的人，这一点比较穿帮。

第二个问题是人物是在倒着走，这个Dreamina官方指南中也指出，现在如果主体是背影，会容易生成倒着走的视频，只能通过多次抽卡，生成正确向前走的视频。

💡

示例2：An elephant made of leaves running in the jungle。一头由树叶制成的大象在丛林中奔跑

Dreamina理解了提示词，但又没完全理解。大象本体还是真实的大象，不是由树叶构成。只在耳朵、身体局部上是由树叶组成。最离谱的应该是运动状态，大象奔跑是在原地进行运动。

💡

示例3：On a black marble platform, a sculpture made of glass crystal is being rotated. 一个黑色大理石台上，正在旋转展示一个玻璃水晶材质的雕塑艺术品

这个主要想看下Dreamina对于真实材质的呈现能力，以及镜头移动下的三维一致性。目前看来Dreamina对于材质理解和表现都还不错，期待一下AI 3D建模。但是镜头移动下，能保留三维物体的大部分形态，但没能做到完全一致。仔细看Sora的视频，物体旋转时，也是没能完全保持一致。这一点未来还是有很大的提升空间。

💡

示例4：A cat waking up its sleeping owner demanding breakfast. The owner tries to ignore the cat, but the cat tries new tactics and finally the owner pulls out a secret stash of treats from under the pillow to hold the cat off a little longer.一只猫叫醒熟睡的主人，要求吃早餐。主人试图无视猫，但猫尝试了新的策略，最后主人从枕头底下掏出一个秘密的零食藏匿处，让猫多呆一会儿。

当时震惊大家的数字世界的猫咪会踩奶了场景，Dreamina好像不太能理解这个提示词。早餐场景它理解的很丰盛，但是对于人物，没有生成，而是生成了2只猫咪，且猫咪动态有明显的多余肢体的问题。

生成质量的层次性对比

Sora：作为业界的领先者，Sora在生成视频的质量上表现出色，尤其是在物体运动处理和三维连续性方面。Sora生成的视频不仅动作流畅自然，而且在细节上也表现得相当精细，为用户提供了接近专业选手级别的视频内容。
Dreamina：Dreamina在生成质量上紧随Sora之后，虽然在处理人体运动时，如腿部和手指的动作还存在一些瑕疵，面部一致性也有待提高，但整体效果已经超越了其他应用。Dreamina还展现出了还不错的三维连续性，对于物体的运动处理也相对较好，显示出其在AI视频生成领域的潜力和实力。