方法

就研究目的而言，从内容和结构的角度来考虑一个视频将是有帮助的。对于结构，此处指的是描述其几何和动态的特征，比如主体的形状和位置，以及它们的时间变化。对于内容，此处将其定义为描述视频的外观和语义的特征，比如物体的颜色和风格以及场景的照明。Gen-1 模型的目标是编辑视频的内容，同时保留其结构。

为了实现这一目标，研究者学习了视频 x 的生成模型 p (x|s, c)，其条件是结构表征（用 s 表示）和内容表征（用 c 表示）。他们从输入视频推断出形状表征 s，并根据描述编辑的文本 prompt c 对其进行修改。首先，描述了对生成模型的实现，作为一个条件潜在的视频扩散模型，然后，描述了对形状和内容表征的选择。最后，讨论了模型的优化过程。

模型结构如图 2 所示。

实验

为了评估该方法，研究者采用了 DAVIS 的视频和各种素材。为了自动创建编辑 prompt，研究者首先运行了一个字幕模型来获得原始视频内容的描述，然后使用 GPT-3 来生成编辑 prompt。

定性研究

如图 5 所示，结果证明，本文的方法在一些不同的输入上表现良好。

用户研究

研究者还使用 Amazon Mechanical Turk（AMT）对 35 个有代表性的视频编辑 prompt 的评估集进行了用户研究。对于每个样本，均要求 5 个注解者在基线方法和本文方法之间对比对视频编辑 prompt 的忠实度（「哪个视频更好地代表了所提供的编辑过的字幕？」），然后以随机顺序呈现，并使用多数****来决定最终结果。

结果如图 7 所示：

定量评估

图 6 展示了每个模型使用本文框架一致性和 prompt 一致性指标的结果。本文模型在这两方面的表现都倾向于超越基线模型（即，在图的右上角位置较高）。研究者还注意到，在基线模型中增加强度参数会有轻微的 tradeoff：更大的强度缩放意味着更高的 prompt 一致性，代价是更低的框架一致性。同时他们还观察到，增加结构缩放会导致更高的 prompt 一致性，因为内容变得不再由输入结构决定。

定制化

图 10 展示了一个具有不同数量的定制步骤和不同水平的结构依附性 ts 的例子。研究者观察到，定制化提高了对人物风格和外观的保真度，因此，尽管使用具有不同特征的人物的驱动视频，但结合较高的 ts 值，还是可以实现精确的动画效果。

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们