在 AI 绘画领域，阿里提出的 Composer 和斯坦福提出的基于 Stable diffusion 的 ControlNet 引领了可控图像生成的理论发展。但是，业界在可控视频生成上的探索依旧处于相对空白的状态。

相比于图像生成，可控的视频更加复杂，因为除了视频内容的空间的可控性之外，还需要满足时间维度的可控性。基于此，阿里巴巴和蚂蚁集团的研究团队率先做出尝试并提出了 VideoComposer，即通过组合式生成范式同时实现视频在时间和空间两个维度上的可控性。

• 论文地址：https://arxiv.org/abs/2306.02018

• 项目主页：https://videocomposer.github.io

前段时间，阿里巴巴在魔搭社区和 Hugging Face 低调开源了文生视频大模型，意外地受到国内外开发者的广泛关注，该模型生成的视频甚至得到马斯克本尊的回应，模型在魔搭社区上连续多天获得单日上万次国际访问量。

Text-to-Video 在推特

VideoComposer 作为该研究团队的最新成果，又一次受到了国际社区的广泛关注。

VideoComposer 在推特

事实上，可控性已经成为视觉内容创作的更高基准，其在定制化的图像生成方面取得了显着进步，但在视频生成领域仍然具有三大挑战：

• 复杂的数据结构，生成的视频需同时满足时间维度上的动态变化的多样性和时空维度的内容一致性；

• 复杂的引导条件，已存在的可控的视频生成需要复杂的条件是无法人为手动构建的。比如 Runway 提出的 Gen-1/2 需要依赖深度序列作条件，其能较好的实现视频间的结构迁移，但不能很好的解决可控性问题；

• 缺乏运动可控性，运动模式是视频即复杂又抽象的属性，运动可控性是解决视频生成可控性的必要条件。

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们