实验

重建质量

在与神经图像图谱的比较分析中，如图所示，本文提出的模型对非刚性运动表现出卓越的鲁棒性，能够以更高的精度有效地重建细微的运动（例如眨眼、面部纹理）。

流媒体视频处理

(a) 视频到视频的重建。定性比较包括几种基线方法，分为三个不同的类别：(1) 使用图像翻译模型的逐帧推理，如 ControlNet ；(2) 分层视频编辑，如 Text-to-live ；(3) 基于扩散模型的视频翻译，包括 Tune-A-Video 和 FateZero 。

如图 4 所示，每帧图像转换模型可生成高保真内容，并伴有明显的闪烁。其他基线的生成质量或时间一致性相对较低。 本文提出的流水线式方法能有效地将图像转换提升到视频，保持与图像转换算法相关的高质量，同时确保时间一致性。

（b） 视频关键点跟踪。通过估计每个单独帧的变形场，可以查询规范空间内一帧中特定关键点的位置，然后识别所有帧中存在的对应点，如图 5 所示。本文在项目页面的视频中展示了在非刚性对象（如流体）中跟踪点的演示。

（c）视频对象跟踪。使用规范图像上的分割算法，本文能够利用内容变形场促进掩模在所有视频序列中的传播。如图 6 所示，本文提出的流水线算法熟练地生成在所有帧之间保持一致性的掩码。

（d） 视频超分辨率算法。通过将图像超分辨率算法直接应用于规范图像，可以将视频进行超分辨率处理以生成高质量视频，如图 7 所示。假设变形由连续场表示，那么超分辨率的应用不会产生闪烁。

（e） 用户交互式视频编辑。本文提出的表示算法允许用户编辑具有独特风格的对象，而不会影响图像的其他部分。如图 8 所示，用户可以手动调整规范图像上的内容，以在自动编辑算法可能无法实现最佳结果的区域进行精确编辑。

消融实验

为了验证本文所提出模块的效果，作者进行了消融实验研究。在用位置编码代替 3D 散列编码时，视频的重建 PSNR 显著降低了 3.1dB。在没有退火散列的情况下，规范图像失去了其自然外观，如图 9 中的显示。此外，在不考虑流信息损失的情况下，平滑区域明显受到闪烁的影响。要进行更广泛的比较，请参阅项目页面上的视频。

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们