4K版《葫芦兄弟》，西瓜视频计划修复百部经典动画片，背后原来藏着这些AI算法（2）

发布人：机器之心时间：2021-10-22 来源：工程师发布文章

色彩增强

色彩失真是老片存在的又一大问题，这主要是由以下两个原因造成的。

其一，胶片在转录和数字化流程中受转录设备的影响，带来了不同程度的色彩偏移，从而背离创作者最初想要表达的画面。

其二，老片制作流程通常基于旧的播放场景和制作标准，采用较窄的色域和较低的亮度动态范围，导致亮度动态范围普遍比较低，画面对比度也就比较差，看起来很昏暗。而如今大部分的中高端手机机型已经开始支持 HDR 播放，具有 1200 nit 甚至更高的屏幕亮度和 DCI-P3 的广色域显示。

针对造成老片色彩失真的两方面原因，火山引擎的色彩增强方案进行了有针对性的处理。一方面，基于 AI 进行画面色偏检测和修复，还原创作者初衷；另一方面，SDR 到 HDR 的转换（SDRToHDR）可以将画面动态范围和色域映射到更大的空间（峰值亮度 100nit 到最大 10,000nit，BT.601 到 BT.2020），充分利用用户显示设备的能力，获得最佳显示效果。目前，火山引擎的 SDRtoHDR 色彩增强方案处于业界先进水平。

SDRToHDR 修复前后的《大头儿子小头爸爸》画面对比如下，可以看到，右边画面在色彩明度和丰富度方面均有显著提升：

消除瑕疵

由于年代久远以及保存不当等主客观因素的影响，老胶片可能会出现物理和化学损伤，导致视频画面布满雪花碎片、黑线和闪动等多类型瑕疵。这时，就需要进行视频降噪和坏点划痕修复。

视频在采集、剪辑、编码、转码、传输、显示等过程中会出现失真，噪声就是信号采集过程中引入的一种普遍失真。降噪成为了增强视频画质和提升清晰度的一种手段。传统视频降噪算法可以分为基于空间域和基于时域的降噪，基于机器学习的视频降噪算法也得到了越来越多的研究，如 2019 年 4 月荷兰代尔夫特理工大学提出的深度盲去噪算法 ViDeNN 等。

对于老电影，由于胶片自身的损伤，背景上一般都会有很多坏点划痕，比如一条条的竖线。去划痕非常有必要。经典解决方法通常分两步走：检测和去除。划痕检测大多采用直线检测方式，找到空间中的竖线、横线，然后利用空间或时间插值把这条线用别的像素给补上去。

但是，相较于常见的视频瑕疵，老片的瑕疵不仅类型复杂而且程度更严重，为此火山引擎结合了传统信号处理和深度学习算法，对噪声和坏点划痕进行有针对性的修复：对于较小的雪花颗粒噪声，使用传统算法进行处理；对于较大的坏点和划痕，使用机器学习算法进行识别和修补。

效果立竿见影，从下图《布谷鸟叫迟了》画面的修复对比效果可以看到，算法强力地修复了瑕疵，并且保留原有纹理不受影响：

然而算法也不是万能的。在实际修复过程中，如果要求算法实现 100% 的处理瑕疵，那么会很容易将一些艺术效果也识别为瑕疵，从而对影片造成了破坏。

因此，在这次老片修复过程中，火山引擎采用了算法处理和人工标注结合的方案，其中算法大概能解决 95% 以上的瑕疵问题，剩余 5% 的瑕疵需要由人工辅助标注。然后告诉算法，再调整算法做二次优化。这样一来，我们既可以比较彻底地消除瑕疵，也能保护影片原有的艺术风格。

不过，对损伤严重的老片来说，彻底消除瑕疵需要投入大量人力。以《葫芦兄弟》为例，修复团队在消除瑕疵的过程中看了 20 万帧的画面。

锯齿修复

老片在数字化的过程中，采样做的不好，往往会出现频谱混淆的锯齿效应，导致观感不佳。目前，业界的大部分锯齿修复都是针对低分辨率向上采样导致的情况进行处理，老片中的锯齿很多是向下采样时出现的。因此，对于已经产生的频谱混淆的情况，业界算法大多都没法处理。

下图左哪吒出世画面中明显的线条锯齿正是向下采样频谱混淆导致的，这一问题只在部分场景中出现，很难定位，但不解决的话会严重影响观感，也会影响其他算法的效果。因此，针对这种场景，火山方案单独设计了一个优化算法，使画面锯齿效应得到非常大的改善。

我们还应该看到，每个动画片存在的画质问题不可能完全相同，对此火山引擎采用了「对症下****，一片一方案」的应对方法。火山引擎多媒体实验室研究员赵世杰解释道，一部动画片（以《黑猫警长》为例）可能会在分辨率、帧率、瑕疵、色彩、模糊和锯齿中的几个方面存在着问题，那么就有针对性地采取超分辨率、倍帧、去噪、去划痕和 HDR，实现最精准的视频修复。