4K版《葫芦兄弟》，西瓜视频计划修复百部经典动画片，背后原来藏着这些AI算法（1）

「经典作品凝结了老艺术家的智慧与精神，值得投入大力气做好修复。」提到 4K 经典中视频修复时，西瓜视频总裁任利锋这样说道。

「葫芦娃，葫芦娃，一根藤上七朵花，风吹雨打，都不怕，啦啦啦啦……」

当这首熟悉的旋律响起时，很多 80、90 后的脑海中浮现出的想必是黑白电视机版的《葫芦兄弟》，或者是更鲜艳的彩色版本：

现在来看，无论是画面的清晰度还是色彩的明亮度，这些稍显「古老」的视频已经无法满足当代人的观看需求了。另外，随着图像超分辨率、FPS 提升、色彩填充等各种 AI 技术不断地进步，越来越多的个人用户和视频网站想要对老视频进行修复，比如 1080、2K 和 4K 修复，以更清晰的视角重拾旧时光。

与此同时，4K 高清设备和 4K 视频内容的普及也使得对经典老影片进行 4K 修复成为一大需求，修复后的影片既能保留原始质感，又可以展现更清晰的画质、更饱满的色彩和更棒的音效。

然而，经典中视频何止千万，4K 修复的工程量浩瀚，又当如何满足人们对 4K 经典老影片的观看需求呢？

西瓜视频携手火山引擎，给出了他们的答案。

10 月 20 日，西瓜视频联合火山引擎举办了主题为「重修旧好」的经典中视频 4K 修复发布会，会上宣布将通过技术手段，在一年内 4K 修复百余部经典中视频。其中，火山引擎团队提供技术支持，修复后的视频内容，用户可免费在西瓜视频上观看。西瓜视频也将开放入口，为普通用户免费提供 AI 修复支持，同时对有价值的视频提供深度的公益修复。

西瓜视频总裁任利锋表示，「修复经典是传承，也是用新技术最大化还原作品，带给大家新的感受和认知。不管是修复动画片，还是修复老影像，归根到底，都不只是为了提高它的清晰度。我们想要修复的是这些内容背后的记忆，呈现几代人因为这些记忆隔空产生的共鸣和火花。」

任利锋。图源：西瓜视频

会上还公布了首批合作伙伴，包括央视动漫和上海美术电影制片厂，计划修复的百部影片部分如下：

哪吒传奇（2003）、围棋少年（2005）、围棋少年（2）、大头儿子和小头爸爸（1995）、 黑猫警长 1-5 集、我为歌狂（2001）、三个和尚、小鲤鱼历险记（2007）、葫芦兄弟（1986）、葫芦小金刚 1-6 集、西游记、小蝌蚪找妈妈、小鲤鱼跳龙门、大耳朵图图（第一季）、舒克和贝塔 1-13 集等。

目前，小鲤鱼历险记（2017）、小蝌蚪找妈妈、哪吒传奇（2003）、黑猫警长 1-5 集、大头儿子小头爸爸和葫芦兄弟等六部动画片已经完成了 4K 修复，并可以在西瓜视频上观看了。

我们先来欣赏下 4K 修复后的影片《小鲤鱼历险记》片段：

给老胶片上 4K 分辨率虽难，但意义重大

在阐述 4K 影片修复的难点之前，我们先简单罗列几个数字，老式标清电视的分辨率仅为 720x480，也就是说一次可显示的内容为 345,600 像素；高清电视的分辨率为 1920x1080，总像素为 2,073,600，是标清的 6 倍；具有新一代好莱坞大片分辨率标准的 4K，它的分辨率为 4096×2160，需要 8,847,360 像素。

常见的几种标准视频分辨率。图源：wikipedia

从技术上来讲，4K 修复需要将胶片数字化扫描为分辨率为 4096×3112 的序列帧图像文件，然后通过 4K 数字中间片制作方式对影像进行修复。比如，2019 年 11 月在内地上映的 4K 修复版《海上钢琴师》就是将 35 毫米的胶片修复成 4096×3112 分辨率。说起来容易，但真正修复起来困难重重。一般来说，影片修复分为物理修复、数字修复和艺术修复三大步骤。

首先，很多年代久远的影片胶片，不可避免地存在霉变、污染、脱色、闪烁、噪声、色变、丢帧等损伤，还往往会有灰尘、污垢等表面问题。这是修复面临的第一道难关，通过物理修复对老胶片进行清理、接补等工作，以待后续的数字化修复。

其次，使用胶片扫描仪对物理修复完成的胶片进行胶转数（2K 或 4K）处理。在这一环节中，利用专业软件自动修复胶片中存在的脏点、霉斑、划痕、等问题，然后进行颜色还原，输出高格式的画面镜头。从步骤上讲，2K 修复与 4K 修复并没有区别，只是 4K 修复需要更多的人力和财力。有数据显示，普通的 2K 修复（分辨率 2048×1556）完全依赖人工大概需要两个星期才能完成一部，花费在 30 万元左右。4K 修复（分辨率 4096×3112）的工作量是 2K 修复的 4 倍，需要两三个月、甚至半年的时间才能完成一部。

最后，对修复影片的艺术化处理也不容忽视。有从事老影片修复工作的专业人士表示，影片修复最困难的其实不是技术修复，而是艺术修复。修复人员的艺术修养对「还原老电影的感觉」至关重要，修复后的影片不仅要表面光鲜，还有味道纯正。

虽然面临着技术等方面的挑战，但一些具有重要文化、艺术价值以及历史意义的经典老影片的 4K 修复很有必要。国内很早就兴起了老电影修复热，2006 年底中国电影资料馆牵头启动了「电影档案影片数字化修护工程」项目，上海国际电影节于 2011 年启动国产电影修复计划，爱奇艺等多家视频网站也发挥自身优势投入到老旧影视作品的修复中等。

此次，西瓜视频联合火山引擎发起的「经典中视频 4K 修复计划」，将成为老片修复大军中的新生力量，为经典中视频的传承贡献自己的一份力量。

火山引擎用到的这些 AI 算法，有什么独到之处？

作为字节跳动旗下的企业级技术服务平台，火山引擎将字节跳动快速发展过程中积累的增长方法、技术工具和能力开放给外部企业，提供云、AI、大数据技术等系列产品和服务，帮助企业在数字化升级中实现持续增长。其中，在火山引擎技术中台的多媒体中台中，智能处理是字节基于多年对多媒体智能处理的实践经验，提炼出的全流程视频前后智能处理及增强技术，主要能力模块包含画质增强、视频 DNA 等。

智能处理技术的一大子功能即是老片修复。在 4K 修复过程中，火山引擎从清晰度、流畅度、色彩和瑕疵四个方面解决老片的清晰度低、流畅度低、色彩失真和瑕疵多问题，其中多个 AI 算法的使能是关键，包括如下：

智能超分

智能插帧

色彩增强

消除瑕疵（视频降噪和划痕修复）

锯齿修复

在这几个 AI 算法的加持下，火山引擎针对 4K 极致画质体验场景（如西瓜影院模式），提供了极致画质修复方案，提升源视频的分辨率、帧率和色域，进行高质量智能转码，达到极致的播放视频画质。

火山引擎智能处理的完整流程。

智能超分

作为一项非常重要的视频处理技术，超分辨率通过硬件或软件的方法提高原有图像的分辨率，目的是根据一系列低分辨率的图像重建一幅高分辨率的图像。基于深度学习的超分辨率算法已经是近年来研究的热点，主流的方法一般分为单帧超分和多帧超分。

单帧超分即输入一张图片，输出其高分辨率图片。单帧超分辨率典型结构有预定义上采样（predefined upsampling）、单一上采样（single upsampling）等；多帧超分则考虑视频前后关系，重建更多细节。但这些超分辨率方法存在一些瓶颈，当上采率比较高时，例如 16 倍，很多算法不能很好地重构出对应的高清图像。

火山引擎的智能超分算法基于深度学习方法，根据已有的图像、视频信息重构出缺失的细节。特别对于视频任务，使用前后帧信息并对其进行时域建模恢复出额外的细节。在老片修复任务中，针对画面普遍存在的清晰度差、模糊和分辨率低等问题，智能超分可以显著提升清晰度和分辨率。相较于其他超分辨率算法，智能超分算法具有两大优势。

一方面，针对老片场景的模糊退化专门进行建模，从而优化清晰度效果。效果是这样的，720P 的源动画经过超分辨率重建和去模糊后，达到了 4K 分辨率的超高画质。

另一方面，对内容进行自适应处理，根据不同区域分片处理，保持原有画风。我们以动画片《葫芦兄弟》为例，该片为水墨和剪纸的组合。在修复时，既要保证人物锐利，又要兼顾水墨背景的艺术效果。这对技术能力要求非常高，需要机器能够准确地识别好前景和背景。

从如下动效图来看，修复后（右边）的水墨画区域保持了朦胧感，剪纸区域提升了清晰度，彰显了智能超分的强大超分处理能力：

智能插帧

视频帧数是影响观影体验的重要因素之一，通常来说，单位时间内人眼看到的连续帧越多，人们对于影片会产生更真实更自然的主观感受。也就是，帧数越大，视频就越流畅。插帧技术可以实现低帧率视频向高帧率视频的转换。

国内外也出现了很多插帧技术，如基于 SVP（Smooth Video Project）的插帧渲染可以将 24 帧 / 秒的视频转化为 48 或 60 帧 / 秒、英伟达的神经网络脑补**** Super SloMo 将帧率为 30 帧的视频补到 60 帧、240 帧甚至更高、上海交大开源的插帧算法 DAIN 更是可以将 30 帧的视频插帧到 480 帧。

在老片修复中，老动画片受限于制作成本，绘画帧数较少，一般为 15 帧以下，导致画面流畅度差，有卡顿感，更需要插帧算法的参与。

因此，火山引擎采用的智能插帧算法通过分析前后帧的运动和内容，对中间帧进行生成，将原先不足 15 的帧率，提升至 60 以上，大幅提升流畅度。此外，由于动画纹理较少，常规倍帧方案难以判断前后帧对应的运动块，火山引擎使用块光流进行优化，实现了更精准的插帧结果。

动画《哪吒传奇》中画面的前一帧、插帧和后一帧示意图如下：