人脸技术：不清楚人照片修复成高质量高清晰图像框架

Blind face恢复是从未知退化中恢复高质量的人脸图像。由于人脸图像包含丰富的上下文信息，研究者提出了一种方法，RestoreFormer，它探索了对上下文信息建模的全空间注意力，并超越了使用本地运算符的现有工作。

01

概述

Blind face恢复是从未知退化中恢复高质量的人脸图像。由于人脸图像包含丰富的上下文信息，研究者提出了一种方法，RestoreFormer，它探索了对上下文信息建模的全空间注意力，并超越了使用本地运算符的现有工作。

与现有技术相比，RestoreFormer有几个好处。首先，与以前的Vision Transformers(ViT)中的传统多头自注意力不同，RestoreFormer合并了一个多头交叉注意力层来学习损坏查询和高质量键值对之间的全空间交互。其次，ResotreFormer中的键值对是从面向重建的高质量字典中采样的，其元素丰富，具有专门针对人脸重建的高质量人脸特征，从而具有出色的恢复效果。第三，RestoreFormer在一个合成数据集和三个真实世界数据集上优于先进的最先进方法，并生成具有更好视觉质量的图像。

02

背景

Blind face恢复旨在从已遭受复杂多样退化（如下采样、模糊、噪声、压缩伪影等）的退化人脸中恢复出高质量的人脸。由于退化在现实世界中是未知的，因此恢复是一项具有挑战性的任务。Blind face恢复旨在从复杂和未知的退化中恢复高质量的人脸。以前的工作表明，额外的先验在这项任务中起着至关重要的作用，它们可以粗略地分为三种类型：几何、先验和生成先验。

基于几何先验的方法倾向于使用landmark热图或面部组件热图逐步恢复面部。由于这些几何先验主要是从低质量的人脸生成的，因此损坏的人脸限制了恢复的性能。另一方面，基于参考的作品需要参考与退化的人脸具有相同的身份，这并不总是可以访问的。虽然有研究者通过收集由高质量面部组件特征组成的组件字典作为一般参考来缓解这一限制，这些组件字典中的面部细节是有限的，因为它们是用面向离线识别的模型提取的，并且只关注一些面部成分。

Vision Transformer。Transformer是一种最初用于自然语言处理领域的深度神经网络 。由于其具有竞争力的表示能力，它开始应用于计算机视觉任务，例如识别、检测和分割。在有些论文中，低级视觉任务也从中受益。有研究者利用Transformer在大规模预训练上的优势，构建了一个复杂的模型，涵盖了多个图像处理任务，例如去噪、去雨和超分辨率。埃塞尔等人【Patrick Esser, Robin Rombach, and Bjorn Ommer. Taming transformers for high-resolution image synthesis】应用transformer通过预测其编码器的一系列码本索引来生成高分辨率图像，充分利用了强代表性transformer在可接受的计算资源内的容量。 在【Mingrui Zhu, Changcheng Liang, Nannan Wang, Xiaoyu Wang, Zhifeng Li, and Xinbo Gao. A sketch-transformer network for face photo-sketch synthesis】中，采用transformer获取人脸的全局结构，有助photo-sketch的合成。

03

新框架分析

(a)MHSA是一种具有多头自注意力的transformer，用于大多数以前的ViT。它的查询、键和值来自降级信息Zd。(b)MHCA是一个带有多头交叉注意力的transformer，用于提出的RestoreFormer。它旨在通过将Zd作为查询，将Zp作为键值对，在空间上融合退化信息Zd及其相应的高质量先验Zp。(c)是RestoreFormer的整个流程。首先部署编码器Ed来提取退化人脸Id的表示Zd，并从HQ字典D中提取其最近的高质量先验Zp。然后使用两个MHCA融合退化特征Zd和先验Zp。最后，在融合表示Z0f上应用****Dd以恢复高质量的人脸Id。

Comparison of Prior Dictionary。(a)DFDNet中提出的组件字典是由VGG网络离线生成的，并使用K-means进行聚类。他们只考虑眼睛、鼻子和嘴巴。(b)今天研究者提出的HQ Dictionary是通过结合矢量量化思想的高质量人脸生成网络学习的。HQ Dictionary中的高质量先验是面向重建的，为退化人脸的恢复提供更多的人脸细节。此外HQ Dictionary中的先验涉及所有面部区域。

04

实验及可视化