高新波：异质图像合成与识别（4）

深度学习来了，前面的工作都是前些年做的，我们也不能免俗也要利用一下深度学习。刚才的特征提取方法完全可以换成CNN的方式来提取特征，然后再来进行描述，效果也是不错的。

利用16层VGG网络提取特征以后，将特征加权和合成权值优化以后构造相关的函数。

大家看一下上图，用了VGG以后，在寻找近邻块的时候性能往往比较稳定。利用灰度作为特征时近邻块可能会找错，而利用深度特征时就找对了，所以至少在这方面可以找到更好的近邻进行图像合成。

上图是基于深度学习合成出来的结果，也是不错的。

刚才我在分块的时候都是基于刘青山教授提出的均匀分块方法的。实际上均匀分块会分出上图所示的混合块，这个块既有眼睛又有眼睛以外的地方，既有头发还有皮肤，这样合成起来效果就会大打折扣了。

于是我们提出上图所示的基于超像素的自适应分块方法，使用超像素分割来进行分块，它的优点是更自适应了，缺点是原来的近邻非常规范，而现在每个块的邻域块可能数目都不一样了，需要将每个块的近邻块记录下来。

按照相同的方法构造目标函数，之后用基于概率图模型的方法即可生成画像。上面两张图分别展示了构造目标函数和概率图模型方法。

上图是我们生成的实验结果，从结果来看效果还是不错的。

上图是由画像生成照片的识别结果，我们的方法识别率达到了99%。

2017年的工作是把前面的相关工作进行了系统总结。我们发现整个算法流程基本上分为几个模块：对于给定的训练数据库，首先要对每一幅照片-图像对进行分块，进行图像块的描述，也就是说怎么来表示每一个图像块，另外就是近邻块的搜寻，怎么来寻找最近邻图像块，另外是怎样优化加权的权值W。

整个过程里面有两个部分需要优化，一个是对邻域块的搜索，一个是进行权值的计算。针对这两个模块，前面的工作只是对权值计算利用了概率图模型，而邻域图像块的搜寻同样可以利用概率图模型来优化。

把两个概率图模型加上以后发现效果更好一些。

关于异质图像识别是这样的，前面的方法基本上是首先将异质图像通过合成转化为同质图像以后再进行识别。其实完全不必这样，可以直接在特征域进行比对，比如，用概率图模型表示以后，可直接基于概率图模型的表示进行匹配识别。

也就是说来一个图像以后，用概率图得到它的表示系数之后，对异质图像之间的表示系数进行匹配就可以了，这个工作发表在16年的TPAMI上。

这篇文章的主要工作是构造了similarity的一个计算方法，当我们用上面所示的概率图模型表示图像块的时候，由于基图像不一样，所以必须首先找到基图像一样的系数进行相似性测度的构造，通过这样构造以后就可以直接利用表示系数的相似性进行识别了。

上图是不同的数据库，包括香港中文大学的CUFS和CUFSF数据库，印度的IIIT数据库，网上的数据库，照片、可见光和近红外的数据库，可见光和热红外的数据库。这里所谓的异质图像是指不同传感器得来的图像。

上图是我们在不同数据库上实验所得到的识别率。我们在香港中文大学数据库已经达到100%的识别率，加了Forensic数据库之后变成了99%，在identification上面是96%，在verification上得到99%的识别率。

上图是在IIIT数据库上的识别结果。识别率只有不到30%，因为这个数据库中的画像都是基于记忆而绘制的画像，画像和照片之间对齐的非常不好。

上图是在Forensic数据库上的识别结果，我们的方法得到最好的结果，也不过30%。