我们在今年的CVPR上也发表了另外一篇相关的文章，通过一种更简单的方式获得了更好的定位结果。物体的某个区域之所以会被highlight出来，其实是因为这部分特征的判别力较强。如果这部分判别力较强的特征可以transfer到物体的其它区域，那么其它判别力较弱的区域也有可能被highlight出来。我们发现这个想法可以很容易的通过加宽卷积（dilated convolution）的方式实现。如上图所示，在输入的特征图上只有鸟的头部判别力最强（绿圈内的区域），随着dilation rate的提升越来越多的距离判别区域较远的物体区域都被成功的highlight。

基于这个观察，我们在分类网络中引入了四种dilation rate不同的分支进行分类训练。从左图可以看出，不同的分支可以定位出了不同的物体区域，并最终融合出一个非常完整的物体定位图。如果把定位图应用于语义分割，我们需要通过一个threshold将物体区域从定位图中取出。右图对比了我们的方法跟CAM的对比，可以看出我们的方法无论对小物体还是大物体都可以很好定位，因此threshold也更容易选取。

基于生成的物体定位图，我们尝试训练了弱监督和半监督的语义分割网络。其中半监督是指一部分图像的masks是通过人工标定的，而另外一部分仅利用了图像级的标签。

我们对比了在不同设定下的分割图结果，可以看出随着人工标定图片的增多，效果也在一步步提升。同时，在弱监督的设定下，我们的方法在Pascal VOC上也获得了更高的分割性能（58.8->60.8）。在仅利用1400多张人工标注图的情况下性能可以进一步提升到68.5。该结果非常逼近全监督（1万张人工标注图）情况下的分割结果。

在今年的AAAI上，我们发表了另外一种半监督语义分割的文章。

在上个工作中提到的半监督方式可以被定义为In-category的半监督。In-category是指如果训练某个类的分割网络，则必须标定一些属于此类的图片。但在大规模类别的情况下（如ImageNet中的2万类），少量的标注仍会耗费大量的时间。因此，我们在这个工作中提出了一种Cross-category的半监督方法。Cross-category是指只有一小部分的类别具有人工标注的masks，而大部分类别都只有图像的标签。我们的目标是将在少量类别上学习到的分割能力迁移到大量的类别上。

在这个工作中我们提出了一种Transferable Semi-supervised Network，主要包括了Label Transfer Network和Prediction Transfer Network。

对于Label Transfer Network，我们首先利用有人工标注的图片训练了一个class-agnostic的前背景分割网络。进而通过CAM的方法找到每个类别在图片上最具判别力的种子点。最后我们通过self-diffusion的算法，将种子点在class-agnostic的分割图上扩散出属于不同类别物体的整个区域，从而获得包含语义信息的mask。

为了使得预测的mask更接近于人工标注的mask，我们又提出了Prediction Transfer Network。P-Net利用mask上pixel的语义信息，将输入图片encode成跟语义数目一致的图片数量（如Pascal VOC上为21），并concat到一起作为input。我们利用GAN的思想训练出discriminator，用于判断哪些input是通过真实mask生成。最后我们固定P-Net的参数并对预测的mask给定假的标签，使得预测的mask尽可能逼近人工标注的mask。我们在Pascal VOC上仅用到了10个类别的人工标注mask，并在20个类上获得了64.6的分割性能。

我们最终的目的是希望该方法可以实现大规模类别的语义分割，因此也在ImageNet上做了实验。上图是在部分类别上的分割结果。虽然没有任何人工标注信息，可以看出我们的方法仍然可以获得令人满意的分割结果。

我们所有的工作都是围绕如何生成高质量的物体定位图开展的。这些物体定位图进而可以服务于语义分割或检测等任务。如何更高效的定位复杂场景内的物体、确定不同物体之间的边界是我们后续探索的目标。

文中提到参考文献的下载链接为：

链接: https://pan.baidu.com/s/1x82GXb7KwI_jNHWzZrCY9Q 密码: 1d3p

专栏文章内容及配图由作者撰写发布，仅供工程师学习之用，如有侵权或者其他违规问题，请联系本站处理。 联系我们