实战 | 实时的目标检测与识别简单应用

一、问题来源

最近总是有很多入门的朋友问我，我进入计算机视觉这个领域难不难？是不是要学习很多知识？到底哪个方向比较好？

这些问题其实我也不好回答他们，只能衷心告诉他们，如果你对这领域特别感兴趣，那你可以进来试试玩玩，如果试过了玩过了，觉得这不是你喜欢的领域，那你可以立马退出，选择你喜欢的领域方向。我个人一直认为，科研这个东西，真的是要有兴趣爱好，这是你动力和创新的源泉。只有对自己选择的领域有兴趣，有动力深入挖掘，我觉得一定会做得很好，可能还会创造出许多意想不到的结果。

如果现在你们入门的朋友，选择了目标检测类，你们可以没事玩玩今天说的框架和网络，这个过程真的可以学习很多东西，只要你愿意花费时间和精力去深入，现在我们闲话少说，直接进入正题。

二、我们来分析

正如我之前说的：深度学习近期总结分析。在目标检测中，有很多经典的网络框架，比如RCNN，SSP，Fast RCNN。其中Fast RCNN就使用Selective Search来进行候选区域，但是速度依然不够快。今天的主角（Faster R-CNN）则直接利用RPN（Region Proposal Networks)网络来计算候选框。RPN以一张任意大小的图片为输入，输出一批矩形候选区域，每个区域对应一个目标分数和位置信息。Faster R-CNN中的RPN结构如图所示。

Faster RCNN的主要步骤如下：

特征提取：同Fast RCNN，以整张图片为输入，利用CNN得到图片的特征层；

候选区域：在最终的卷积特征层上利用k个不同的矩形框（Anchor Box）进行提名，k一般取9；

分类与回归：对每个Anchor Box对应的区域进行object/non-object二分类，并用k个回归模型（各自对应不同的Anchor Box）微调候选框位置与大小，最后进行目标分类。

总之，Faster RCNN抛弃了Selective Search，引入了RPN网络，使得候选区域、分类、回归一起共用卷积特征，从而得到了进一步的加速。但是，Faster RCNN需要对两万个Anchor Box先判断是否是目标（目标判定），然后再进行目标识别，分成了两步。

今天就来讲讲怎么简单操作该网络，以便后期有兴趣的朋友再次基础上做出改进。

三、简单入门实践

git官网的py-faster-rcnn源码

终端输入：cd /home/**（您服务器的名字）

                    git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git

生成Cython模块

终端输入：cd /home/**（您服务器的名字）/py-faster-rcnn/lib

                   make

生成Caffe和pycaffe

终端输入：cd /home/**（您服务器的名字）/py-faster-rcnn/caffe-fast-rcnn

                    cp Makefile.config.example Makefile.config

打开Makefile.config，修改之处可以根据您自己需求修改（比如你要使用Python，GPU等功能）

保存退出。

终端输入：cd /home/**（您服务器的名字）/py-faster-rcnn/caffe-fast-rcnn

                    mkdir build

                    cd build

                    cmake ..（注意这是两个句点，不要忘记）

                    make all -j16（"‐j16"是使用 CPU 的多核进行编译,可以提速，根据您自己

                    硬件调整）

                    make install

                    make runtest -j16

                    make pycaffe（编译pycaffe）

下载fetch_fast_rcnn_models

终端输入：cd /home/**（您服务器的名字）/py-faster-rcnn

                    ./data/scripts/fetch_faster_rcnn_models.sh

运行demo.py

终端输入：cd /home/home/**（您服务器的名字）/py-faster-rcnn/tools

                    ./demo.py

到这几，基本的都完成了，接下来就是实现自己的数据train和demo。

1

首先制作自己的数据集

（如果您用公共数据集，那就可以忽略这步骤）

保留data/VOCdevkit2007/VOC2007/Annotations和ImageSets和JPEGImages文件夹名称，删除其中所有的文件（保留文件夹）。其中Annotations保存标签txt转换的xml文件，ImageSets保存train.txt、trainval.txt、test.txt、val.txt四个文件分别储存在layout、main和Segmentation文件夹中，最后JPEGImages保存所训练的数据。

然后，Annotations中xml文件的制作。该部分的代码我会放在公众平台的共享文件菜单中。最后做出来的效果就是如下所示：

最终生成的格式如下：

最后在ImageSets中的trainval文件中，根据你自己来划分！

2

修改参数和文件

 prototxt配置文件

models/pascal_voc/ZF/faster_rcnn_alt_opt文件夹下的5个文件，分别为：stage1_rpn_train.pt、stage1_fast_rcnn_train.pt、stage2_rpn_train.pt、stage2_fast_rcnn_train.pt和fast_rcnn_test.pt，修改格式如下：

(1)stage1_fast_rcnn_train.pt和stage2_fast_rcnn_train.pt修改参数：

num_class:2（识别1类+背景1类），cls_score中num_output：2，bbox_pred中num_output：8

(2)stage1_rpn_train.pt和stage2_rpn_train.pt修改参数：

num_class:2（识别1类+背景1类）

(3)fast_rcnn_test.pt修改参数：

cls_score中num_output：2，bbox_pred中num_output：8（只有这2个）

修改lib/datasets/pascal_voc.py

self._classes = ('__background__', # always index 0  'zongzi')（只有这一类）

修改lib/datasets/imdb.py

数据整理，在一行代码为：

boxes[:, 2] = widths[i] - oldx1 - 1  下加入代码：

 for b in range(len(boxes)):

      if boxes[b][2]< boxes[b][0]:

         boxes[b][0] = 0

修改完pascal_voc.py和imdb.py后进入lib/datasets目录下删除原来的pascal_voc.pyc和imdb.pyc文件，重新生成这两个文件，因为这两个文件是python编译后的文件，系统会直接调用。

终端进入lib/datasets文件目录输入：

python(此处应出现python的版本)

>>>importpy_compile

>>>py_compile.compile(r'imdb.py')

>>>py_compile.compile(r'pascal_voc.py')

3

现在我们开始训练自己数据

终端进入py-faster-rcnn下输入：

./experiments/scripts/faster_rcnn_alt_opt.sh0 ZF pascal_voc

4

运行demo

运行demo，即在py-faster-rcnn文件夹下终端输入：

./tools/demo.py --net zf

其中修改/tools/demo.py为：

(1) CLASSES =('__background__',  'zongzi')

(2) NETS ={'vgg16': ('VGG16', 'VGG16_faster_rcnn_final.caffemodel'),

                     'zf': ('ZF', 'ZF_faster_rcnn_final.caffemodel')}

四、实验效果

注：有部分目标没有检测出来，可能是由于目标遮挡，重叠造成，所以往后需要我们大家做的就是，怎么去解决实际生活中遇到的种种问题，利用所学的知识和自己的创新去改进，优化！

由于今天是端午假，大家都会吃粽子，所以今天的目标检测就是“粽子”，通过各种渠道得到粽子的训练和测试数据集，最后得到如下部分的结果可视化图。