【技术讲座】用一个摄像头使汽车不碰撞

※ 照片上的摄像头配备位置是示意图，不符合日本的安全标准。日本国土交通省安全标准“第29条第4款中的第195条第5款”对摄像头安装位置做了规定，要求摄像头与前窗上下端的距离为窗高20％以内，或者被后视镜遮挡的位置。

说到使用摄像头的汽车防碰撞系统，在日本最有名的是富士重工的“EyeSight”。但还有一家企业，在该市场掌握着全球70％的份额，那就是只用1个摄像头就实现了防碰撞系统的Mobileye。该公司的总部虽然设在荷兰，但在以色列开发基地拥有多达300名的技术人员。在本文中，该公司的研发负责人将为您介绍这家被全世界汽车厂商关注的公司的现状，以及以图像识别为中心的技术内容。

我们开发的使用单眼摄像头的汽车后装防碰撞报警系统“MobileyeC2-270”已经销往了世界42个国家。在日本，2011年开始提供面向企业的销售和安装服务，面向个人的服务也已于2012年4月启动（注1）。

（注1）在日本，Mobileye的汽配产品由i-mobile公司销售。该公司成立于2011年7月，是日本进口Mobileye产品的总代理。包括安装费在内，“Mobileye C2-270”的价格为13.5万日元。

在使用摄像头的防碰撞系统中，富士重工号称“不撞的汽车”的“Eye-Sight”在日本最为著名。这项技术使用两个摄像头检测车辆和行人，还具备发出报警后自动停车功能。

但纵观全世界，在使用摄像头的防碰撞系统市场上，Mobileye以70％以上的份额雄踞榜首。我们最早从事的是以欧洲汽车厂商为中心供应单眼摄像头图像处理SoC的业务，之后，在2006年创立了自行组装最终产品并在汽配市场上销售的业务。

我们开发的图像处理SoC“EyeQ2”已经被应用到了德国宝马新款“1系”的防碰撞报警功能和瑞典沃尔沃的系统之中。此外还被美国通用汽车（GM）和美国福特汽车等世界主要汽车厂商采用（表1）。最近，我们还在与日本企业合作进行开发。

5种警示功能

Mobileye C2-270的主要功能包括与前方车辆和行人碰撞警示、车道偏离警示、车距警示（图1）。不仅能通过蜂鸣声报警，还能通过显示装置向驾驶员报警。具体的报警功能包括以下5种：（1）前方车距监测与警示（HMW）；（2）前方车辆碰撞警示（FCW）；（3）低速时前方车辆碰撞警示（UFCW）；（4）行人碰撞警示（PCW）；（5）车道偏离警示（LDW）。

图1：警示5种危险
通过视觉信息发出警示的显示装置能够通过秒数显示车距（车距/秒速），以及前方车辆、行人和车道偏。

（1）前方车距监测与警示，显示的是本车与前车的车距除以本车秒速得到的数值。当与前车的车距距小于2.5秒时，显示器将显示车距的秒数。当车距小于事先设定的秒数时，代表车辆的图标将变成红色，并鸣响“哔”的警报蜂鸣声。检测距离最远为90m左右。

（2）前方车辆碰撞警示，在碰撞可能发生之前2.7秒，车辆图标将变成红色，同时大声发出“哔哔哔哔”的警报，提醒驾驶员踩刹车。

（3）低速时前方车辆碰撞警示，也叫做虚拟保险杠。事先在自车保险杠前方1～2m处设定虚拟保险杠，在时速低于30km以下的情况下，当前方车辆接近到触碰虚拟保险杠的距离时，鸣响“哔、哔”的警报声。其作用是防止堵车和等红绿灯时发生碰撞。

（4）行人碰撞警示，该功能在检测到前方30m以内有行人时，首先会静默地点亮红色的行人标志，在行人进入危险距离，可能发生碰撞的2秒前发出“哔-哔-”的蜂鸣声。

（5）车道偏离警示，当汽车时速达到55km/h以上，无意偏离车道时，显示器将显示偏离一侧车道的标志，同时发出“嘟嘟嘟嘟嘟嘟嘟”的警告声。如果是打开转向灯变更车道，则判断为有意偏离车道，不会发出报警声也不会显示图标。

如上所述，由于每种警示的报警声各不相同，因此在熟悉之后，驾驶员无需查看显示装置，根据声音即可判断出警示的种类。

事故预防率接近100％

我们的碰撞报警系统在减少交通事故数量上的效果已经得到了验证。调查由瑞士丰泰保险公司（AXA Winterthur）实施。保险公司也希望通过为汽车安装防碰撞系统减少事故，削减事故赔偿的保险金数额。

此次调查揭示了发觉危险后踩刹车的时间与事故发生率之间的关系（图2）。调查结果显示，对于前方碰撞，如果能够提前2.0秒察觉到危险并通知驾驶员，基本可以100％防止事故发生。鉴于这一情况，AXA等欧洲各大保险公司都推出了以配备本公司的防碰撞报警系统为条件的保费打折活动。

图2：只要在2秒之前发出报警，事故发生率基本可以降到零
如果在发生事故的0.5秒之前发出报警，碰撞的概率为35％以上，如果提前2秒以上，绝大多数事故都可以得到预防。（图：《日经电子》根据丰泰保险的资料制作）

防碰撞报警系统其实也有助于提升驾驶技术（注2）。在刚安装的时候，报警声经常响个不停，过上几周，报警次数便会骤降到一半以下（图3）。因为一旦驾驶出现差错，系统马上就会通过声音和显示通知驾驶员，使其自然而然地掌握正确的驾驶方式。这不仅有助于提高驾驶水平，对于提升燃效也贡献颇大。（特约撰稿人：Gideon Stein，荷兰Mobileye公司Chief Research Scientist；实川裕敏，i-mobile技术及售后负责人）

图3：3周内报警次数减半
可口可乐欧洲集团的配送车自从安装Mobileye的防碰撞报警系统后，驾驶员的驾驶水平显著提高。

（注2）还有其他事例可以验证防碰撞报警系统的有效性。例如，美国某运输公司验证并比较了是否安装Mobileye系统对于交通事故成本的影响。结果显示，每行驶100英里（160km），未配备车的事故率比配备车高1.4倍。如果换算成事故造成的损失费，配备防碰撞系统大约可以削减130万日元。

适合小型、低成本化

　　实现防碰撞报警系统的方法并非只有我们采用的单眼摄像头方式（表2）。此前的防碰撞报警系统大多使用毫米波雷达和激光雷达，但这种系统需要与车辆一体化开发，而且安装车型有限，在价格方面，毫米波雷达更是价格高昂。

　　利用摄像头的方式还有富士重工为EyeSight采用的立体摄像头方式。与毫米波雷达方式相比，这种方式的优点在于能够降低系统的成本，而且还能开发出汽车后装产品。

　　我们公司从1999年创建之初开始，一直致力于开发单眼摄像头方式，目的是为了实现小型化、低成本化及系统简洁化。与采用立体摄像头的方式相比，可检测的距离虽然偏短，但我们认为通过改进图像处理技术可以缩小差距。这是与其他公司形成差异最重要的项目，也是我们倾力开发的核心技术。

　　系统简洁化是向汽配市场推出产品时必不可少的要素。为了提高检测性能，使用摄像头的防碰撞系统必须在安装时对摄像头位置进行输入和校正。立体摄像头必须仔细调节2个摄像头之间的距离和安装角度。如果把摄像头数量减少到1个，就能够减少校正作业耗费的时间和劳力。

改进硬件，采用黑白摄像元件

　　C2-270由摄像头单元、显示装置和电缆盒构成。电缆盒使用CAN总线等从车辆读取速度、制动器、雨刷、方向指示器、远光灯的信号。

　　C2-270除了摄像头单元和摄像元件之外，还内置了核心部分——图像处理SoC（图4）。配备的CMOS图象传感器采用的是美国AptinaImaging公司生产的分辨率为VGA（640×480像素）的“MT9V024”。CMOS为1/3英寸，像素间距为6.0μm。视角为水平38度×垂直30度。镜头的焦距（f）为5.7mm，光圈为F=1.6。

图4：简单的部件构成
“C2-270”的摄像头单元部件数量少，图像处理SoC“EyeQ2”占据了很大的安装面积。

　　采用的CMOS图象传感器为黑白产品，能够检测到与月圆之夜相当、亮度在0.1lx以下的光线。我们自主开发的曝光调整技术能够优化控制每个场景的曝光。这是因为识别车道线、车辆、标识时的最佳曝光数值各不相同。

　　除此之外，C2-270还做了其他改进，能够把感光度分成3个阶段，以3帧为1组进行拍摄。在黑暗环境下，首先提高感光度捕捉远处的光线，然后逐渐降低感光度，捕捉极近距离的光线。摄像头本身的拍摄速度虽然为每秒60帧，但在处理时，是按照每秒约15帧的速度进行处理。

可以并行处理七个任务

图像处理SoC——EyeQ2配备了2个美国美普思科技（MIPS Technologies）的32bit CPU内核“MIPS 24Kf”（图5）。该CPU的工作频率为332MHz，还配备了8个用于图像处理的64bit编解码引擎（VCE：video codec engines），同时可以并行处理七个任务。

图5：配备两个CPU内核
图像处理SoC “EyeQ2”的结构示意图。CPU内核采用了支持多线程功能的“MIPS 24Kf”。

　　在接通电源的状态下，C2-270的摄像头将一直监控前方视野，同时持续地识别进入视野的车辆、行人、车道线。因此，具备高速处理性能的图像处理SoC必不可少。在开发之初，我们曾经采用了某大型半导体厂商生产的通用图像处理器，但处理性能不足很快就体现了出来。因此，我们一改过去只开发软件的体制，开始开发硬件，也就是专用于预防碰撞系统的图像处理器。

软件是关键，根据三个特征判定车辆

　　EyeQ2实际上能够同时处理汽车预防式安全系统和防撞辅助系统所必须的以下检测（图6）：（1）前方车辆、（2）车道线、（3）与前方车辆的距离、（4）与前方车辆的相对速度和相对加速度、（5）车道内的前方车辆、（6）弯道、（7）行人。

图6：检测车辆和车道线
通过检测车辆和车道线提高了报警精度，可区分同一车道内的车辆及其他车道的车辆。

关于（1）车辆检测，识别车辆依照的是对三个特征的检测，分别是车辆后部的矩形检测、后轮检测、2个尾灯的检测（图7）。系统将通过比对预先保存的几十种车辆形状的图案，判断前方物体是否为汽车。如果是汽车，系统可以判断出后轮轮胎的位置。而尾灯则是夜晚重要的检测要素。

图7：捕捉车辆后方的特征
通过检测长方形或正方形的车辆后部以及2个轮胎、尾灯，判断前方物体为车辆。

在识别车辆时，CMOS传感器上的车宽需要达到13个像素以上，这相当于与车宽为1.6m的车辆相距115m。从CMOS传感器的性能来看，前方的识别限度约为90m。

单眼摄像头也能测量距离

　　（2）车道线的检测数据将用于车距监测及警示、前方车辆碰撞警示。50m远的宽度为10cm的车道线在CMOS传感器上相当于2个像素。系统将从摄像头图像中识别出车道线，根据摄像头的视野和在前窗上安装的位置等信息计算出车道线的宽度及其与车辆的相对位置，利用卡尔曼滤波器推测车道线。

　　（3）与前方车辆的距离是利用“远近法原理”计算得出的（图8）。其原理如下，因为摄像头的地面高度（H）已知，所以，路面上前方车辆接触地面的位置比水平面上无限远的一点（延伸焦点，FOE：focusof expansion）略低几度。

图8：车距检测的原理
单眼摄像头检测车距利用“远近法原理”。事先测量出摄像头的地面高度H，根据关系公式计算出距离Z。

映射到摄像头内部的CMOS传感器上的图像的高度（y）随与前车（后轮轮胎与道路的接触面）的距离而变化。摄像头的焦距（f）同样为已知条件。按照“H：Z＝y：f”计算，即可求出与前车的距离Z。而且，距离碰撞的时间也可以根据“Z/相对速度”的公式求出。

攻克检测行人这一难题

与车辆的识别相比，（7）行人检测的难度要大得多。行人不同于车辆，动作、服装、身体各部分的变化要素很多，而且还需要与街上的建筑、汽车、电线杆、树木等背景图案区分开来。

　　为了在有人走向行驶车道时尽可能缩小检测延迟，对于车道外行人的检测必不可少。因此可以容许出现某种程度的误判。

　　提高行人检测的精度依靠的是“单帧分类”和“多帧认证”两个步骤。首先通过“单帧分类”判断出“好像是行人”，然后再转入“多帧认证”，当检测到行人进入车道内时提高等级，采取立即发出报警等处理方式。

　　在行人识别中，系统将把推测为行人的图像分成9个区域提取特征（图9），结合多帧的动态变化提高精度。识别到的VGA分辨率的纵长长方形行人图像将在调整到12×36像素后进入“单帧分类”处理。根据汇总了3～25m范围内15万个广泛的行人事例（考虑到了动作和停顿、照明、背景图案、气象条件、天气下的可视条件等）的测试数据集进行分类（注3）。

图9：提取行人特征
把拍摄的图像分成9个区域提取特征，识别其是否为行人。

（注3）数字依照Mobileye发表的论文，与现在的产品参数可能存在差异。

　　测试数据集根据在日本、德国（慕尼黑）、美国（底特律）、以色列各国的市区行驶50个小时获得的数据制成。这种方法在误判率为5.5％的情况下，检测率可达90％。考虑到检测率与误判率的均衡，最终采用的检测率为93.5％，此时误判率约为8％。

　　对于“单帧分类”无法检测出的情况，在“多帧认证”这一步中，考虑到了动态步伐和移动检测、再检测、脚部位置检测，目的是区分行人与背景中的静止物体（电线杆、树木、护栏）的办法。借助以上改进，系统在白天能够识别出30m前方身高在1m以上的行人。

摄像头方式特有的弱点

　　我们的防碰撞报警系统也存在弱点。因为是基于摄像头进行图像识别，所以人眼看不到的东西无法识别。在识别车道线时，掉色的车道线、在雨雪覆盖下难以辨识的车道线可能无法识别。

　　在隧道的入口和出口附近，前方车辆与隧道影像重叠也可能造成误报；前方车辆映照在被雨水淋湿的道路上的倒影也有可能造成误报；当太阳位于靠近地平线的正前方时，摄像头有时会无法正确识别前方车辆；而且，当摄像头正前方的前窗上有水滴时，系统有可能发生鱼眼镜头效应，对前方车辆的大小判断错误（注4）。

（注4）以上是Mobileye技术部门列举的可能发生误判的场合和条件。

未来将把自动驾驶也纳入视野

　　为了改善这些弱点，我们已经着手开始改进图像处理SoC。目前正在与意法合资意法半导体合作开发名为“EyeQ3”的第3代产品。计划在2014年开始供应配备该SoC的产品。

　　EyeQ3内嵌4个支持多线程的“MIPS32内核”，每个CPU内核都配备了我们的VMP（vector microcode processor）。我们计划通过灵活分配控制与数据处理，使其性能达到EyeQ2的6倍。

　　而且，我们还计划实现支持多摄像头输入等大容量影像数据处理。如果除了前方之外，摄像头还能安装在后方和侧面用以获取信息，应该能实现更可靠的防碰撞报警系统。

　　随着摄像头与汽车的融合，自动驾驶也已经进入了我们的视野，现在已经着手开发。需要解决的课题虽多，但我们每天都在积极地迎接挑战。在今后，Mobileye依然将全力开发更加方便大众的汽车技术。