前座驾驶员

　　降低相关复杂性的一个好方法是，考虑执行NGC内核需要的工作量。两个数字图像的相关可以定义为：
　
　
　　f(x,y)是一个函数，用于描述(x,y )中的8位像素的灰度水平(0-255)，模板t(x-u, y-v)被来自原点的(u,v)像素所取代。模板和图像在等式中能够改变位置，因为结果对代数符号不敏感。这个模板的尺寸是按照p像素 x q像素计算的。可以看出表达式一个像素一个像素地比较f和t，并且假定缩放比例，使模板和图像尺寸相同。

　　通过扩展，我们考虑模板项的平方是一个常量，图像项的平方是一个大致的常量。我们发现，C(u,v)这个相关的近似值仍需要在有用的边界中定义，使其更加不依赖可见光。
　

　　最后，如果我们把测试中的模板和图像区域转到原点：
　

　　要减少可见光的影响，标签f和标签t是图像和模板灰度密度的算术平均，这些图像和灰度密度取代对比窗口中的所有的N = p x q像素。用这两个函数的几何平均值除以这个分子将得到更好的独立结果和一个界限。
　　
　　通过Navi2V的加速器GSEU(灰度搜索引擎单元)重新安排处理：

　　通过检查可以发现上式有五个不同的计算，其中两个可以预先计算。一个归一化相关可以分配给SH-Navi2V的图像识别加速器(见图3)中的16个区域处理器。这16个区域处理器中的每一个处理器被设置为一个四处理器MISD(多指令单数据)引擎。每一个四处理器GSEU能够处理正在被收缩的图像中整个的指定区域里归一化相关内核。如图3所示，预备项用作计算归一化相关需要八次运算。提供一组已计算出的项，SH-4A内核接收和生成归一化相关结果。它用软件流水线模式(组装线)执行最后的计算。其输入操作数是图像识别引擎早些时候在一个积累期计算的项。SH-4A双精度协处理器提供平方根开方和除法运算。

　　这个标记可能和镜头视点(Camera view)中目标体上的临时标签一起工作，镜头视点至少有一个匹配的模版。
以300MHz的速度运行，这个图像识别引擎每个循环周期能够完成16个归一化相关步骤。每个周期8次运算和16个引擎并行工作，加速器每秒中可进行38.4GOPS计算，不包括SH-4A执行的运算，以及预处理、标签、矩形图调整和其他后处理单元(图3b)以及2D图像所需要的状态机。除非预先把匹配的模板安排在计划中，否则，搜索只能通过每一个像素的一次一次的全面计算实现。

前景光明

　　由于SH-Navi2V芯片能够发挥许多作用，有必要解释一下它到目前为止做了哪些事情。SH-Navi2V已经可以接受来自两个摄像机的输入信号；它已经可以为一些重要模板搜索了视频帧，并且在液晶显示屏上显示结果。

　　瑞萨科技把这一过程中分为四个阶段，所有的图像引擎任务和相关控制都是由SH-4A处理的：

　　来自两台摄像机的视频帧(NTSC/PAL制式)通过VIN模块(如图2所示)接收，并且存储到DDR SDRAM外部内存。

　　图像识别引擎从DDR SDRAM内存载入下一个需要处理的视频帧，并且把这个结果传回内存。

　　SH-4A访问DDR SDRAM外部内存，从已经完成图像识别的堆栈框架上面提取数据，执行高质量图像处理，并且把处理后的图像传输回内存。

　　内存里SH-4A已经处理过的图像将通过显示单元(DU)传输到驾驶员可以看到的WVGA或者XGA液晶显示屏。

　　正如瑞萨科技描述的那样，使用SH-Navi2V的系统能够向汽车驾驶员提供视频影像，通过图像识别功能突出与交通有关的物体。这个视频影像还包含一个语音提示，读出交通标志的内容，如限速公里数等。因此，采用这种芯片的系统能够向驾驶员提供比GPS和地图更准确的位置信息。它能够说明主汽车周围的环境状况，向驾驶员提供有关行车状况的信息，如新的或者临时的道路标志。

　　该系统是提高汽车和驾驶员安全的一个良好开端，但是还有一些障碍需要克服。灰度归一化相关自从90年代初就开始应用在机器人视觉中，也许是80年代末。在大多数情况下，这个技术是在处理一些动作缓慢，或者应用在对色彩不太敏感，并且与车辆移动时拍摄视频所不同的环境下。图像缩放和旋转以及透视变形需要高出2到3个数量级的性能。每秒搜索的帧数必须要提高：汽车在以每小时50公里的速度行驶时每秒中前进大约73英尺，系统需要处理解决摄像机抖动以及汽车的颠簸摇晃。有些摄像机的光学系统已经提供了单轴帮助功能(像佳能的IS镜头和尼康的VR)，或者通过压电致动器(美能达)实现的CCD/CMOS传感器位置控制。

　　此外，图像稳定软件或者对前帧中已经识别出的物体的移动进行预见性的搜索也能提供帮助。(译自In-stat微处理器报告)