开发中的列并行视频系统

当今，在生产、物流、交通、信息通信、娱乐等各种领域中，高速视觉信息处理正成为重要的技术。但是，目前许多图像处理系统由于图像的获取都使用CCD摄像机，处理速度受到视频速率(30帧/秒)的限制。换句话说，即使利用多高速的计算机，实时处理都会受到图像获取速度的限制。

另一方面，生产自动化机器人等传动机构的工作速度按ms级控制是可能的，因此，与CCD摄像机结合的机器人控制系统，未能充分发挥其传动机构的能力。

近年来，作为解决这一课题的办法，提出了从传感器到运算装置集成化的、采用CMOS半导体工艺的各种功能传感器。它的结构有图1示出的3种典型情况。

图中PD（光二极管）是受光单元，PE（处理单元）是数字运算单元。图(a)为以往基于计算机技术的结构，来自多个受光单元的信号通过二维顺序扫描读出，一个A/D交换器(ADC)进行模数变换，其图像数据由DSP及CPU等进行图像处理运算。

图(b)为提高图像获取速度及运算速度，在每一列都备有ADC和PE的结构。它以各列的并行性实现高速化。所有组件均有市售。

图©是基于完全并行的结构，每个PD都一对一地对应一个ADC和PE，能实现超高速的图像获取与运算处理。

这三种方式从集成性及运算能力看各有长短。图(a)的结构由于用一个ADC和一个DSP进行处理，在图像获取速度与运算速度两方面都有限制。

图(b)从集成性与高速性两方面看可说是一种中庸的结构，但对通信处理包含的许多相邻运算的能力是个课题。图©从高速性看可说是理想的结构，但从受光单元的灵敏度及ADC的精度看，对集成化要求很高的技术。

遵循这些结构不同的特性，开发了具有列并行传送方式与完全并行运算相结合结构的列并行视觉系统CPV。本文介绍CPV的技术概要及其利用高速运算特性的视觉反馈系统的应用。

本系统的构成如图2示出。对于高帧速与高分辨率的相悖要求，为同时满足产业应用所需的128×128像素、8位灰度等级、ms级的运算处理，对128×128像素的PD阵列和PE阵列的数据传送，采用了位串行、列并行传送方式。此即图1(b)的列并行传送功能与©完全并行运算功能相结合的方式。PD阵列的输出，通过每列的放大器和A/D变换器，作为128路并行的位串行数字信号输出。

试制的受光单元外观见图2，在10cm大的底板上按COB(板上芯片)安装。在128路以8位读出的情况下，传送速度实现了大约1ms。PD阵列的特性示于表1。

并行运算装置由PE阵列与控制单元构成(见图2）。PE阵列采用了通用性与高速运算性都极好的并行处理算法结构S3PE。S3PE结构基于SIMD(单指令多数据流）型并行运算，用外部的程序可实现通用的运算。PE阵列由于与PD阵列的各像素一一对应，实现了完全并行的高速运算。

各PE由示于图3的运算器（ALU）、A/B寄存器及24×1位的随机存取存储器(内存）构成，利用外部给出的运算指令(程序)便可进行通用的运算。

另外，由于在PE内部，运算与图像传送可各自独立进行，传送与处理可不间断地工作。控制单元如图4所示，它实现整个系统(PD阵列、PE阵列）的控制及与外部主机的接口。

图5示出利用本系统进行一般图像处理的结果。图左上为按256级灰度拍摄的原图像，以128ms/帧的帧速获取图像。右上是7次背景烘托处理图像，对X与Y方向反复进行了7次烘托处理运算。左下是2次背景压纹处理，左下是加边处理的结果。

这些图像处理运算证明，可利用完全并行的并行运算机构通过改换程序实现，且如表2所示是高速进行的。表中的步数表示运算所需要的运算步数，在目前系统中运算在CLK=3MHz下工作，步数×0.33ms即为运算时间。图像处理所需时间在哪一情况下，均约0.1ms即可，在目前每秒1000帧的情况下，可适应高10倍的复杂运算。而且，通过今后的集成化，还可望进一步实现高速时钟运行。

为了展示本系统具有的高速图像处理能力的有效性，做了高速反馈所必需的自动跟踪演示。

实验系统CPV接到2轴（PAN、TILT)马达上，其图像由并行运算机构进行处理，结果反馈给马达。实验中对象物为手形模型，在存储最初见到的物体后便执行跟踪程序。为显示系统的高速性，以1ms时间的反馈为目标，图像用1ms获取3位(8级灰度)的图像数据，由完全并行运算进行对象物体的识别和重心的计算。实验证明可实现每秒1000帧的帧速率。

物体跟踪的运算内容示于表3。首先，传感器信息的3位图像数据送入PE，作为前处理去除噪声和进行2值化运算。接着，采用了利用图像高速反馈特点的selfwindow法识别对象物体。

这里对提取的图像，运算X方向和Y方向一次动量的总和，分别进行各自的重心计算处理。从取得图像到重心计算结果输出的全部运算，用58.6ms即完成，证明了本系统的高速性和有效性。

这样高帧速率的图像处理能力可以解决产业领域中图像处理的许多问题。比如说，在传送带上的实时检查及半导体器件的缺陷检查等的处理速度，都可飞跃地提高。此外，还可望用于迄今图像处理难以解决的应用，如汽车、电车等移动体中危险感和传感器的应用，运动分析及运动控制等体育科学的应用等。

今后，该系统将以高速图像处理范围极广的产业应用为目标，预料在推动系统的小型化和成本降低的同时，将准备便于用户进行算法开发的软件环境等相关技术。本系统由于具有未来单片化的结构，可望作为小型廉价的智能传感器产业化。■ (绍)