基于STM32N6和VD66GY的机器视觉方案

方案介紹 

       该方案基于主控平台STM32N6搭配ST的VD66GY图像传感器实现人体姿态的监控，系统利用VD66GY传感器采集环境图像数据，随后通过STM32N6处理器进行高效的图像分析和处理开发。 

二、主要元件简介

• STM32N6

    基于 Arm Cortex -M55 的微控制器，配备 ST神经-ART加速器、H264 编码器、Neo-Chrom 2.5D 图形处理器， 4.2MB连续型静态随机存取存储器用于实时数据处理和多任务处理，专用嵌入式神经处理单元（600 GOPS NPU &3 TOPS/W power consumption），图像处理器ISP（Parallel and MIPI CSI-2 camera module I/F）支持5 Mpixel camera and 30 FPS、坏像素、降采样、黑电平、曝光、去马赛克、列转换、对比度、裁剪、缩小、伽马值、像素打包。 

  工程师可以将机器学习的推理处理任务分配给NPU，这样一来，高效的Cortex-M处理器、ISP以及GPU就可以专注于处理其他系统级任务或是运行用户的应用程序。这使得它能够处理复杂的图象识别和处理任务，如对象分割定位、姿态估计、物体分类、人脸/人像检测、异常检测等等。 

  ST官网提供多种开发包和工具有自身的讨论社区与wiki ，让使用者有着大量的资源能够使用与自由的开发环境。

  

  （详细资料：STM32CubeN6 - 面向STM32N6系列的STM32Cube MCU软件包（包含HAL、CMSIS器件以及在意法半导体开发板上运行的示例） - 意法半导体STMicroelectronics） 

• 图像传感器-ST VD66GY 

     1.5M BSI 传感器(1124x1364）,可采用RGB和RGB-IR两种模式配置、动态范围可达60DB、每个像素尺寸为2.61μm，它们在可见光和近红外区域(940纳米)表现出色。这些传感器在 1124x1364 的分辨率格式下每秒可捕获多达 88 帧图像，并且提出了两种像素矩阵版本:RGB 2x2 核心和 RGB-NIR4x4 核心。这些器件的像素构造最大限度地减少了串扰，并在可见光和红外区域都保持了高MTF(调制传递函数)。 

  ST还提供VD66GY S-Board可直接搭配STM32N6进行配对开发，提供从原型到量产的支持，不仅可以节约资源还能加快产品上市时间节点。 

  VD66GY S-Board是一款全面的多功能硬件套件，用于评估和集成 VD66GY 图像传感器。它包含所有必要的硬件，从电子元件到光学器件，以执行全面的产品评估或立即将产品直接集成到系统的其余部分。其中嵌入了一个带有 FFC 输出连接器的 VD66GY 图像传感器、一个 M12 镜头支架、一个默认的非胶合镜头和一根带状电缆。套件中嵌入的非胶合镜头可以灵活地根据您的需要聚焦，或者简单地将其取下以使用不同的镜头。该套件配备 M12 镜头接口，可根据您的应用定制各种 M12 或更小的现成镜头。其标准 FFC 连接器允许连接各种长度或引脚排列的电缆，以适应您的设置。

（详细资料：VD66GY - 紧凑、高灵敏度的 1.53 MP 彩色全局快门图像传感器 - 意法半导体STMicroelectronics）

三、主要功能和应用 

    VD66GY影像传感器收集前方影像数据，通过STM32N6进行推理任务识别处理辨别出影像画面中的物件类型进行相应功能设计。基于STM32N6主控和VD66GY传感器的高性能特性，我们可以进一步扩展其应用范围和功能：智能工业的异常检测、智能住宅的事件监测、个人医疗保健的身体数据测量、机器人的碰撞检测、汽车环境的感知、个人电子产品和运动设备的开发。这样不仅可以提高现有工业和商业应用的效率和质量，还可以拓展到更广泛的智能技术应用领域，为未来的技术革新奠定坚实的基础。 

    还可以借助STM32N6 的边缘计算和人工智能技术（人员检测、姿态估计、手势特征）提升产品应用服务范围： 

• 各种环境下远距离进行高精度的人员检测：智能门铃、房间占用情况、报警系统。

• 高精度多姿态估计：行为分析、活动监测、跌倒监测。

• 基于手部特征点的精确系统控制：非接触式人机界面、智能电子产业。

►场景应用图

►产品实体图

►展示板照片

►方案方块图

►核心技术优势

STM32N6： • 基于 Arm Cortex -M55 的微控制器，配备 ST神经-ART加速器、H264 编码器、Neo-Chrom 2.5D 图形处理器， 4.2MB连续型静态随机存取存储器用于实时数据处理和多任务处理，专用嵌入式神经处理单元（600 GOPS NPU &3 TOPS/W power consumption），图像处理器ISP（Parallel and MIPI CSI-2 camera module I/F）支持5 Mpixel camera and 30 FPS、坏像素、降采样、黑电平、曝光、去马赛克、列转换、对比度、裁剪、缩小、伽马值、像素打包。 VD66GY ： • 1.5M BSI 传感器(1124x1364）,可采用RGB和RGB-IR两种模式配置、动态范围可达60DB、每个像素尺寸为2.61μm，它们在可见光和近红外区域(940纳米)表现出色。这些传感器在 1124x1364 的分辨率格式下每秒可捕获多达 88 帧图像，并且提出了两种像素矩阵版本:RGB 2x2 核心和 RGB-NIR4x4 核心。Global Shutter CIS适用于机器视觉，在移动间拍照影像不会扭曲利于得到完整图像做判断。

►方案规格

STM32N6规格： 1. Arm 32位Cortex-M55, 3360 CoreMark，频率高达800mhz， 32kbyte ICACHE, 32kbyte DCACHE 2. Arm MVE （M-Profile矢量扩展），helium™技术，TrustZone MPU, NVIC 3. 配备半精度、单精度和双精度浮点运算单元(FPU),支持向量和标量的半精度、单精度和双精度浮点数据类型 4. ST Neural-ART加速器，频率高达1 GHz， 600 Gops， 288 MAC/cycle 5. 用于深度神经网络(DNN)推理功能的专用硬件单元，灵活的专用流处理引擎 6. 4.2 M byte SRAM 7. 128KB 紧密耦合型TCM(同步存储器)RAM(具备纠错功能)，用于存储关键的实时数据;64KB 紧密耦合型TCMRAM(同样具备纠错功能)，用于存储关键的实时程序代码， 8. 128 kbyte TCM（紧耦合内存）RAM， ECC用于关键实时数据+64 kbyte指令TCM RAM， ECC用于关键实时例程 9. Arm TrustZone  和安全的i / o存储器和外设,SESIP 第3级，Arm PSA(平台安全)认证 10. 灵活的生命周期方案，包含 RDP功能和密码保护的调试功能 11. ROM 中的安全启动代码，对客户可更新的“信任根”(uRoT)进行解密和认证，通过硬件专属密钥(HUK)实现数据的安全存储 VD66GY规格： 1. 150万像素传感器(1124x1364)，提供RGB和RGB-NIR两种模式版本可供选择 2. 3D 堆叠式传感器，其 BSI像素尺寸为 2.61 微米x2.61 微米,图像阵列尺寸为 2.9 毫米x3.6 毫米。光学格式为 4 英寸。 3. 尺寸:3.6 毫米x4.3 毫米 4. 全局快门技术 5. 双通道发射器 MIPICSI-2(版权© 2005-2010 MIPI联盟公司 摄像机串行接口2(CSI-2)标准版本 1.0)版本 1.3，每条通道1.5 Gbps 的传输速率 6. 快速模式加 CCI 控制接口 7. 线性动态范围可达 60 分贝 8. 集成式温度传感器 9. 在全分辨率模式下，最高可达每秒 88 帧 10. 8 个可编程的 GPIO 端口，用于控制 LED 输出，这些输出与传感器集成周期同步、脉宽调制控制、主/从式外部帧启动镜像/翻转读出 11. 工作结温:-30 摄氏度至 85 摄氏度