基于Novatek NT98568 + OmniVision OS04E10实现Preroll方案

联咏 NT98568 是一款高度整合的系统单芯片 (SoC)，专为边缘 IP 摄影机应用设计，适用于 2Mp 至 8Mp 的解决方案。其特点包括卓越的影像品质、低码率、低功耗，以及支援 preroll 和 always-on video 模式，特别适合电池供电的应用场景。

NT98568 整合了双核心 ARM Cortex-A7 CPU、新一代 ISP、H.265/H.264 视讯压缩编解码器、硬体 DLA 模组、图形引擎、视讯处理引擎 (VPE) 和显示控制器。此外，还具备乙太网路、USB 2.0 主机/设备、音讯编解码器、RTC 和 SD/SDIO 3.0 等周边功能，提供高性价比的全方位边缘摄影机解决方案，满足各类智慧应用需求。

在 Pre-Roll 功能方面，NT98568 能够持续将影像缓存到记忆体中，当触发事件发生时，可以保留事件发生前的影像资料。这项功能对于捕捉完整事件场景特别重要，确保不会错过任何关键时刻。搭配 OmniVision OS04E10 感光元件，更可实现优异的低光源表现，为电池供电的智慧门铃和居家安全摄影机提供理想的解决方案。

Sensor 介绍

OmniVision OS04E10 是一款具有 2K2K（2048x2048）分辨率的正方形 CMOS 图像感测器，专为 1:1 长宽比的超广角安防摄影机，如吸顶或鱼眼镜头应用而设计。其独特的数字浮水印功能可防止视讯源被篡改，确保影像的真实性和可靠性。此感测器支援 512p 常开低功耗模式，不仅可即时捕捉快速移动的视讯，还能实现优异的 Pre-roll 视讯录制功能，特别适合需要长时间待机的电池供电设备。

在8051系统下，可以进行512x512分辨率的影片录制，总共20帧（7帧/秒，录制3秒）。当Preroll感测器侦测到物体移动时，会触发'md hits'功能，直接进入fastboot 2.0。在RTOS阶段，所有Preroll帧会被编码成H26x位元流，可于后续在HDAL阶段取得。

系统流程

Preroll流程图

Pre-roll的流程说明如下，系统上电后，会先执行RTOS部分

1. 进入RTOS，启动8051 Preroll功能

2. 8051开始产生压缩后的preroll影像，RTOS进入power-off状态

3. 当sensor侦测到动作后，开始唤醒系统

• 载入Linux

• 进行快速编码

1. 准备RTOS环境，并行以下任务

2. 释放RTOS资源并与Linux SMP同步

4. 同时间Linux部分流程为

1. 开启sensor

2. 进行分辨率调整

3. 等待并跳转至Linux

4. Linux开机

5. 等待RTOS并入Linux SMP

6. 执行application

5. 当侦测的事件处理完成后，可再回到preroll模式等待下个事件发生

执行过程

在开机过程中，系统最初从RTOS启动，当控制台日志停在'notify 8051 shut'时，表示系统已进入preroll模式并正在录制影片。

当感测器侦测到物体移动（在感测器前挥手）并触发'md hits'功能时，系统会转换到RTOS系统。此时，控制台日志会显示'Hello RTOS World! CPU[1]'。随后，当看到日志显示'is_fastboot = 1'时，表示系统已进入Fastboot 2.0模式。

当日志显示'fastboot_version = 2'时，表示这是Fastboot 2.0版本，同时也代表RTOS阶段即将结束。当系统切换到Linux系统时，日志会显示'%%Booting Linux on physical CPU 0x0'。

当Linux开机程序完成后，系统会进入shell界面，显示'root@NVTEVM:~$'提示符号。
接着可以执行preroll AP 'preroll_fastboot 1 0'指令，取得preroll位元流档案'dump_bs_preroll_0.dat'和主要位元流档案'dump_bs_main_0.dat'。

当AP执行时，按下'p'键会让8051进入preroll模式，在此期间main part会关闭电源。当感测器侦测到动作时，系统将重复上述流程。

Q＆A

Q1. 是否支援外部PSRAM？
A：是。

Q2. 系统主频为多少？
A：800 Mhz。

Q3. NT98568可支援多大容量的记忆体？
A：根据型号的不同，有以下规格
      568QC/QD - 1024(Mb)/2048(Mb)
      568QB - 512(Mb)。

Q4. 目前preroll功能仅支援OS04E10吗？ 
A：还有支援 GalaxyCore GC4103。

Q5. preroll模式唤醒后开机需时多久？
A：在lower power模式下需200ms。

►场景应用图

►产品实体图

►展示板照片

►方案方块图

►核心技术优势

1. 提供完整SDK予客户使用 2. Preroll模式可降低功耗，延长待机时间 3. 整合CNN，实现边缘运算

►方案规格

1. 芯片核心 Dual Cortex-A7 2. 内嵌8051 MCU 3. AI运算力是0.5T 4. 电源输入是12V/2A 5. Kernel version：Linux 5.10.168 6. 结合影像和语音编解码器