国内厂商,去搞AI ISP芯片了
最近,有消息称字节在研某款 AI 智能眼镜正在考虑采用恒玄 2800 + 研极微的 ISP 芯片方案(但这不代表是最终方案)。
本文引用地址:https://www.eepw.com.cn/article/202503/468490.htm对于 AI 眼镜来说,SoC 的选择往往决定了产品的体验上限,比如 Meta-Rayban 采用的是高通 AR1 的芯片方案。但实际上,为了满足 AI 智能眼镜拍摄的功能需求,则还需要外挂一块 ISP 芯片。
其实,越来越多的厂商在开卷 ISP 芯片,并且在 AI 的需求下,很多芯片企业开始推出 AI ISP 芯片。
ISP 芯片,开始被重视
ISP 芯片不是一个新鲜事物。
ISP 是 Image Signal Processor 的简称,即图像信号处理器。主要用于对图像传感器采集到的原始图像信号进行处理。
在图像处理这块,大家更熟知的是 CMOS 图像传感器。CIS 芯片功能相当于人类的视网膜,用来捕捉光线。而 ISP,相当于大脑皮层中对应视觉处理的那一部分,用于处理图像。CIS 和 ISP 凑在一起完成视觉感知的任务。
2021 年有一阵手机厂商自研芯片潮,都不约而同的选择了 ISP 芯片。
vivo 在 2021 年 9 月推出了自研独立 ISP 芯片 V1,到目前已经推出了三代 ISP 芯片;小米推出了 ISP 澎湃 C1,与小米 MIX FOLD 折叠屏手机同时发布。
都选择自研 ISP 芯片,正是因为 ISP 对于图像改善的影响非常大。在同等 CMOS 的条件下,好的 ISP 芯片对图像质量的改善空间可达 10%~15%。
ISP 芯片越来越被重视,与 AI 硬件的发展,尤其是 AI 眼镜离不开关系。
需要了解的是,ISP 芯片分为集成和独立两种。集成 ISP 是指将 ISP 集成在 SoC 处理器中,比如高通骁龙系列、英伟达 Tegra 系列处理器内部都集成有 ISP 芯片。
独立 ISP 芯片则是独立于 SoC 处理器而存在的,也就是外挂形式。虽然成本更高,但优势明显。除了运算能力、成像质量更优秀外,因 ISP 带有可编程性,一般的独立 ISP 芯片都是手机商向 ISP 提供商定制的,所以与相机其他组件的契合度更佳,成像也有属于自己的特色。
前文提到 AI 眼镜中,使用最多的是高通 AR1 芯片,其早就已经实现手机级别的 ISP。从已经流出的产品配置信息来看,小米 AI 眼镜也是采用骁龙 AR1 双 ISP 芯片+索尼 IMX681 传感器的组合。
但高通 AR1 芯片的价格还是太高了。现在,厂商在评估 AI 眼镜时,以恒玄为代表的 MCU 外加 MTK 或 ISP 也是一个不错的方案。外挂 ISP 芯片的方案,相比于高通 AR1 芯片具备高性价比,低功耗长续航的特点。
并且,XR Vision Pro 报道,调校 ISP 芯片也可以达到接近于高通 AR1 实现的拍摄效果,该方案的成本是高通 AR1 芯片方案的几分之一,整体 AI 智能眼镜的 BOM 成本可以控制在千元以内,产品零售价可以做到 1500 以内。
影目科技 X 系列和闪极 AI「拍拍镜」AI 眼镜都搭载了紫光展锐 W517 芯片;雷神科技的 AI 眼镜采用了多种技术路线,其中也包括 MCU 级 SoC+ISP 方案等。整体来看,MCU 级 SoC+ISP 方案可能更受到一些新兴厂商青睐。
一位熟悉产业链上下游的投资人透露,预计今年年底恒玄会推出主控芯片加上 ISP 集成的 SoC,这套方案的价格更便宜,功耗也能控制得更好,会比 AR1 更适合用在 AI 眼镜上,华为就在等这套方案。
都有谁在做 ISP 芯片?
带上镜头的 AI 眼镜,需要大量的图片计算,所有这也是 ISP 暴涨的主要原因。
我们细数国内 ISP 企业,各家有各家的看点。
先看海思,海思的芯片实力很强,一般做的是集成 ISP。从麒麟 950 开始,海思的 SoC 芯片中开始集成自研的 ISP 模块。以 Hi3559A 为例,我们可以看一下其 ISP 整体的结构。
3559A 是一个通用 ISP,所以功能很全,如果用 FPGA 去实现这些,估计没有几个能做出来,ISP 的特殊点就是针对不同的镜头、环境、Sensor 等不同去调整需要实现的算法。
在 ISP 芯片方面,因为智能手机对于成像要求越来越高,高通和联发科的 ISP 实力也是很强的。国内有一家企业与联发科关系匪浅,专门做的是 ISP 芯片,那就是星宸科技。
星宸科技的 ISP 芯片广泛应用于智能安防、智能车载、视频对讲等领域,其产品线丰富,涵盖了 IPC SoC(网络摄像机芯片)、NVR SoC(网络视频录像机芯片)以及 USB 视频会议摄像头芯片等。
星宸科技的第一大股东是 SigmaStar,而 SigmaStar 由联发科间接持股 100%。因此,星宸科技的控股股东是联发科。虽然联发科已明确表示不谋求星宸科技的控制权,但是星宸科技的多名管理层及核心技术人员出自联发科系统,例如董事陈恒真、监事蔡秉宪等曾在联发科任职。
现在星宸科技在智能眼镜里的进展也很快,据了解,其智能眼镜芯片 SSC309QL 正与多家品牌客户对接测试,集成了自研的 ISP 4.0 及 NPU,在视觉处理和各类多态大模型的适配上提升比较大。
富瀚微的 ISP 产品主要应用在安防监控、车载摄像头等。CES2025 上发布了智能眼镜芯片 MC6350。其中集成了富瀚微自研的 AI ISP,在暗光下表现不错,解决目前主流智能眼镜产品在暗光下拍摄效果不佳的问题。
当然也有前文提到的恒玄科技,恒玄科技ISP 芯片主要特点是能够与音频处理技术紧密结合,其在研智能眼镜专用 SoC 项目,主打单芯片集成低功耗 ISP 技术。
擅长暗光环境的 AI ISP 兴起
AI ISP 的核心在于,将人工智能算法与 ISP 技术深度融合。
通过集成深度学习、机器学习等 AI 算法,AI ISP 能够实现对图像内容的智能分析和处理,如物体识别、人脸检测、场景分类等。
AI ISP 的市场还是很大的。据市场研究机构预测,全球 ISP 芯片市场销售额将从 2023 年的 6.65 亿美元增长至 2030 年的 10.2 亿美元,年复合增长率达到 6.4%。
目前来看,AI ISP 的应用更多的是在低光成像(AINR)方面。AI ISP 能够实现在信噪比(SNR)上 6~12dB 的显著提升。当同等硬件条件下,AI-ISP 与传统 ISP 的比较显示,AI-ISP 不仅提高了画质性能,而且在成本效益上也表现出巨大的优势。
AI ISP 的结合是有企业走在前面的,华为海思 2021 年就推出了「越影 AI ISP」,把传统 ISP 技术与 AI 深度学习相结合,相比上一代旗舰 ISP,低照场景下的图像信噪比提升了 4 倍。
全志科技在财报中表示,在视觉类应用的低光场景下,为解决低光拍摄和录制问题,研发了全新一代 AI-ISP 降噪算法,配合深度优化的软件,实现 AI 降噪功能的高效运行,并在相同信噪比情况下,实现 2~4 倍感光度提升,同时搭配了人脸检测、人形侦测、人脸识别、人形追踪等检测类和识别算法应用,在客户的产品上实现了量产落地。
全志科技的 AI ISP 技术已经应用于其多款芯片产品中,如高集成视觉 SoC、智慧视觉处理器等。这些产品广泛应用于智能电视、智能安防、智能车载等多个领域,为用户提供高质量的图像处理体验。
国科微新一代 4K AI 视觉处理芯片 GK7606V1 系列,也是搭载的自研 AI ISP。测试结果显示,国科微 AI ISP 技术能够极低照度的黑光场景下,对图像进行全方位的优化和增强,使得图像更加清晰、细腻,色彩更加生动饱和。
爱芯元智此前也公布了其 AI-ISP 技术,并将其命名为「爱芯智眸」。爱芯元智公司的 AI ISP 采用了混合精度、存算一体的架构设计,使得在有限的功耗下仍能达到高算力。与传统图像处理相比,AI ISP 能够实现多种算法并行工作,尤其在去噪、差值和锐化等方面的表现更加自然、问题更少。
飞凌微(思特威子公司)发布的 AIoT 应用系列首款高性能端侧视觉AI SoC 芯片 A1,其中也集成自研的 AI ISP 部分,覆盖 0.3MP 至 8MP 分辨率。其优点在于:高性能暗光降噪和图像增强算法、最多 3 帧 HDR 合成、高分辨率 RGB-IR 图像处理等。
结语
随着人工智能技术的飞速发展,AI ISP 芯片正逐渐成为国内芯片厂商的新焦点。
从华为海思的「越影 AI ISP」到爱芯元智的「爱芯智眸」,再到国科微的 4K AI 视觉处理芯片。AI ISP 芯片在智能手机、安防监控、智能驾驶等领域展现出强大的性能和应用潜力。
虽然当前的 AI-ISP 技术已经实现了显著的进步,不断推高了画质处理的边界,但用户对画质的渴望似乎总是无穷无尽的。特别是在经济因素的影响下,基于卷积网络的 AI-ISP 技术仍未能完全满足所有客户的多样化需求。
特别是那些非技术领域的消费者,他们对 AI 技术抱有更高的期望,希望它能带来质的飞跃和更为显著的画质提升,这也反映了大众对于新技术盛大承诺的渴望和好奇心。
展望未来,AI-ISP 技术发展面临三点潜在的机遇:第一,用户对画质的不断追求,意味着对更高标准的 AI-ISP 解决方案有持续的需求。第二,随着相关技术领域的进步,比如 AR,VR,显示技术,自动驾驶等,将会带来新的画质上限提升需求,促进 AI-ISP 技术的进一步革新。第三,AI-ISP 所引领的技术难度降低和成本的下降,可能为更广泛的应用提供了可能性,从而开拓新的市场和应用场景。
评论