新款 InFo 封装 UltraScale+ 器件实现紧凑型工业摄像头
采用InFo封装的新款赛灵思Zynq UltraScale+ MPSoC以紧凑型外形尺寸和高计算密度,实现包括定制图像处理、应用专用加速和AI加速,以及工业级生命周期、可靠性、安全性在内的全系列工业性能。
本文引用地址:https://www.eepw.com.cn/article/202106/426414.htm概要
工业市场和医疗市场上的各类视觉应用要求摄像头尺寸、速度、智能度和功耗水平做进一步改进。工业市场还对安全性、扩展温度性能和生命周期提出额外的要求。本白皮书将探讨机器视觉、工厂自动化和机器人技术等应用中的部分此类要求。
赛灵思新款InFO封装Zynq UltraScale+ MPSoC可提供更优秀的单位功耗性能,为紧凑型外形尺寸摄像头提供智能、分辨率和速度,超越以往1080p乃至720p分辨率和30fps的限制。这些新产品可实现包括定制图像处理、应用专用加速和AI加速以及工业级生命周期、可靠性、安全性在内的全系列工业性能。
介绍
工业摄像头制造商一直都面临着设计出更小产品尺寸的挑战。与消费类摄像头解决方案不同,机器视觉摄像头,尤其是工厂自动化摄像头,必须符合严格的成套标准和要求。这些要求主要包括为实现高速生产、高速响应的低光性能与高帧率要求、对透镜和传感器的优异光学品质要求,以及工业应用通行的抗水性要求和其他特定的长期可靠性要求。此外,机器视觉系统也经常支持复杂的工业通信标准,如时间敏感网络 (TSN)、GigE Vision 和 CoaXPress 等。
机器视觉摄像头要求
机器视觉摄像头应用常要求使用比消费类应用更大、性能更高的组件。例如,图像传感器的大小而非像素分辨率,直接与摄像头采集的光量成正比,因此更大的传感器通常可提供更优异的图像质量。然而,高分辨率传感器也会产生更精细的图像,要求更高的帧率,才能加快图像采集速度,进而加快生产线或机器人的运作的速度。这样的速度更快的高分辨率传感器产生高像素数据速率,进一步增加了图像处理流水线的图像处理工作负载。参见图 1。
图1 赛灵思 SmartCamera + 演示平台
除了感测、处理和优化图像,摄像头还必须支持机器视觉摄像头常用的高速接口,如 GigE Vision、USB3 Vision、CoaXPress、Camera Link 和 Camera Link HS 等。也必须在带宽、线缆长度、成本和复杂性之间进行权衡取舍。参见图 2。
图2 摄像头接口标准
与普通消费类产品相比,工业摄像头也必须符合更严格的安全性和可靠性标准。例如,大多数工业摄像头都:
● 提供至少三年质保(不过一般能工作更长时间)
● 能在扩展温度范围下工作(通常 -40 到 +85°C)
● 通过多家工业标准机构的认证,如 ISO、TUV、RoHS 和 CE 等。
此外,工业摄像头用户也越来越多地提出功能安全和网络安全要求,尤其是在这些摄像头构成复杂网络系统的一部分且有人员在系统中工作的时候。
摄像头的光学器件,即透镜系统,也对摄像头的大小有着重大影响。类似于传感器,较大的透镜一般能为摄像头系统采集更多的光。采用更高品质的透镜材料和更复杂的光学设计也能起到这样的作用。选择透镜时需要考虑的其他因素有光圈要求、焦距、具体的透镜安装兼容性、关注的波长以及与选择的图像传感器的匹配度。
这些要求与普通消费类移动电话摄像头差别很大。例如,许多消费者都倾向于每两年更换一次手机,因此使用寿命显著缩短。为将成本控制在手机总物料清单 (BOM) 的可接受百分比内,成本严格受限。尽管智能手机的发展终结了上世纪 90 年代对最小手机的角逐,但我们仍然面临着继续保持手机摄像头(传感器和光学器件)轻薄的压力。
除了成本、尺寸和使用寿命,消费类摄像头的其他要求也不同于工业摄像头。最重要的是能够获取“高画质”图像,至少对普通的手机用户是这种情况。非常有趣的是,这是一个“情人眼里出西施”的领域,因为人眼对构成高画质的因素有特定的偏倚。例如,让摄像头准确地捕获色彩更好,还是让用户的自拍照好看更好?(1)参见表 1。
1.网络研讨会:打破标准 ISP 的界限:赛灵思推出自定义 ISP
表1 典型工业摄像头要求
特性 | 要求 |
传感器与光学器件 | >1/3" |
快门类型 | 全局快门或卷帘快门 |
动态范围 | 高动态范围 |
图像处理 | 应用专用 |
摄像头界面 | GigE Vision、USB Vision、CameraLink、CoaXPress |
附加特性 | 机器学习,灵活应变能力 |
使用寿命 | 3年以上 |
认证 | 多重,含ISO、TUV、RoHS、CE |
工业摄像头技术的新趋势
摄像头在工厂中的典型使用模式是机器视觉摄像头,负责检查在自动化生产线上通过的产品。不过如今的工厂对性能、速度、安全与保障提出了更高的要求。现代工业摄像头必须在不增大尺寸、功耗或成本的情况下满足所有这些功能。机器学习 (ML) 的使用也在愈加广泛,摄像头必须能够部署经过训练的机器学习模型,从而比人工更快、更准确地自动分类、检测或细分对象的特性。摄像头检查食品饮料,帮助机器人选取和叠放包装箱,确保正确地为药物贴上标签,在废弃物管理设施内为循环再利用物料分类。参见图3。
图3 YantraVision 开发的棉花污染分类系统
机器视觉摄像头也正被逐渐用于工厂外的用途。工业摄像头是包裹快递、酒店服务、仓储管理、建筑、农业、清洁和大量其他应用使用的自主移动机器人 (AMR) 的主要实现技术。参见图 4。毋庸置疑,AMR 作为移动系统,对低功耗和尺寸有严格的要求。即使在工厂内,机器视觉摄像头也必须和机器人与工作人员协同运行,才能限制尺寸和功耗。
图4 VineScout 葡萄园监测机器人1
最近的一些创新
类似于消费类摄像头,机器视觉摄像头的分辨率也在不断提升。索尼的高端机器视觉图像传感器现在分辨率达到 2,500 万和 3,100 万像素。佳能正在推出一款 2.5 亿像素的工业图像传感器。在传感器的类型和采集的光数据方面,其他创新也在涌现。常规摄像头采用硅基 CMOS 技术,用红、绿、蓝 (RGB) 像素为可见光成像提供优化。但是在许多应用中,其他类型的传感器能提供更优异、更强大的功能。偏振传感器能“看穿”水和倒影。短波红外 (SWIR) 传感器能检测和透视特定材料,热传感器能采集温度数据而非可见光数据。另外,鉴于 Covid-19 带来的筛查要求,温度测量应用近期备受关注。参见图5。
图 5 可见光与 SWIR 检查的对比(来源:索尼半导体解决方案集团)
如今对摄像头的要求远不止只是将传感器数据处理成可见或可用的图像。机器学习正被越来越多地用于创建智能工厂和 AI 系统。它们经过快速训练后,能够判断产品是否符合质量标准。或者经过再次训练后,能装配新设计的产品。尽管网络摄像头肯定可以使用云基资源存储和分析图像,围绕带宽、安全和时延方面的现实考虑要求在边缘完成图像处理和机器学习,例如在智能 AI 摄像头中。
这不仅需要创新摄像头传感器,也需要创新图像处理流水线。标准的图像信号处理器 (ISP) 通常针对常规的 RGB CMOS 传感器进行优化,尤其是为大批量应用进行优化,比如消费类手机、无人机、平板电脑等。工业应用,正如前文介绍的,代表大量与此不同的用例和技术,虽然存在特定的标准(如 MIPI、GigE Vision 和 PCI Express® 等接口标准等),但摄像头的要求可能大相径庭。
InFO 封装中的 Zynq UltraScale+ MPSoC
像 MPSoC 这样的自适应计算器件尽管通常可提供工业摄像头开发人员赞赏的计算性能和灵活性,但在过去一般采用尺寸较大,有数百个引脚的封装。例如,在他们的初始版本中,Zynq UltraScale+ ZU2CG/EG 和 ZU3CG/EG MPSoC 的最小封装尺寸是 484 引脚、脚距 0.8mm 的 19x19mm 倒装芯片球栅阵列 (BGA)。
图 6 InFO 封装的 Zynq UltraScale+ 器件
ZU2CG/EG 和 ZU3CG/EG MPSoC 现在采用尺寸显著缩小的封装。赛灵思正在借助台积电 (TSMC) 的集成扇出型 (InFO) 封装技术,在不减少 I/O 或影响性能的前提下,大幅缩小封装尺寸到 9.5x16mm。InFO 封装消除了传统芯片规模封装 (CSP) 的衬底,实现更小更薄的高密度互联封装。
在 InFO 封装中,Zynq MPSoC 占用不到一半的电路板空间,而且厚度也显著降低,从 2.41mm 下降到0.644mm。鉴于工业应用要求的某些新外形尺寸,所有尺寸(长、宽、高)都至关重要。ZU2CG/EG 和ZU3CG/EG 的 InFO 封装版本比最初版本尺寸缩小 60%,厚度降低 70%。
类似 InFO 这样的高 DPR(芯片面积与封装面积之比)封装要求缩小球间距,因而需要印刷电路板 (PCB)提供兼容能力。对于使用 InFO 的设计而言,行业通行做法是采用边缘粘结的高密度互联 (HDI) PCB 或围绕封装的板级底部填充。提供的优势极为显著。InFO 在小外形尺寸封装中提供最优秀的热性能,同时通过节省面积和实现出色的计算密度,降低产品的总成本。
此外,赛灵思新提供的 ZU1 选项可进一步缩小封装尺寸并降低功耗。另外,ZU1 也为现有的 ZU2CG/EG和 ZU3CG/EG 器件带来了可移植的封装选项。这意味着设计师既可选择最最大的可扩展性(非 InFO 封装的当前 ZU2CG/EG 和 ZU3CG/EG 设计),又可选择最小的尺寸。参见表 2。
表2 器件资源信息
ZU1CG/EG | ZU2CG/EG | ZU3CG/EG | |
系统逻辑单元 (K) | 81 | 103 | 154 |
总块RAM (Mb) | 3.8 | 5.3 | 7.6 |
DSP 片 | 216 | 240 | 360 |
收发器 | 6Gb/s (4) | 6Gb/s (4) | 6Gb/s (4) |
Arm Cortex-A53 核心 | 2 / 4 | 2 / 4 | 2 / 4 |
双 Arm Cortex-R5F 核心 | 1 | 1 | 1 |
Arm Mali™-400MP2 | 0 / 1 | 0 / 1 | 0 / 1 |
InFO 封装尺寸 (mm) | 9.5x15 | 9.5x16 | 9.5x16 |
作为紧凑型工业产品中 InFO 封装的 Zynq MPSoC 的示例,加拿大里士满的 Lucid Vision Labs 提供一种称为 Triton Edge 的工业机器视觉摄像头。为了满足 29x44x45mm 的尺寸要求,Lucid 的摄像头需要最小巧、最高效的组件。Lucid 的工程师已经设计出一种创新型的柔性-刚性板件架构,能将大量的组件封装在紧凑的 IP67 摄像头外壳中。参见图 7。
图 7 InFO 封装的 Triton Edge 摄像头
Triton Edge 的柔性-刚性板件设计,结合赛灵思 Zynq MPSoC inFO 封装,让 Lucid 能够提供更丰富的摄像头控制与定制化,同时保持摄像头轻便小巧的外形尺寸。OEM 厂商不必依靠摄像头制造商的 SDK,也无需在主机 PC 上开发和运行代码,通过创建含 AI 推断在内的定制 FPGA 图像处理流水线,就能在摄像头上开发自己的 IP。
除了紧凑型摄像头,Zynq MPSoC InFO 封装也理想适用于任何同时需要自适应计算能力和小巧尺寸的应用。这其中包括便携式医疗设备、手持测试设备、军用雷达等。
结论
赛灵思 Zynq UltraScale+ MPSoC 向多种视觉、医疗和工业系统的设备制造商提供出类拔萃的处理和加速性能。采用台积电 InFO 封装微型化 Zynq MPSoC,能进一步帮助工业摄像头制造商拓宽定制图像处理、AI 加速和其他自适应功能的应用面,让它们进入最小巧的摄像头和其他紧凑型工业产品。
鸣谢
以下赛灵思员工是本文作者或为本白皮书提供过宝贵意见:工业视觉领域市场营销经理 Susan Cheng。
修订历史
下表列出了本文档的修订历史。
日期 | 版本 | 修订描述 |
2021 年 3 月 16日 | 1.0 | 赛灵思初始版本。 |
评论