"); //-->
浮点模型结果正常,但经过模型优化、量化或者编译之后,模型输出开始出现差异,这个差异到底是在哪个阶段引入的?
如果只对比原始 ONNX 和最终 HBM,虽然可以知道最终结果“不一致”,但很难进一步判断问题来自模型优化、PTQ 量化,还是 BC 到 HBM 的编译过程。
J6 PTQ 模型转换过程中会产生多个阶段的模型,例如:
Original ONNX │ ▼Optimized ONNX │ ▼Calibrated ONNX │ ▼PTQ ONNX
目前主要支持两类比较方式:
1. 余弦相似度比较主要用于:
ONNX vs ONNX
ONNX vs HBIR(BC)
HBIR vs HBIR
余弦相似度越接近 1,说明两个 Tensor 的结果越接近。
例如:
+----------------------+----------------------+------------------+| NodeName | TensorName | CosineSimilarity |+----------------------+----------------------+------------------+| Conv_0 | 365 | 0.999978 || Relu_2 | 367 | 0.999976 || MaxPool_3 | 368 | 0.999901 || Conv_4 | 369 | 0.999112 |+----------------------+----------------------+------------------+
因此,它很适合用于观察:
模型从哪个阶段、哪个节点开始产生比较明显的数值变化。
对于:
Quantized BC vs HBM
HBM vs HBM
主要关注的是模型最终输出是否一致。
输出类似:
+------------+-------------+---------------------+--------------+--------------+| OutputName | Consistency | Mismatched Elements | Max Abs Diff | Max Rel Diff |+------------+-------------+---------------------+--------------+--------------+| output | True | 0/1000 (0.00%) | 0.0 | 0.0 |+------------+-------------+---------------------+--------------+--------------+
其中:
因此,可以简单理解为:
ONNX / BC │ └── 更适合逐节点定位误差HBM │ └── 更适合验证最终部署模型输出一致性
hb_verifier \ -m model_a,model_b \ -i input.npy
当前工具支持 ONNX、BC 和 HBM 等模型格式。
常用参数-m, --model | 指定待比较模型 | 支持 .onnx、.bc、.hbm,两个模型使用英文逗号分隔 |
-i, --input | 指定输入数据 | 输入为 .npy;多输入模型可使用逗号分隔多个输入 |
-c, --compare_digits | 设置比较精度 | 指定比较到小数点后多少位,默认 5 位 |
--ip | 指定开发板 IP | HBM 可以指定在真实开发板运行;None 表示使用本地模拟环境 |
-u, --username | 开发板用户名 | 默认 root |
-p, --password | 开发板密码 | 无密码时不需要配置 |
--port | SSH 端口 | 默认 22 |
--version | 查看版本 | 显示当前 hb_verifier 版本 |
-h, --help | 查看帮助 | 建议实际使用时结合当前 OE 版本查看 |
参数定义及模型输入方式可参考工具文档。
输入数据怎么传单输入模型最简单:
-i input.npy
对于多输入模型,可以按照模型输入顺序:
-i image.npy,intrinsic.npy,extrinsic.npy
也可以显式指定输入名称:
-i image:image.npy,intrinsic:intrinsic.npy,extrinsic:extrinsic.npy
-i input.npy \-i runtime_input.npy
例如原始 ONNX 使用的是模型训练侧输入,而 Quantized BC 已经插入了预处理或者 Layout 转换,这时候两边所需要的数据可能并不相同。
需要特别注意:
hb_verifier 使用的输入数据必须和对应模型实际输入要求一致,包括 input name、shape、dtype、layout 以及前处理方式。
下面看几种最常见的用法。
1. ONNX vs ONNXONNX 之间主要用于比较模型转换过程中不同 ONNX 阶段的一致性。
例如比较:
optimized_float_model.onnx ↓calibrated_model.onnx
命令:
hb_verifier \ -m googlenet_optimized_float_model.onnx,googlenet_calibrated_model.onnx \ -i input.npy
工具会对两个模型对应节点的输出计算余弦相似度。
这种方式比较适合观察:
Calibration / Fake Quantization 引入之后,各层数值发生了多大变化。
这也是 PTQ 精度分析中非常常用的一种方式。
例如比较优化后的浮点模型和最终定点 BC:
hb_verifier \ -m googlenet_optimized_float_model.onnx,googlenet_quantized_model.bc \ -i input.npy
hb_verifier \ -m googlenet_original_float_model.onnx,googlenet_quantized_model.bc \ -i input.npy \ -i runtime_input.npy
这种比较非常适合用来观察:
从浮点模型进入最终定点计算以后,量化带来了多大的数值变化。
如果模型转换是通过 PTQ API 或者其它方式进行的,也可能需要直接比较两个 HBIR 模型。
例如:
float_model.bc ↓quantized_model.bc
可以执行:
hb_verifier \ -m googlenet_float_model.bc,googlenet_quantized_model.bc \ -i input.npy \ -i runtime_input.npy
这种方式比较适合 PTQ API 或者模型修改场景。
例如修改了:
输入预处理;
Quantization Config;
部分节点计算精度;
HBIR 图结构;
都可以通过 BC vs BC 检查修改前后的模型是否出现了非预期的数值变化。
这是我认为实际部署中非常值得使用的一种方式。
PTQ 编译完成之后通常会得到:
xxx_quantized_model.bcxxx.hbm
其中:
Quantized BC │ │ compile ▼ HBM
这一步理论上不应该引入额外的数值不一致,因此可以使用:
hb_verifier \ -m googlenet_quantized_model.bc,googlenet.hbm \ -i runtime_input.npy
检查两者最终输出。
如果希望 HBM 在真实 J6 板端执行,可以指定开发板 IP,例如:
hb_verifier \ -m googlenet_quantized_model.bc,googlenet.hbm \ -i runtime_input.npy \ --ip None,192.168.1.10
其中:
None
表示本地模型不使用开发板,
192.168.1.10
使用提醒
如果 HBM 推理时不指定开发板 IP,工具会在本地环境通过 BPU 仿真环境执行 HBM 推理。
本地仿真主要适合快速功能验证,在实际使用中部分环境或版本下可能出现结果波动。因此在做最终模型一致性确认时,更建议指定真实 J6 开发板 IP,让 HBM 在真实板端执行推理,再与 Quantized BC 进行比较。
一个比较实用的用法就是:
比较同一个 HBM 在本地模拟环境和真实开发板上的输出。
例如:
hb_verifier \ -m googlenet.hbm,googlenet.hbm \ -i runtime_input.npy \ --ip None,192.168.1.10
此时:
第一个 HBM │ └── 本地 Simulator第二个 HBM │ └── J6 开发板
然后比较两种执行环境下的最终模型输出。
这种方式非常适合排查:
当前异常究竟来自模型本身,还是 Runtime / 实际执行环境。
最后看一个实际项目中比较常见的场景。
resnet18_original_float_model.onnxresnet18_optimized_float_model.onnxresnet18_calibrated_model.onnxresnet18_ptq_model.onnxresnet18_quantized_model.bcresnet18.hbm
模型部署到 J6 后,发现最终结果和预期存在差异。
这时没必要一开始就直接怀疑 HBM。
首先检查优化前后:
hb_verifier \ -m resnet18_original_float_model.onnx,resnet18_optimized_float_model.onnx \ -i input.npy
然后检查 Calibration 引入后的变化:
hb_verifier \ -m resnet18_optimized_float_model.onnx,resnet18_calibrated_model.onnx \ -i input.npy
这一阶段已经开始模拟量化行为,因此允许产生一定的量化误差。
如果这里已经出现明显的相似度下降,那么问题更可能集中在:
CalibrationQuantization Config量化敏感节点
而不是最终 HBM 编译。
接下来还可以比较:
hb_verifier \ -m resnet18_optimized_float_model.onnx,resnet18_quantized_model.bc \ -i input.npy
进一步观察浮点模型到定点模型之间的逐节点数值变化。
最后再验证 Quantized BC 与最终 HBM:
hb_verifier \ -m resnet18_quantized_model.bc,resnet18.hbm \ -i runtime_input.npy \ --ip None,192.168.1.10
如果结果显示:
Consistency = TrueMismatched Elements = 0Max Abs Diff = 0
那么可以认为:
Quantized BC 编译为 HBM 的过程中没有引入额外的输出一致性问题。
这样原本一个比较模糊的问题:
“为什么 J6 模型结果不对?”
就可以逐步拆成:
Original ONNX │ ▼Optimized ONNX │ ▼Calibrated ONNX │ ▼Quantized BC
给两个模型、准备好对应输入,然后通过余弦相似度或最终输出一致性比较,验证 J6 模型转换链路中不同阶段的计算结果是否符合预期。
本文部分内容参考地平线官方文档:
地平线 OpenExplorer 官方文档
专栏文章内容及配图由作者撰写发布,仅供工程师学习之用,如有侵权或者其他违规问题,请联系本站处理。 联系我们
相关推荐
加快实现自动驾驶(完整小组讨论)
毫米波雷达的电源设计
汽车科研用户手册
自动驾驶:车载系统方案中都有哪些奇招?
详解无人驾驶四个阶段技术特征
未来汽车与数据安全 谈信息化背后的安全隐忧
打破自动驾驶的障碍
Mobileye云增强ADAS将于2027年进入Stellantis车型
解析 GMSL 技术及其在车载摄像系统中的应用
NVIDIA 扩大 Nemotron 家族:1200 亿参数的 Super VL 与能塞进 24GB 的 Bolt
【汽车报告】自动驾驶汽车有望后年大批量上路
【对比】自动驾驶技术哪家强?谷歌特斯拉大比拼
解读XC90上的高逼格科技,为自动驾驶汽车上路暖暖身
特斯拉在 Austin 启动 Cybercab 有限区域乘坐
自动驾驶的现状与未来(节选)
高通成为宝马集团未来十年数字座舱与驾驶辅助系统的主要计算芯片提供商
为自动驾驶共同“把舵” ——自动驾驶技术与产业预见研究主题沙龙
Pony.ai携手Uber:欧洲Robotaxi计划直指2000辆以上
英飞凌TMR轮速传感器技术解析:从磁阻升级到智能底盘感知
樱花互联网正式加入汽车边缘计算联盟 AECC,赋能网联汽车绿色边缘算力生态
神经网络解决方案让自动驾驶成为现实
ADI:传感技术助力未来自动驾驶的发展
76-81GHz自动驾驶CMOS RADAR
ROSCon2018:ROS 2,自动驾驶汽车和ROS在Windows上的可用性
英伟达与LG集团合建AI工厂
EEPW2017年5月刊(信息通信技术/5G)
关于自动驾驶汽车,你需要了解的事。。。
携手ADI赢得未来
无人驾驶技术和产业情况调研报告_乾勤科技
白皮书《车载毫米波雷达如何增强先进驾驶辅助系统(ADAS)和自动驾驶》