"); //-->
实验使用的主要环境如下:
开发板 | Horizon Robotics J6E MatrixB |
BPU 架构 | nash-e |
BPU 核心 | Core 0 |
开发环境 | OpenExplorer 3.8.1 GPU Docker |
PyTorch | 2.8.0+cu128 |
horizon-plugin-pytorch | 3.2.4 |
HBDK4 Compiler | 4.9.7 |
部署方式 | x86 端通过 hbm_infer 调用板端 BPU |
各阶段精度如下:
Float PyTorch | 84.40% | 基线 |
Calibration | 84.26% | -0.14pp |
QAT PyTorch | 86.03% | 相对 Float +1.63pp |
QAT BC | 85.91% | 相对 QAT -0.12pp |
Quantized BC | 85.89% | -0.02pp |
J6E HBM | 85.89% | 相对 Quantized BC 0.00pp |
延时测试使用固定输入,预热 100 帧后正式测量 1,000 帧:
x86 UCP 端到端 | 2.133 ms | 2.135 ms | 2.320 ms | 2.503 ms |
gRPC 发送到接收 | 1.765 ms | 1.762 ms | 1.928 ms | 2.130 ms |
板端总处理 | 0.633 ms | 0.616 ms | 0.762 ms | 0.947 ms |
BPU 纯推理 | 0.445 ms | 0.430 ms | 0.491 ms | 0.740 ms |
本次实践的主线如下:
CIFAR-10 数据 ↓训练浮点 MobileNetV2 ↓prepare 量化计算图 ↓HistogramObserver 校准 ↓QAT 微调 ↓
本次使用 CIFAR-10 数据集:
训练集 50,000 张
测试集 10,000 张
共 10 个类别
模型使用的输入预处理为:
rgb_tensor = torch.from_numpy(rgb).permute(0, 3, 1, 2).contiguous()centered_yuv = rgb2centered_yuv(rgb_tensor).to(torch.float32)centered_yuv.div_(128.0)
对应的数据变化是:
RGB uint8 NHWC→ RGB uint8 NCHW→ centered YUV444→ float32 / 128
训练、BC 验证和实板验证必须执行完全相同的预处理。预处理不一致时,模型通常仍能正常运行,但输出精度会明显异常。
这类问题很容易被误判为量化误差或板端计算误差,因此应在部署前固定预处理流程,并在每个验证阶段复用同一份实现。
4. 模型的 QAT 适配实验模型选择 MobileNetV2。它规模适中,同时包含普通卷积、深度可分离卷积和残差连接,适合作为 QAT 入门模型。
4.1 设置目标架构from horizon_plugin_pytorch import set_marchset_march("nash-e")march 必须与目标板卡的 BPU 架构一致。
4.2 添加量化边界self.quant = QuantStub()self.dequant = torch.ao.quantization.DeQuantStub()def forward(self, x): x = self.quant(x) x = self._forward_impl(x) return self.dequant(x)
RuntimeError: Do not support ReLU6(inplace=True).
for module in self.modules(): if isinstance(module, nn.ReLU6): module.inplace = False
在 Horizon QAT 流程中,可以这样理解三个概念:
QConfig = 具体怎样量化Template = 量化配置应用到哪里QConfigSetter = 汇总规则并设置到模型
QConfig 决定 Observer 类型、数据类型、量化粒度和对称方式。例如:
qconfig = QConfig( weight=FakeQuantize.with_args( observer=MinMaxObserver, dtype=qint8, qscheme=torch.per_channel_symmetric, ch_axis=0, ), output=FakeQuantize.with_args( observer=MinMaxObserver, dtype=qint8,
Template 则负责按模块名或输入输出位置匹配量化配置。本次实验使用全局双 INT8 配置,没有加入 INT16 或 FP16 混合精度策略。
根据 Template 计算各位置的最终 QConfig。
将浮点模块替换为 QAT 兼容模块。
插入 Observer 和 FakeQuantize 节点。
检查量化边界、模块执行次数和异常配置。
生成能够在校准、QAT 和验证状态之间切换的模型。
常见状态包括:
执行后应检查 QConfig 变更日志和模型检查报告,确认没有异常配置或非预期量化边界。
6. 浮点训练、校准与 QAT6.1 浮点模型浮点模型使用 Adam 训练 100 个 epoch:
optimizer Adamlearning_rate 0.001weight_decay 0.001batch_size 256epochs 100
最终 Top-1 为:
84.40%
QAT 不应替代正常的浮点训练。更稳妥的做法是先得到精度可用的浮点模型,再使用更小的学习率进行量化微调。
6.2 校准结果如下:
Float Top-1 84.40%Calibration Top-1 84.26%精度变化 -0.14pp
校准阶段不通过梯度更新模型权重,主要作用是收集激活分布并确定量化范围。0.14 个百分点的下降处于可接受范围内,说明当前 INT8 配置可以继续进入 QAT。
6.3 QAT 微调全局量化配置 权重 INT8 + 激活 INT8optimizer SGDlearning_rate 0.0001weight_decay 0.0002epochs 20
最终结果:
QAT Top-1 86.03%相对 Float +1.63pp
QAT 精度高于浮点基线不代表量化天然能够提升模型精度。本次浮点模型在第 100 个 epoch 仍然取得最佳结果,说明训练尚未完全进入平台期。QAT 又增加了 20 个 epoch,同时改变了优化器和训练噪声,因此精度提升更可能来自额外微调和 FakeQuant 带来的正则化效果。
7. 从 QAT 模型导出 BCQAT 模型导出后得到:
mobilenetv2_cifar10_qat.bc
导出过程中曾遇到一个值得记录的问题:文件保存成功后,进程在退出阶段出现原生库段错误。
Segmentation fault (core dumped)
仅凭这条日志无法判断 BC 是否损坏。随后我在一个全新的进程中重新加载 BC,并检查函数数量和输入输出签名:
HBDK4 load 成功function_count 1进程退出码 0
函数签名为:
func @forward(tensor<1x3x32x32xf32> _input_0) -> tensor<1x10xf32> _output_0
因此该 BC 可以继续使用。
这里的经验是:产物已经生成,不等于产物一定有效;进程异常退出,也不等于产物一定损坏。更可靠的方法是在独立进程中重新加载产物并执行结构检查。
8. Quantized BC 与整数 IOQAT BC Top-1 85.91%Quantized BC Top-1 85.89%精度变化 -0.02pp
转换带来的精度变化很小。
func @forward(tensor<1x3x32x32xsi8> _input_0) -> tensor<1x10xsi32> _output_0
march nash-eoptimization 2debug false
编译结果:
compile_exit_code 0compile_elapsed 17.69shbm_size 1,834,704 bytes
生成的 HBM 为:
mobilenetv2_cifar10_nash_e.hbm
编译完成后,建议保存 HBM 的文件大小和 SHA256。这样可以确认实板测试使用的模型是否与编译产物一致。
10. 通过 hbm_infer 部署到 J6Efrom hbm_infer.hbm_rpc_session import HbmRpcSessionsession = HbmRpcSession( host="192.168.0.65", local_hbm_path="mobilenetv2_cifar10_nash_e.hbm", username="root", password=None, remote_root="/tmp/hbm_infer/", with_profile=True, compress_option="NONE", core_id=0,)try: outputs = session(inputs, model_name="forward")finally: session.close_server()
通过 SSH 连接开发板。
部署 HBM、板端服务和运行库。
启动推理服务。
通过 gRPC 发送输入并接收结果。
关闭服务并清理临时文件。
HBM 不需要提前手工复制到开发板。
临时目录不要放在 NFS 上rm: cannot remove ...: Directory not empty
将临时目录改到板端本地文件系统后,问题消失:
/tmp/hbm_infer/
从 HBM 中读取到的输入信息如下:
输入形状 [1, 3, 32, 32]输入类型 DATA_TYPE_S8输入 scale 0.006862768437713385输入 zero 0
应用侧需要按照模型的量化参数将浮点输入转换为 INT8:
q = clamp(round(x / scale + zero_point), -128, 127)
输出信息如下:
输出形状 [1, 10]输出类型 DATA_TYPE_S32量化方式 沿 axis=1 逐通道量化
10 个类别分别使用独立的 scale,因此输出需要逐通道反量化:
logit[c] = (output_int32[c] - zero_point[c]) × scale[c]
正式评测前,可以先用少量样本检查整个链路:
python3 ucp_eval_cifar10.py --max-samples 100
小样本结果只用于确认预处理、输入量化、推理和输出解析是否正常。
在 CIFAR-10 的 10,000 张测试图像上,最终结果为:
samples 10000loss 0.411123HBM Top-1 85.8900%Quantized BC Top-1 85.8900%差值 0.0000ppstatus PASS
HBM 与 Quantized BC 的精度完全一致,说明以下环节在 x86 和实板之间保持一致:
图像预处理
INT8 输入量化
HBM 计算
INT32 输出反量化
Top-1 计算
完整精度测试包含数据读取、图像预处理和输入量化。延时测试使用一份提前完成预处理和量化的固定输入:
预热帧数 100正式测量帧数 1000调用方式 单请求顺序调用输入压缩 NONEBPU Core 0
测试时需要区分几种延时:
专栏文章内容及配图由作者撰写发布,仅供工程师学习之用,如有侵权或者其他违规问题,请联系本站处理。 联系我们
相关推荐
毫米波雷达的电源设计
76-81GHz自动驾驶CMOS RADAR
自动驾驶:车载系统方案中都有哪些奇招?
自动驾驶的现状与未来(节选)
ROSCon2018:ROS 2,自动驾驶汽车和ROS在Windows上的可用性
【汽车报告】自动驾驶汽车有望后年大批量上路
汽车科研用户手册
Mobileye云增强ADAS将于2027年进入Stellantis车型
英伟达与LG集团合建AI工厂
ADI:传感技术助力未来自动驾驶的发展
无人驾驶技术和产业情况调研报告_乾勤科技
详解无人驾驶四个阶段技术特征
关于自动驾驶汽车,你需要了解的事。。。
携手ADI赢得未来
解读XC90上的高逼格科技,为自动驾驶汽车上路暖暖身
解析 GMSL 技术及其在车载摄像系统中的应用
大众汽车集团携手恩智浦,强化战略半导体生态系统
【对比】自动驾驶技术哪家强?谷歌特斯拉大比拼
神经网络解决方案让自动驾驶成为现实
未来汽车与数据安全 谈信息化背后的安全隐忧
打破自动驾驶的障碍
EEPW2017年5月刊(信息通信技术/5G)
Pony.ai携手Uber:欧洲Robotaxi计划直指2000辆以上
樱花互联网正式加入汽车边缘计算联盟 AECC,赋能网联汽车绿色边缘算力生态
特斯拉在 Austin 启动 Cybercab 有限区域乘坐
高通成为宝马集团未来十年数字座舱与驾驶辅助系统的主要计算芯片提供商
加快实现自动驾驶(完整小组讨论)
英飞凌TMR轮速传感器技术解析:从磁阻升级到智能底盘感知
为自动驾驶共同“把舵” ——自动驾驶技术与产业预见研究主题沙龙
白皮书《车载毫米波雷达如何增强先进驾驶辅助系统(ADAS)和自动驾驶》