"); //-->
在 Horizon J6 Open Explorer 工具链中部署 YOLOv8s 时,最初采用 Ultralytics 标准导出的 ONNX 模型。
标准 YOLOv8 ONNX 的输出通常为:
output0: [1, 84, 8400]
其中:
84 = 4 个边框坐标 + 80 个类别分数
该输出已经在 ONNX 图内完成了:
Detect Head 卷积→ DFL reshape→ DFL Softmax→ 16 个离散 bin 加权求期望→ anchor point 解码→ stride 缩放→ 分类 Sigmoid→ 输出拼接
使用 Horizon 工具链对该完整模型进行 INT8 量化后,检测精度出现严重下降。
在同一批 COCO val2017 前 50 张图片、相同预处理和相同评测逻辑下,原完整输出 YOLOv8s 的结果为:
Optimized Float | 0.537 | 0.696 |
INT8 Calibrated | 0.107 | 0.216 |
INT8 PTQ | 约 0.116 | 约 0.230 |
INT16 Calibrated | 0.532 | 0.689 |
INT16 PTQ | 0.532 | 0.686 |
可以看到:
Float → INT8:mAP50-95 下降约 0.430Float → INT16:mAP50-95 仅下降约 0.005
该现象说明模型并不是不能量化,而是对 INT8 位宽非常敏感。
最开始主要怀疑以下问题:
RGB 和 BGR 顺序不一致;
输入是否重复除以 255;
校准数据范围是否错误;
NCHW 和 NHWC 布局不一致;
LetterBox 预处理不一致;
COCO 类别编号或坐标恢复错误;
ONNX 导出本身存在问题;
Horizon 图优化阶段改变模型计算结果;
校准图片数量不足;
INT8 对 YOLOv8 检测头不友好。
经过多轮对照后,前面的大部分原因都被排除。
校准数据采用:
shape: [3, 640, 640]dtype: float32layout: NCHW颜色顺序: RGB数据范围: 0~1
YAML 中运行时输入配置为:
input_type_train: rgbinput_type_rt: nv12input_layout_train: NCHWscale_value: '0.003921568627451'
这里并不是重复除以 255:
校准数据已经是 ONNX 输入域的 float32,范围为 0~1;
板端 NV12 输入仍然是 uint8,范围为 0~255;
更关键的是,同一套校准数据下,INT16 模型可以恢复到接近浮点精度。
如果 RGB/BGR、输入范围或校准数据存在严重错误,INT16 通常也不会恢复到:
mAP50-95 = 0.532
因此,主要问题不在输入预处理和校准数据。
问题的核心在于:
5.1 DFL 对 INT8 量化误差敏感Ultralytics 标准导出的 YOLOv8 ONNX 将 DFL、Softmax、Sigmoid 和边框解码全部包含在模型图中,Horizon 对整个检测图执行 INT8 量化时,这些数值敏感运算也进入了量化范围。
YOLOv8 的边框回归不是直接预测四个边框坐标,而是为每个方向预测 16 个离散值:
left → 16 个 logitstop → 16 个 logitsright → 16 个 logitsbottom → 16 个 logits
随后执行:
logits→ Softmax→ 与 0~15 加权求和→ 得到 left、top、right、bottom 距离
INT8 量化会对 logits 进行缩放、截断和取整。
即使单个 logits 的误差较小,也可能改变 16 个 bin 之间的相对关系。误差经过 Softmax 和加权求期望后,会转化为边框距离误差。
5.2 stride 会进一步放大边框误差DFL 得到的距离还会乘以不同特征层的 stride:
P3 stride = 8P4 stride = 16P5 stride = 32
例如某个方向的 DFL 距离只偏差 0.2 个网格,在 P5 上就可能产生:
0.2 × 32 = 6.4 像素
四个方向都可能存在偏差,最终导致边框 IoU 明显下降。
5.3 mAP50-95 比 mAP50 下降更多在 YOLOv8x 的对照实验中,完整输出 INT8 的结果表现为:
mAP50-95 下降明显mAP50 下降相对较少
这说明模型仍然能够找到目标,但边框定位变得不够准确。
目标在 IoU=0.5 时可能仍然匹配,但在 IoU=0.75、0.85 或 0.95 等高阈值下无法匹配,因此 mAP50-95 下降更明显。
这与 DFL 和坐标解码误差的表现高度一致。
为避免将敏感后处理纳入 INT8 量化图,重新导出了 YOLOv8s Raw6 ONNX。
模型固定输出六路原始特征:
p3_box: [1, 64, 80, 80]p3_cls: [1, 80, 80, 80]p4_box: [1, 64, 40, 40]p4_cls: [1, 80, 40, 40]p5_box: [1, 64, 20, 20]p5_cls: [1, 80, 20, 20]
其中:
64 = 4 × reg_maxreg_max = 16num_classes = 80
新的部署边界为:
BPU / INT8 模型:Backbone→ Neck→ Detect Head box/cls 卷积→ 输出六路原始特征CPU / Float32:DFL Softmax→ 距离加权→ anchor point 解码
CPU 后处理实现包括:
六路输出顺序检查;
NCHW/NHWC 输出适配;
DFL Softmax;
16 个 bin 的距离期望;
三尺度 anchor point 解码;
分类 Sigmoid;
class-aware NMS;
原图坐标恢复;
COCO 评测结果格式转换。
在相同的 COCO val2017 前 50 张图片上,Raw6 得到以下结果:
Raw6 Original Float | 0.537 | 0.696 |
Raw6 Optimized Float | 0.537 | 0.696 |
Raw6 INT8 Calibrated | 0.529 | 0.685 |
Raw6 INT8 PTQ | 0.529 | 0.685 |
完整输出模型与 Raw6 模型的对比如下:
完整输出 [1,84,8400] | Float | 0.537 | 0.696 |
完整输出 [1,84,8400] | INT8 Calibrated | 0.107 | 0.216 |
Raw6 六路输出 | Float | 0.537 | 0.696 |
Raw6 六路输出 | INT8 Calibrated | 0.529 | 0.685 |
Raw6 Original Float 的结果为:
mAP50-95 = 0.537mAP50 = 0.696
与原完整输出浮点模型完全一致。
这证明以下实现均正确:
六路输出顺序;
DFL channel reshape;
DFL Softmax;
bin 加权求期望;
stride 配置;
分类 Sigmoid;
class-aware NMS;
LetterBox 坐标恢复;
COCO 类别编号映射;
评测代码接口。
Raw6 Original Float 与 Optimized Float 完全一致:
Original Float = 0.537 / 0.696Optimized Float = 0.537 / 0.696
因此 Horizon 的普通 ONNX 图优化阶段没有破坏模型计算结果。
8.3 Raw6 INT8 量化损失很小Raw6 从浮点到 INT8:
mAP50-95:0.537 → 0.529,下降 0.008mAP50: 0.696 → 0.685,下降 0.011
该下降幅度较小,属于正常的 INT8 PTQ 精度损失。
8.4 检测头卷积本身不是主要问题Raw6 模型中仍然被量化的部分包括:
BackboneNeckP3/P4/P5 box 分支卷积P3/P4/P5 cls 分支卷积
但最终精度只下降 0.008。
因此可以判断:
YOLOv8 的 Detect Head 卷积本身并不是导致精度崩溃的主要原因。
真正的严重掉点发生在原始 box/cls logits 之后,即:
DFL Softmax距离期望anchor point 解码stride 缩放分类 Sigmoid输出拼接
对比:
完整输出 INT16:mAP50-95 = 0.532mAP50 = 0.689Raw6 INT8:mAP50-95 = 0.529mAP50 = 0.685
二者仅相差:
mAP50-95:0.003mAP50: 0.004
说明通过重新划分模型部署边界,Raw6 INT8 基本达到了完整模型 INT16 的精度,同时保留了大部分卷积算子的 INT8 执行效率。
本次精度问题不是由以下因素导致:
ONNX 模型导出错误;
Horizon 图优化错误;
RGB/BGR 配置错误;
输入重复除以 255;
校准数据格式错误;
COCO 标注或类别编号错误;
LetterBox 和 NMS 整体实现错误;
YOLOv8 Detect Head 卷积完全不支持 INT8。
真正的原因是:
标准 YOLOv8 ONNX 将 DFL、Softmax、Sigmoid、anchor point 解码和坐标计算放在模型图内。Horizon J6 对完整检测图执行 INT8 PTQ 时,这些数值敏感操作受到量化误差影响,微小的 logits 误差经过 DFL、距离期望和 stride 解码后被放大,导致边框定位偏移和 IoU 下降,最终造成 mAP50-95 严重下降。
将模型改为 Raw6 六路原始输出,并在 CPU 使用 float32 完成 DFL、Sigmoid、解码和 NMS 后:
完整输出 INT8 mAP50-95:0.107Raw6 INT8 mAP50-95: 0.529浮点基准 mAP50-95: 0.537
因此,Raw6 方案已经验证为当前 Horizon J6 工具链上部署 YOLOv8 INT8 的有效方案。
对于 Horizon J6 上的 YOLOv8 INT8 部署,建议 ONNX 保留:
BackboneNeckDetect Head box/cls 卷积
建议从 ONNX 中移出:
DFL Softmax距离加权anchor 解码stride 缩放分类 SigmoidNMS
推荐输出形式:
P3 box + P3 clsP4 box + P4 clsP5 box + P5 cls
不建议直接使用标准 Ultralytics 最终输出:
[1, 84, 8400]
但这不是所有硬件平台的统一限制。
在 GPU、TensorRT、FP16、混合精度或对相关算子量化支持较好的平台上,完整输出模型仍然可能正常工作。
该结论仅针对:
Horizon J6Open Explorer 3.8.1YOLOv8全 INT8 PTQ
这一具体部署环境。
专栏文章内容及配图由作者撰写发布,仅供工程师学习之用,如有侵权或者其他违规问题,请联系本站处理。 联系我们
相关推荐
利用元学习保持无人机飞行控制系统在正确的轨道上
寻找能采集和量化语音的芯片
抖音背后的算法推荐逻辑
加密算法之MD5算法
vxwokrs下静态图像压缩算法(上)
用英特尔® 酷睿™ Ultra及OpenVINO™ GenAI本地部署DeepSeek-R1
三量化电平正弦发生器
数字PID控制及其改进算法的应用
计算机科学与技术反思录(2)
[转帖]us/os就绪表的维护算法分析
理解并控制数字马达控制系统的量化误差
数字PID控制算法之一
求FSK信号的解调算法,主要是铁路上的移频信号!
目标跟踪算法在红外热成像跟踪技术上的应用
使用 OpenVINO™ 和哪吒开发板部署 DeepSeek
基于算法的工程助手:AI重塑零件采购
SENSOR CHINA 2026:感知新十年,在万亿赛道中寻找产业底座
基于LPC2138的血压测量算法开发平台电路图
CRC算法原理及C语言实现
自动驾驶:新算法公平分配风险
无人机飞控的PID算法
PID算法
恩智浦半导体推出云端 AI 开发工具,简化智能体 AI 开发
简单实用的单片机CRC 快速算法
ADC ASPECTS 1 - 量化
面向算法硬件加速的FPGA实现方法