【OpenVINO】京东星链-边缘端实时推荐商品

　　在线上商城日趋智能化数字化的发展中，如何推进线下零售场景中的智能化转变？伴随着物联网应用进一步演进，越来越多实际场景要求数据本地存储、隐私保护、低传输时延、低成本，边缘计算技术因此迅猛发展。在2021 EdgeX中国挑战赛中，京东星链团队基于算法和边缘计算技术，推出了边缘端实时推荐商品应用方案，本方案获得OpenVINO开源组件特别奖。

　　本方案能够帮助打造门店数字化智能营销，同时提升用户购物体验和趣味性，丰富门店的商品数量，提高营销转化率。整个方案基于EdgeX API开发平台，并使用开源工具OpenVINO进行视觉图像处理，不仅极大地降低了开发过程的预算成本和时间成本，同时带来高精度的识别率。下面简单介绍本方案使用到的模块和算法。

基于EdgeX API开发边缘推荐系统

　　•采用前后端分离技术开发，前端使用vue，后端使用golang开发。

　　•基于edgeX2.0进行开发。

　　•使用openvino 2021.4.582版本上，进行人脸检测模型，人脸属性模型（人脸特征、年龄、性别、口罩）的开发。检测加处理27ms以内。

　　•开发后台系统配置标签功能，录入SKU，和对应的tag标签，做ElasticSearch搜索和推荐，完成相关流程梳理和设计。

利用OpenVINO部署算法模型

　　模型选择与优化

　　•轻量的人脸检测模型UltraFace

　　•基于ghostnet自研人脸属性模型，实现单模型预测人脸特征、年龄、性别以及口罩，运算效率提高3倍。

　　模型移植与推理

　　•CPU&GPU：i7-7700HQ&HD Graphic 630

　　•模型转换精度：FP32

　　•人脸检测模型推理速度：10ms/张

　　•人脸属性模型推理速度：10ms/张

　　•FP16与FP32速度基本一致

边缘端-商品管理，支持离线推荐

　　在线下门店场景中，店员可以维护相关商品信息：

　　1.为了提高应用响应速度，使用ElasticSearch存储，Skuid，图片信息，价格，商品名称，匹配标签性别，年龄段信息。

　　2.支持商品批量导入，单独增加，删除功能。

　　3.提供本地查询，推荐接口，供前端H5页面进行访问。

　　4.接受算法推送消息，并做更新判断逻辑处理。

隐私协议-授权后采集并推荐

　　根据国家政策提供隐私协议授权：

　　采集人脸信息是为了方便推荐适合的商品信息，提升用户的购物体验。在获得用户的同意下，仅会用作本地实时推荐，不会存储用户的任何信息，不会上报到云端。

本地推荐刷新接口代码

模型推理，metadata设备注册

　　京东星链团队带来的边缘端实时推荐方案，利用物联网、人工智能、计算机视觉等先进技术，在靠近用户侧实现本地识别与云端算法推荐相结合，终端及云端协议适配、工作负载本地整合等功能，有效化解线下零售在数字化转型过程中的困难与挑战，帮助商家充分解决边缘计算及物联网平台的技术难题。