BYOM实践范例：使用AndesAIRE平台

1   复习：BYOM的涵意

在AI技术快速渗透各行各业的今天，许多企业或研究单位手上都已经有自己训练好的模型，可能来自PyTorch、TensorFlow，或者转换成 ONNX、TFLite等格式。BYOM（自带模型） 的核心精神，就是让开发者不用受限于平台提供的范例或工具链，而是能把自己辛苦训练好的模型，直接带到硬件平台( 如AndesAIRE I370) 上运行，并享受到专用 AI 加速器带来的高效能。因此，BYOM的商业价值如下：

●   模型护照：让你的模型能自由移植到AndesAIRE等，跨平台落地。

●   延续性：保留原有模型的精准度与专业性。

●   灵活性：避免因硬件平台不同而必须重写算法。

●   落地性：结合RISC-V 与AndesAIRE 的低功耗、

高效能优势，适用于医疗、智能语音、智能制造等应用。

2 简介晶心科的AndesAIRE I370平台

晶心科AndesAIRE I370结合了NNPilo（t 模型优化与量化工具）以及 TFLM（TensorFlow Lite for Microcontrollers），提供了一套完整的 BYOM 流程。开发者只要准备好原始模型，透过 NNPilot 就能快速完成剪枝、量化等优化步骤，再转换成能在AndesAIRE 硬件上高效运行的格式。最后生成的Host Code，可以直接嵌入到目标芯片或设备中，真正做到「训练在云端 /本地，推论在芯片」。

●   NNPilot：提供模型优化与量化，帮助模型缩小体积、提升效率。

●   TFLM：将优化后的模型转换成能在AndesAIRE硬件上高效运行的格式。

●   Host Code自动生成：最终得到可直接嵌入芯片的程序代码。

在本文里，将在AndesAIRE平台上实践自带模型（BYOM）流程，它是从模型开发、ONNX导出、API设计、交叉编译，到在RISC-V上部署与推论的完整流程。此流程展示了AndesAIRE I370平台在灵活整合外部模型与支持多元运行环境的优势。

3   BYOM的实践流程：基于AndesAIRE

BYOM就像是一张模型护照。无论模型是来自医疗影像诊断、语音识别，还是智慧机器人，你都能把它带到 AndesAIRE 平台。平台会帮你「翻译」成 RISC-V架构下能运行的指令与程序代码，让你的模型在边缘设备上跑得快、省电、而且更稳定。其详细实践流程如下：

Step-1：开发&训练---使用Python/PyTorch进行建构、训练AI 模型( 例如GAN、RNN等)，然后输出onnx模型档案。

Step-2：初步测试(本地测试)---用Python/ONNXRuntime撰写主程序(myApp.py)，透过ONNX Runtime启动onnx模型，进行推论，完成初步测试( 本地测试)。

Step-3：设计API---实践myApp.py+API+myDriver.cpp。由myDriver.cpp透过ONNX Runtime启动onnx模型，进行推论，完成API测试。

Step-4：RISC-V交叉编译---使用riscv64-unknownlinux-gnu-g++将myDriver.cpp+ONNX Runtime编译成为RISC-V Linux ELF档案。

Step-5：基于Libriscv部署&运行---由myApp.py+API加载ELF→仿真CPU→让ELF启动onnx模型、运行推论，最后把结果反馈给myApp.py主程序。

对于产业界，BYOM代表的是研发成果的延续性与灵活性。企业多年累积下来的模型资产，不需要因为换一个硬件平台就要重写算法。透过BYOM+AndesAIRE，你能保留模型原有的精准度与专业性，并同时获得晶心科在低功耗、高效能AI加速 方面的优势。尤其像医疗、智能语音、智能制造这些应用场景，往往需要高度专属的模型，BYOM就让这些独特的模型能顺利落地在AndesAIRE/AnDLA芯片上，真正把价值发挥到最大。接下来，请观摩BYOM的实践范例：

Step-1：开发模型

撰写Python程序训练AI模型，出onnx档案。程序代码：

Step-2：初步测试( 本地Python初测---x86主机）

撰写程序代码：

此程序执行时，顺利输出正确结果：y=[2, 3, 4]，测试成功。

Step-3：设计RISC-V端的Driver，以C++撰写

此myDriver.cpp以C++撰写，其输&输出都是JSON格式文件。程序代码：

此程序myDriver.cpp，将会在RISC-V内执行，并且用OR加载model.onnx模型。

Step-4：RISC-V交叉编译（Linux 使用者态）

●   基于riscv64 版ORT的include/lib。

●   使用riscv64-unknown-linux-gnu-*（Linux user-mode）。

●   目录是/opt/ort-rv64，内含include/与lib/(libonnxruntime.so)。

此程序执行时，输出：ELF 64-bit LSB executable,RISC-V。并且将myDriver与model.onnx（以及动态链结时的 libonnxruntime.so）放同文件夹。

Step-5：在libriscv上部署&呼叫

●   使用Python主程序orchestration。

●   使用Python呼叫libriscv host CLI，来负责「加载ELF→模拟→转接 stdin/stdout」。

●   接口如下：myAppEX.exe--elf myDriver--cwdpathtodir --stdin “1,2,3”。

●   其会在VM内启动myDriver，将“1,2,3n”输入给stdin，回传stdout(JSON)。

●   程序代码：

此程序执行时，顺利输出正确结果：y=[2, 3, 4]，测试成功。

4   结语：BYOM+BYOS的融合

在上一期， 曾经介绍了BYOS， 接下来就能在AndesAIRE平台上，进行BYOM+BYOS的结合，其不仅解决了「模型可携」问题，还把「语境可携」提升到战略高度。除了引入上期介绍的三层式知识图谱（上游–中游–下游），并与GNN+LLM+RAG结合，构成可追溯、可验证、可持续更新的推理链。强调 反事实推理（Counterfactual Reasoning），这是未来可信 AI和因果推理的重要方向。

这种模式能支持AI主权（Model/Data Sovereignty），对企业与市场都具有吸引力。减少幻觉、可持续演化、私有部署，直接对应当前企业对生成式AI的主要顾虑。亦即，BYOS 让 AI不只是会说话，而是能用你熟悉的语境，做出可信、可验证的专业决策。

（本文来源于《EEPW》202512）