以BYOM促进AI生态繁荣发展

1   前言

在上一期里，介绍了BYOM( 自带模型：Bring Your Own Model) 模式，其吸引各行各业都能携带自己训练的AI模型到指定的硬件平台上运行，这项模式提供上层应用模型的自由纳入，并且维护企业知识的资产和主权。此时，BYOM能将AI模型适配到最优IC芯片，获得最佳运行效能，并且优化模型，提高其推论能力。除了上述的效能提升之外，还能创造出弹性和复用性。在同一个目标运行环境里，随时能替换模型权重与输入数据，来适应企业运营的新需求，或应用于新的业务。所以，BYOM让上层AI应用的企业获得很多益处。

同时，由于BYOM涵盖了从开发到部署的整个流程，让上层AI 模型随需求而更替，又能让底层IC芯片持续创新提高算力，实践AI人员与IC芯片人员之间的流畅协同设计(Co-design)。所以，它对于底层硬件芯片产业也有很大帮助的。如上一期的文章里所述，KG( 知识图谱) 提供知识燃料，BYOM 带来上层模型多样性，也能藉由底层容器化接口支持IC芯片的弹性和复用性，激发芯片的创新和算力提升；这四者的交织协作，强力推动了AI 迈向生态化的康庄大道。简而言之，KG+BYOM 提供可复制的行业专家智能；而容器化 + IC芯片提供可弹性升级的应件算力，两端互惠，促进了双养循环：

●   内容养硬件：行业 KG让BYOM更懂情境，也持续输入新的数据和模型需求，带动IC 芯片( 如SoC)的规格与制程持续升级。

●   硬件养内容：BYOM模式让芯片厂商能在不改外层接口( 如HAL应件抽象层) 的情况下快速推出更多创新，而且芯片创新一上市，就能立即与上层AI 应用配搭，迅速提升商业收益。

这种双养循环，形成真正的生态飞轮，让AI产业生生不息，整个生态无尽繁荣。于是，本期就从生态视野来看BYOM的关键角色。

2   BYOM垂直整合模式

BYOM模式能支持AI产业的<应用层+平台层+芯片层> 的垂直整合，既能快速吸引合作伙伴，又可降低技术风险而促进整体生态发展。在架构方面，BYOM客搭配NN( 神经网络) 模型的隐空间(Latent space) 作为天然容器(Container)，来提供底层硬件( 如SoC芯片)的即插即用(PnP)。于是，三层容器紧密联结，创造高度弹性及复用性，来推动AI 生态的蓬勃发展( 图1)。

图1 基于容器化架构的BYOM

当底层芯片层更改时，它不会影响应用层，能大幅降低AI芯片开发的风险。把IC芯片放入下层容器( 如隐空间)，可以确保芯片底层设计变动的自由度。这创造了AI生态的有机次序(Organic order)：

●   AI技术成熟：KG( 知识图谱)、BYOM、GNN、LLM技术已广泛使用，只需整合与在地化。

●   芯片产业支撑：从芯片设计、制造、封测到系统整合的完整链条，提供算力支撑。

●   容器化架构：容器化标准让知识、模型、芯片彼此协作，让企业可以从小型试点逐步扩张。

于是，BYOM可以让IC设计者主动探索AI 可能性，并不需要等待上层应用市场的发声，就能探索底层芯片设计的创新机会。亦即，IC 设计者可以善用BYOM 打造属于自己的创新沙盒，去驱动AI 生态的无垠边界。

3   以BYOM促进「IC设计驱动AI应用创新」

BYOM模式打开一扇门，让IC设计团队在SoC还未交付制造(Tape-out) 之前，就能与潜在的模型提供者协同设计，提早发现需求，甚至主导需求。这种模式作为 AI+IC 协同设计的桥梁，主动串连应用层与硬件设计层，让IC 设计人员更早期接触ONNX 模型提供者、掌握真实需求，这样的策略在技术与商业层面上都能为IC 设计者带来许多益处。其包括：

A.让芯片设计更有「对准目标的弹性」

●   传统的局限：IC 设计往往面临一个问题——当芯片规格确定了，但上层AI模型却还没决定；或者模型改了，芯片却来不及调整。这常会导致规格猜测性设计、过度设计（功耗、面积浪费）或规格错配，因而让芯片无法充分发挥效能。

●   BYOM的益处：BYOM使用容器来封装，提供标准界面( 如HAL) 描述推理需求（如数据型别、张量维度、内存压力等）。于是IC 设计者可以根据已知的标准模型接口需求来反向优化芯片。由于能明确知道AI模型的推理行为（Inference pattern），芯片的IP模块（如MAC array、NPU block）即可针对常见模型特征而事先进行优化。这样地，BYOM 让模型需求清楚定义，设计不再猜测，能有效对准AI 运算瓶颈。

B.实现IC设计的「通用性 + 专用性」双赢

●   传统的局限：IC芯片厂商常面临两难，若追求通用性，则难以差异化，常导致效能降低。反之，若追求专用化，则难重复使用，会导致风险增高。

●   BYOM的益处：BYOM让模型不锁定平台、芯片不锁定模型，于是上下层解耦合了。只要接口( 如HAL) 一致，就能支持多个模型落地，能充分提升芯片的复用率。并且根据目标应用，调整芯片配置（如内存带宽、NPU size等），达成优化配置，一旦芯片出货后，仍可后续支持新的AI 应用（由于软硬件解耦了）。

于是，同一块芯片可跑瑕疵检测、跑维修预测、跑语音助手。BYOM协助芯片可对接多个模型，拉长芯片生命周期，还支持多产业模块化部署。

C.缩短IC验证与SoC商业周期

●   传统的局限：通常每次都会硬接( 绑定) 上层AI模型，使得「设计—测试—交付」的周期较长。

●   BYOM的益处：一旦支持BYOM模型部署的SoC( 系统单芯片) 架构完成，你不再需要每次都硬接AI模型，而能使用兼容HAL接口的测试模型快速验证。其模型还可仿真实际AI 运算负载（如Memory bandwidth、MAC压力），能减少客制SoC 与模型之间的整合与测试人力。

于是，验证流程可以提前，来预先掌握SoC 在实际应用中的运行效能，快速建立真实测试场景，验证时间缩短，也就能大幅缩短交付周期了。

4 以晶心科的BYOM 平台为例

在上一期里，介绍了高通(Qualcomm) 公司的AI平台。在本期里，就来介绍晶心科公司的AI 平台。例如，晶心科的AndesAIRE I370平台已经提供一套完整的BYOM架构。包括：

●   从PyTorch/TensorFlow模型 → NNPilot优化/ 量化→TFLM转换→交叉编译到RISC-V→在芯片上高效推论。

●   透过这个流程，开发者可以用统一的API和工具链把自己的模型移植到AnDLA芯片，避免因硬件差异而重写算法。

现在，兹以旅行社来比喻晶心科的AI平台。亦即，AndesAIRE SDK如同一家旅行社，其展开AndesBYOM流程，如下述：

Step-1：Andes BYOM( 比喻为：旅行社)，带旅行客人(ONNX) 来饭店。

Step-2：Andes BYOM 从饭店服务台(HAL Superclass)查找到有关的Subclass objects( 出租汽车服务窗口)。

Step-3：Andes BYOM询问这些相关的objects，挑出符合条件( 最适配) 的Target object-1( 旅行车服务窗口)。

Step-4：Andes BYOM从Target object-1取得SoC-1汽车的详细资料。

Step-5：Andes BYOM 展开交叉编译& 量化，生成ELF( 导游人员)。

Step-6：ELF( 导游员) 开着旅行车(SoC-1)，载着客人(ONNX) 去各地观光。

Step-7：客人(ONNX) 采购许多土特产，携带回去给亲朋好友( 企业客户)。

其中，个地区或各行业可以自己定义HAL( 硬件抽象层) 标准接口，协助IC 厂商能持续推出优化芯片并快速验证，模型开发者能更快上架并获得市场回馈( 图-2)。

图2 BYOM+NN隐空间+HAL接口

此架构支持一个改版就有收益、升级就能共赢的生态循环。这即能提升工程效率，以改版即价值来激励创新，是一项设计带动制造的美好商业引擎。例如，经由AndesAIRE I370 + BYOM 流程，透过 HAL 抽象化映射，将ONNX 转换为 Andes BYOM 支持的推论流程，最后产出对应 SoC 架构的 ELF 可执行文件。这样的 ELF 即代表了模型的可部署封装，并且能即插即用，弹性新陈代谢。其流程经过『模型展开 → HAL 映像 → 编译』等步骤，生成可于芯片执行的推论执行文件。其中，ELF档案包含权重常数（Model weights）、运算流程的Runtime呼叫、可能会动态使用NPU, MAC引擎 或Vector DSP。最终被加载到 I370 SoC 上，由 AndesAIRE runtime 启动运行。

5   结语

从IC设计人员的视角 来看，BYOM虽然是一个来自AI开发的概念，但它对IC设计实际上带来了多项关键性说明，特别是在芯片定义、验证与商业价值延伸等面向。这给AI 产业带来有机次序的生态之美：

●   模型升级，可以即插即用。

●   IC芯片换代，不必重写应用。

●   服务部署，也能快速横跨多种硬件。

总之，BYOM展示了一种A 部署的哲学与美学，提供一项新的合作模式，让IC 设计者与模型开发者共构平台，扩大市场与获利来源。

（本文来源于《EEPW》202511）