工控虾，工业控制插上大模型的翅膀，工控机部署千问8B大模型

—— OpenClaw 方案：推理过程不依赖云端，在本地完成大模型推理、视觉理解与数据处理 ,代号“本地小龙虾” · 本地推理 · 约 20W 功耗

作者：时间：2026-07-17 来源：

加入技术交流群
- 扫码加入
  和技术大咖面对面交流
  海量资料库查询

一、引言

米尔MEC-B5760工控机部署千问8B大模型，以此为基础构建的OpenClaw本地AI计算方案，正为工业与边缘场景提供一种不依赖云端的高效推理选择。云计算为 AI 应用提供了便捷的算力供给，但数据隐私、网络延迟和服务成本三个问题始终无法回避。将敏感数据上传至云端会带来合规与安全风险，实时推理受网络质量影响，而持续运行的云端推理服务在长周期内也会形成可观成本。对于需要处理敏感数据、需要离线运行，或希望长期控制推理成本的用户来说，本地算力正在重新变得重要。

OpenClaw 正是面向这类需求构建的本地 AI 计算方案。它基于米尔MEC-B5760 工控机，将 Rockchip RK3576 SoC 与 RK1828 算力协处理器结合起来，形成一套面向边缘场景的本地推理平台。方案代号“本地小龙虾”，强调的是小型化、低功耗和功能完整：在不依赖云端推理服务的前提下，完成大语言模型推理、多模态理解、视觉模型推理与本地数据处理等典型 AI 负载。

在 AI 应用逐步进入设备端、产线、园区和本地办公环境的背景下，OpenClaw 的价值在于让开发者和企业可以把数据留在本地，把推理能力部署在边缘，并在功耗和成本可控的条件下获得可用的大模型能力。

二、硬件基础

2.1 主处理器：RK3576

RK3576 采用 8nm 制程，配备四核 Cortex-A72 + 四核 Cortex-A53 的 big.LITTLE CPU 架构，并集成 6 TOPS 算力的 NPU。在本方案中，RK3576 主要承担系统主控和调度角色：

• 系统主控：运行 Linux 操作系统，负责设备管理、应用运行和外设连接。

• 推理调度：运行 OpenClaw 运行时与调度服务，将计算任务通过 PCIe 分发至 RK1828。

• 网络与存储：网络与存储：提供双千兆网口、USB 3.0、PCIe等高速数据通道，为边缘部署提供基础 I/O 能力；板载eMMC存储容量为64GB。

2.2 算力协处理器：RK1828

RK1828 是 OpenClaw 方案中的主要 AI 算力来源。它是一颗独立的算力协处理器，采用 3D RAM 堆叠架构，集成 5GB 片内 DRAM，提供 20 TOPS INT8 算力。RK3576 与 RK1828 通过 PCIe 接口互联，实现系统控制与推理计算的协同分工：RK3576 负责系统管理、任务调度与数据通路，RK1828 负责大模型推理中计算密集的矩阵运算。

需要说明的是，“支持 8B 级模型”指的是在量化模型和合理上下文长度配置下进行本地推理，而不是进行大模型训练或无限上下文推理。

硬件规格参数如下：

项目	规格
SoC 制程	8nm
CPU 架构	4×Cortex-A72 + 4×Cortex-A53
RK3576 集成 NPU	6 TOPS
RK1828 协处理器算力	20 TOPS INT8
RK1828 片内内存	5GB 片内 3D DRAM
互联方式	PCIe 高速接口
模型能力	支持 8B 级量化大模型本地推理
整板功耗	约 20W

三、OpenClaw 软件栈

OpenClaw 软件栈采用分层架构设计，自下而上分为内核与运行时层、计算后端层和用户界面层。各层职责清晰，既方便开发者调用，也便于后续扩展更多模型和后端。

• 内核与运行时层：基于 Linux Kernel 6.x，集成 RKNN Driver、PCIe Driver 与 RK1828 固件，提供硬件抽象、设备通信和运行时支撑。

• 计算后端层：包含 RK3576 NPU、RK1828 算力协处理器以及 A72/A53 CPU 通用计算单元，形成异构计算资源池。传统视觉模型可根据模型类型选择 RK3576 NPU 或 RK1828 后端执行，LLM/VLM 等矩阵计算密集型任务则主要通过 RK1828 加速。

• 用户界面层：提供 OpenClaw CLI、Web Dashboard 与 REST API，方便用户完成模型管理、推理调用和应用集成。

图1. OpenClaw 软件栈架构图

四、应用场景与实测数据

4.1 本地视觉模型推理

我们以 YOLOv8n 为例测试了 OpenClaw 的视觉推理表现，并比较了单核与 8 核配置下的推理时间。结果显示，在当前测试条件下，YOLOv8n 的单核与 8 核推理耗时基本一致，差异处于测量误差范围内。

这一结果并不代表平台缺乏并行能力，而是说明 YOLOv8n 这类轻量模型本身计算量较小，单路推理已经可以较快完成，多核调度、数据搬运与同步开销会抵消并行收益。对于 LLM/VLM 等计算密集型任务，RK1828 多核心并行的优势会更加明显。

图2. YOLOv8n 单核与 8 核推理时间对比

4.2 本地多模态模型推理

我们在 OpenClaw 上运行 MiniCPM-V 4B 多模态大模型进行图片理解测试。该模型在 RK1828 的 8 个核心上并行运行，视觉部分输入图片缩放至 448×448，语言模型词表大小为 73448，EOS Token ID 为 14746。测试包含图片识别效果验证和端到端推理性能测量两部分。

图3. 多模态模型识别示例：测试输入图片（1024×640）

模型对输入图片的识别输出能够较准确地捕捉画面中的主要元素，例如月球表面的宇航员、远处的地球、手中的饮料以及画面整体的幽默感。这说明 MiniCPM-V 4B 在该平台上具备可用的图片理解与描述能力。

多模态推理性能数据如下：

指标	实测值
Prefill 延迟	111.99 ms
Prefill Token 数	82
Prefill tokens/s	732.23
Generate 耗时	1622.07 ms
Generate Token 数	154
Generate tokens/s	94.94
Vision 编码延迟	228.06 ms
Vision FPS	4.38
文本侧推理耗时	约 1.73 s
包含视觉编码的总耗时	约 1.96 s
并行核心数	8 核

图4. MiniCPM-V 4B 运行效果：终端输出与性能数据

从数据可以看出，MiniCPM-V 4B 在 OpenClaw 上实现了较流畅的图片理解体验。Vision 阶段约 228 ms 完成图片编码，生成阶段达到 94.94 tokens/s，能够满足实时图片理解、视觉问答、现场图像描述等边缘场景的需求。

4.3 本地大语言模型推理

OpenClaw 的核心优势在大语言模型推理上体现得更加明显。在 MEC-B5760 上，可以运行量化后的开源大语言模型，例如 Qwen3-1.7B、Qwen3-4B、Qwen3-8B 等。RK3576 负责模型加载、应用运行与推理调度，计算密集的矩阵运算则通过 PCIe 卸载至 RK1828 加速。

图5. Qwen3 系列模型推理速度对比

图6. 推理参数说明

从实测结果看，Qwen3-1.7B、Qwen3-4B 和 Qwen3-8B 在单请求场景下均具备较好的响应速度，可覆盖本地知识问答、文档摘要、代码辅助、设备运维助手等常见应用。

我们还将 Qwen3-4B 模型导入 OpenClaw 进行了实际对话测试，模型可以完成日常问答、文本生成和本地运维指令辅助等任务。

图7. Qwen3-4B 本地对话运行截图

图8. Qwen3-4B 执行 Shell 指令辅助示例

五、核心价值与当前边界

OpenClaw 方案的价值不在于替代数据中心 GPU，而是在成本、功耗、隐私和本地部署之间提供一个更适合边缘场景的平衡点。

价值点	说明
降低长期成本	一次性硬件投入，无需持续承担云端推理调用费用。
保护数据隐私	推理过程在本地完成，数据不出设备，适合敏感行业和离线场景。
低功耗运行	整板功耗约 20W，相比传统 GPU 主机更适合长期边缘部署。
具备真实 AI 推理能力	20 TOPS INT8 算力配合 5GB 片内 DRAM，可支持 8B 级量化大模型本地推理，而不仅限于简单分类或检测。
部署形态灵活	适合边缘网关、本地 AI 助手、工业视觉、离线知识问答等场景。