新闻中心

EEPW首页 > 嵌入式系统 > 设计应用 > 边缘AI服务器引发新浪潮:从云端到边缘的转型

边缘AI服务器引发新浪潮:从云端到边缘的转型

作者: 时间:2024-09-26 来源:EEPW 收藏

近年来,在AIoT数据量快速成长、硬件效能提升、绿色低碳意识抬头等趋势影响下,边缘AI应用的系统架构也出现改变。随着越来越多企业将AI模型训练由云端转移至边缘端,(Edge AI Server)的市场需求快速扩大。

本文引用地址:https://www.eepw.com.cn/article/202409/463269.htm

过往,企业大多会先在云端进行AI模型训练,再将训练好的模型部署到边缘端,由边缘装置进行模型推论,并定期将终端数据及预测结果传回云端。如今,随着硬件技术更新迭代,边缘装置的运算量能愈来愈强,可以满足AI模型训练的运算需求,再加上AIoT数据量快速成长,大幅增加数据由边缘端传输到云端的成本,致使企业开始思索「在边缘端进行AI模型训练的可行性」。对此,整合软硬体及服务打造完整的解决方案,协助企业资金更有效率地导入AI技术。

1727362592137138.jpg

AI模型训练在云端还是边缘?

嵌入式物联网事业群产品经理郭祐伸建议,企业可以根据AI应用类型与AI模型参数大小、数据量、数据的机密等级等因素,决定是要在云端或边缘端进行AI模型训练。如果AI模型参数较大,边缘端的运算能力不足,导致进行AI模型微调训练所耗费的时间过长,就比较适合放在云端高速运算。另外,若企业用来训练AI模型的数据属于重要机密,便不适合上传到云端,又或者AI模型微调训练的数据太大致使传输至云端的成本过高,就可以通过边缘端设备进行AI数据预处理(Data Mining)或AI微调模型训练(Finetune)。

以生成式AI应用为例,企业除了发展客服机器人来服务客户,也开始结合知识管理系统、机台维修手册等数据用来优化员工作业效率,如:加快资料检索速度、协助新进工程师快速进入工作等。由于内部资料有机密性,通常不适合上传到云端,企业便可在边缘端部署来进行大型语言模型(LLM)微调训练。

另一方面,当企业微调训练生成式AI(GenAI)的大型语言模型(LLM)时,会消耗相当大量的內存(VRAM),若VRAM內存容量不足,将产生无法进行LLM模型微调训练的问题,最终需要再额外添购更多专用显示卡来扩充VRAM容量,对企业而言是高成本的负担。因此,如何降低不断成长的生成式AI模型参数所需的VRAM扩充成本并兼顾数据安全保密性便是生成式AI应用能否快速普及的关键。

硬件、软件、服务,三大面向打造整体解决方案

为满足企业在边缘端进行AI模型训练与推论的需求,除了研发AIR-500系列边缘AI服务器,提供高频高效能的硬件设备,更结合软件与服务,从三大面向打造一站式边缘AI应用解决方案,一次满足企业的各种需求,加速企业导入AI应用。

多种硬件规格,满足多产业的AI应用需求

AIR-500系列是针对边缘端高性能AI推理与特定大小参数AI模型微调训练的应用需求而设计,除了满足工控市场基本要求的系统EMC测试与安规认证,亦提供10年长供货保证。此外,针对AI高速运算时产生的热能,研华特别加强散热设计,确保在环境温度40℃以内稳定运作,避免超过AI加速卡的最高工作温度,同时提供适合应用在被动式散热AI加速卡专用的散热风扇模块,让企业无论采用哪一种AI加速卡,都不必担心会有过热而降频的问题,确保设备运作性能最大化。

郭佑伸产品经理指出,AIR-500系列产品提供510、520及530三种规格。其中AIR-520是研华首度将服务器等级芯片平台导入至边缘系统,它能额外扩充最多4张单槽显卡或2张双槽显卡,具备相当强大的AI运算能力,整合群联“aiDAPTIV+”技术,最高可以支持大型语言模型LLaMA2 70B的地端微调训练,满足企业在边缘端进行AI模型训练的需求。

群联独家专利的AI人工智慧运算方案“aiDAPTIV+”,是通过群联独创整合SSD的AI运算构架,将大型AI模型做结构性拆分,并将模型参数随应用时间序列与SSD协同运行,以达到在有限的GPU与VRAM资源下,最大化可执行的AI模型,能发挥既有硬件构架下的最大效益。

AIR-530可进行大量高速的数据传输,通过NVIDIA SmartNIC芯片可将网络频宽拉高至200 GbE,适合高速数据串流的AI应用,例如:医疗内视镜系统、布建多台监控摄像机的场域等。AIR-510提供丰富的I/O接口,适合需要整合多元装置的AI应用,例如半导体设备的光学检测机、物流业的包裹分检机等。

结合软件与服务,加速企业导入

AI应用软件方面,研华也针对AI应用需求代理相关软件,如:Intel针对模型训练的辅助工具Intel Geti、NVIDIA针对AI算法开发的最佳化服务NVIDIA AI Enterprise,可协助企业打造完整的Edge AI应用环境。

服务方面更是涵盖全方面。首先,研华在全球各地设立的服务中心,可以根据在地客户需求提供服务,如弹性调整设备规格。其次,研华提供完整技术支持,如企业可向研华购买CPU、DRAM、SSD、显卡等周边元件,也可以由研华协助安装Window、Ubuntu等操作系统,让企业收到设备后插电就能使用。再者,研华一直与芯片商紧密合作,可以在第一线提供客户技术顾问服务,如今更成为台湾IPC产业第一家获得NVIDIA AI Enterprise软件平台认证的全球经销商,研华计划培育近200名边缘AI应用专家,期能建立更强大的技术支持,从更多方面协助客户导入AI应用。

展望未来,AIR-500系列产品的发展将依循研华“产业驱动”(Sector-Driven)策略,依照各产业的特殊需求开发相关功能并直接内嵌于产品之中,甚至推出产业专用机,让各行各业都能快速部署AI应用,大步迈向AIoT的新时代。



评论


相关推荐

技术专区

关闭