AIR-520 LLM服务器:Nvidia四卡加持,助力DeepSeek私有化部署!
DeepSeek-R1的发布让大家度过了一个热闹的春节。DeepSeek用较低的成本,取得了跟OpenAI相同的效果,这也意味我们的客户可以私有化部署与OpenAI能力接近的基座大模型。
本文引用地址:https://www.eepw.com.cn/article/202502/467300.htm研华AIR-520 是一款支持4卡单槽GPU或2卡双槽GPU的桌面级LLM服务器,主要用于推理和微调两个方向。我们已经打包好3个推荐配置,便于大家直接选型。推荐配置如和您的应用有差距,也可灵活调配。
(图:AIR-520 三款配置清单)
近半年来随着AI Agent的广泛使用,大家对LLM服务器的推理能力比较看重,在DeepSeek发布后,我们也使用AIR-520-L70A1 RTX 4000 ADA 4卡版主机,对工业客户最常用的DeepSeek-R1 32B、70B两个模型进行了测试。
系统配置:
DeepSeek-R1 32B 测试:
DeepSeek-R1 70B测试:
通过测试,我们可以看到AIR-520的优异表现。
评论