新闻中心

EEPW首页 > 智能计算 > 设计应用 > 打破 AI 内存墙:Majestic Labs 推 128TB 内存服务器 Prometheus

打破 AI 内存墙:Majestic Labs 推 128TB 内存服务器 Prometheus

作者: 时间:2026-06-02 来源:EEPW编译 收藏

内存,可以说是当前制约人工智能大语言模型()性能的最大瓶颈。一篇业内极具影响力的论文指出,大语言模型的词元生成任务本质上受限于内存性能,模型的文本生成速度完全取决于内存的数据读取速率。并且,这一瓶颈的制约力度会随着模型参数量的增大而持续加剧,最终形成阻碍大模型推理性能提升的

针对这一行业难题,AI硬件初创企业Majestic Labs推出了一套直接且全面的解决方案。该公司自研全新AIPrometheus,最大内存容量可达128TB,相较于英伟达旗舰级AI处理机架DGX B300,内存容量提升超60倍。

Majestic Labs联合创始人兼总裁沙·拉比认为,内存容量的跨越式升级将成为公司的核心竞争优势。他坦言,“英伟达打造的横向扩展系统表现十分出色”,但随着大模型持续迭代扩容,这套方案的经济性大幅下降,最终会造成算力过度冗余、内存资源紧缺的结构性失衡问题。

适配大模型需求:以DRAM为核心的全新内存架构

Majestic Labs摒弃行业传统思路,采用全新架构,力求彻底打破“”限制。

英伟达现役AI搭载高速高带宽内存(HBM),主要用于存储大模型权重参数,同时搭配容量更大、速率更低的动态随机存取内存(DRAM),承载大模型运算与系统的各类开销。而Majestic Labs另辟蹊径,采用LPDDR6统一DRAM架构,全面替代传统HBM方案。

拉比解释道,市面上绝大多数内存接口的物理传输距离极短,仅数毫米,这从根本上限制了内存的扩容上限。“HBM的部署空间仅限于计算芯片周边区域,就像固定的海岸线,无法无限拓展扩容。”

为攻克这一痛点,Majestic Labs自研微型铜线专属内存接口,有效传输距离可达1米;同时搭配定制内存聚合芯片,贴合内存模组部署,统一调度整台服务器的内存资源。

拉比表示:“这款聚合芯片作为高速内存接口的终端,可分流拓展出海量通路,对接大量通用DRAM芯片。”依托该架构,设备不仅能够搭载超大容量内存池,整机内存带宽最高可达25.6TB/s。

Ignite AI处理器:专为大模型推理加速

充足的内存资源需要配套专业的AI算力加速芯片,对标英伟达GPU的核心能力。为此,Majestic Labs自研Ignite AI处理器,作为Prometheus服务器的核心算力引擎,单台服务器可搭载12颗Ignite芯片。

Ignite芯片采用单裸片异构架构,集成数据中心级ARM应用内核与RISC-V向量、张量内核,所有内核共享统一内存空间。其中,ARM内核充当片上主控处理器,负责统筹调度AI模型运行;RISC-V内核专职执行大语言模型的核心运算任务。单颗芯片即可完成全流程推理工作,无需跨处理器转接任务,大幅提升运行效率。目前,Majestic Labs尚未公布Prometheus服务器的具体算力参数。

拉比表示,当前主流AI软件框架生态已高度成熟固化,软件适配性同样至关重要。“我们正从硬件、软件全维度优化,最大限度降低客户的落地迁移门槛。”Prometheus服务器原生兼容PyTorch、v以及OpenAI Triton三大主流推理框架,现有适配这些框架的AI模型无需修改代码,可直接部署运行。

Prometheus服务器设计规格与定价策略

该服务器遵循开放计算项目(OCP)标准设计,单个机架最多可部署4台设备,整机架最大功耗120千瓦,采用冷板式液冷方案实现高效散热。同时,服务器采用模块化内存设计,出厂未搭载128TB满配内存的设备,后续可按需扩容升级。

尽管硬件配置大幅升级,Majestic Labs仍计划打造具备价格优势的产品,而舍弃高价HBM、采用低成本DRAM架构,是其实现高性价比的核心关键。Prometheus服务器预计2027年正式出货,官方暂未公布具体售价。

拉比称:“根据不同业务负载测算,客户部署设备的资本开支可降低10至50倍,设备功耗也将实现同等幅度的下降。”


评论


相关推荐

技术专区

关闭