- 今天,大模型参数已经以「亿」为单位狂飙。仅仅过了两年,大模型所需要的计算能力就增加了 1000 倍,这远远超过了硬件迭代的速度。目前支持 AI 大模型的方案,主流是依靠 GPU 集群。但单芯片 GPU 的瓶颈是很明显的:第一,单芯片的物理尺寸限制了晶体管数量,即便采用先进制程工艺,算力提升也逐渐逼近摩尔定律的极限;第二,多芯片互联时,数据在芯片间传输产生的延迟与带宽损耗,导致整体性能无法随芯片数量线性增长。这就是为什么,面对 GPT-4、文心一言这类万亿参数模型,即使堆叠数千块英伟达 H100,
- 关键字:
晶圆级芯片
晶圆级芯片介绍
您好,目前还没有人创建词条晶圆级芯片!
欢迎您创建该词条,阐述对晶圆级芯片的理解,并与今后在此搜索晶圆级芯片的朋友们分享。
创建词条
关于我们 -
广告服务 -
企业会员服务 -
网站地图 -
联系我们 -
征稿 -
友情链接 -
手机EEPW
Copyright ©2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
《电子产品世界》杂志社 版权所有 北京东晓国际技术信息咨询有限公司

京ICP备12027778号-2 北京市公安局备案:1101082052 京公网安备11010802012473