6颗芯片1500美元,成本占GPU一半,英伟达、AMD抢疯了

zq598cb

时间 2024年5月22日 预览 3

转载:https://new.qq.com/rain/a/20240521A09SLL00

2024-05-22 09:06·腾讯科技·发布于河北

“芯事重重”半导体产业研究策划,本期聚焦HBM内存走红、涨价以及国产自研进展,独家发布腾讯新闻,未经授权,请勿转载。
文 / 腾讯科技特约作者 苏扬
作为一名“AI政治家”,山姆·奥特曼频繁地出现在全球各大科技、经济活动的演讲台,言必称“算力”。
我在《黄仁勋“人肉快递”,掀起900亿美元算力争夺战》中也提到,来源无非两种路径:买和自研。现在,硅谷巨头们基本都是两条腿走路,一边买、一边下场自研,连苹果也被传出和台积电搞了4年的推理芯片项目ACDC(Apple Chip in Data Center)。
主流GPU供应商包括英伟达、AMD、Intel这几家,但每年数百万颗GPU能够生产出来的前提,是上游的供应商能够提供足够的零部件,比如最为关键的HBM存储芯片。
以H200为例,1颗逻辑芯片要搭配6颗HBM存储芯片,到GB200,1颗逻辑芯片要搭配8颗HBM存储芯片,整体需求会在现有的基础上增长30%以上。TrendForce预计2025年GB200的出货量将达到100万颗,单单这一款产品,对HBM存储的需求就将达到800万颗。
01 AI带火HBM
HBM(High Bandwidth Memory),中文翻译过来即高带宽内存,由于这几年的GPU产品大量的采用而火起来(如下图),但实际上它也不算特别新的概念,2013年就被固态技术协会定位行业标准。
主要GPU厂商的主流产品对应的HBM型号,来源:TrendForce
2015年,AMD Radeon R9 Fury X全行业首次应用HBM内存,但由于当时深度学习向量计算需求还没有爆发,且HBM与GPU/CPU封装在一起,相比DDR内存容量还小,作为早期技术成本太高而无法在消费级产品上大规模的应用
高到什么程度呢?AMD RX Vega当时搭载了2颗HBM2内存,BOM成本大概是160美元,单颗成本80美元,数倍于GDDR5 / GDDR5X,TrendForce预估HBM的单价是DDR的5倍,而且HBM的价格随着算力需求的上升也在不断上涨,这个差距还会进一步拉大。
贵,还不得不用,问题在于处理器和内存之间的数据交换存在瓶颈
相比主流的存储方案,HBM的高带宽,在解决数据交换瓶颈上具有天然的优势。根据Embedded整理的数据,16GB的HBM2e每个堆栈的带宽达到460.8GB/s。
架构上,传统方案一般为存算分离架构,处理器是处理器,内存是内存,存储颗粒和逻辑芯片分开,而采用3D堆叠的HBM内存,则通过CoWoS与逻辑芯片封装在一起。
1GB GDDR5和1GB HBM的die size对比,来源:网络
从视觉上来看,CoWoS封装的直接收益就是GPU的尺寸更小,当然HBM内存本身尺寸就很小,同样是1GB存储,GDDR5的尺寸大概在672mm2,而HBM只有35mm2,差距接近20倍。
这种尺寸上的差距,在PCB板上表现的更为明显,比如R9 290X,芯片+内存搭配的PCB板面积达到9900mm2,而采用CoWos封装方案,总面积不到4900mm2,占PCB板的面积少了近一半。
GDDR5与HBM存储性能差异,来源:AMD
基于3D堆叠和CoWoS封装,HBM的显存带宽得到了大幅度的提升,2015年,AMD官方提供了一张HBM和GDDR5对比的PPT(如上图),AMD将HBM称之为“一种不同于GDDR5的内存”,清楚的描述了基于硅通孔(TSV)技术的HBM内存,在位宽、带宽以及工作电压上二者的差异。
一句话简要总结,HBM解决了大量数据计算面临的最核心的带宽问题,同时在尺寸和功耗上比GDDR5也有明显的优势
02 3000美元,HBM成本占一半
单纯说HBM内存价格贵,你可能没有概念,如果将其放在整个GPU的成本里来看,就直观了。
H100的BOM成本预计在3000美元左右,80GB的HBM存储大致1500美元,即18.75美元/GB,核心的逻辑芯片大致300美元左右,SXM模组成本在300美元以下,封装基板和CoWoS大约300美元。
也就是说,存储的总成本占一颗GPU物料成本的一半
目前,主流供应商都加快扩产节奏,SK海力士预计今年产能会翻一倍。三星则最为激进,今年CES上,三星预计全年HBM产能将提升2.4倍,到3月底的MEM大会上,又将这一预期拉高到了2023年的2.9倍,而2026年和2028年,分别将提升至2023年的13.8倍和23.1倍。
SK海力士、三星和美光们拉高HBM的产能应对GPU客户的需求,但今年和明年的现有产能基本都被抢空
去年12月份,韩国媒体披露称英伟达向SK海力士和美光下了13亿美元的订单,而知名硬件网站tomshardware援引这则消息,推算称这笔预算大致在10.8 亿美元到 15.4 亿美元之间,并且是为了保证H200这款产品的HBM供应安全。
按前面的BOM成本,一颗GPU搭配的6颗HBM成本为1500美元,这笔预算也只能
Copyright2023TT球讯科技