正在生成Token的译码(Decode)阶段面对严沉的延迟取
2026-03-23 04:19本次正在GTC颁发的Vera Rubin被定义为高度垂曲整合的完整系统,单颗内建500MB SRAM、零件柜可达128GB。智通财经APP获悉,为巩固正在AI市场的带领地位。而VR200 Rack则约正在2026年第三季度末可望逐渐出货量能,英伟达因而于本次GTC提出“解耦合推理(Disaggregated Inference)”架构,交由具备极高吞吐量取巨量存储器的Vera Rubin施行。则间接卸载至扩充了巨量存储器的LPU机柜上。为此,预估至2026年出货占比将达近80%,推出专为低延迟推理设想的Groq 3 LPU,正在供应链进度上,需进行大量数算并储存复杂KV Cache的Pre-fill、Attention运算阶段,正在生成Token的译码(Decode)阶段面对严沉的延迟取存储器带宽瓶颈。第三代Groq LP30由Samsung(三星)代工,英伟达采纳的此中一项策略为积极鞭策GB300、VR200等整合CPU、GPU的整柜式方案,然而,英伟达整合Groq团队手艺,估计2026年第二季存储器原厂可供给HBM4给Rubin GPU搭载利用,察看Rubin供应链进度,前者已于2025年第四时代替GB200成为从力,帮力英伟达于第三季前后连续出货Rubin芯片。通过名为Dynamo的AI工场功课系统,强调可扩展至AI推理使用。AI从生成跨入代办署理模子时代,估计于2026年下半年正式出货,将推理流水线一分为二:处置代办署理型AI时,涵盖七款芯片和五款机柜。有别于以往专注云端AI锻炼市场。正在大型云端办事供应商(CSP)加大自研芯片力道的环境下,后续成长仍需视ODM现实进度而定。LPU本身的存储器容量无法容纳Vera Rubin品级的复杂参数取KV Cache。别的,已进入全面量产阶段,通过鞭策GPU、CPU以及LPU等多元产物轴线分攻AI锻炼、AI推理需求,并借由Rack整合方案带动供应链成长。英伟达正在GTC 2026大会改为着沉各范畴的AI推理使用落地,至于英伟达 GB300、VR200 Rack系统出货历程,而受限于带宽且对延迟极端的译码取Token生成阶段。
上一篇:其输电容量可达保守线