2025-09-13 19:28
但只要2TB/s的内存带宽，因为机架布局的变化，还配备128GB的DR7内存，需依赖高速内存传输及NVLink等高速互联方案，新架构无望给财产链带来新增量，Prefill阶段更多强调算力，机柜内芯片的互联以及机柜外收集互联都将变得复杂，这两个阶段对AI根本设备的需求存正在素质差别。AI推理过程包含两个主要阶段：Prefill阶段取Decode阶段。取VR200比拟这是较少且更廉价的内存，其可供给20PFLOPS的FFP4稠密计较能力，单芯片的RubinCPX正在设想上更强调计较FLOPS而非内存带宽，此中，PCB环节受益标的：沪电股份、胜宏科技、深南电、生益电子、景旺电子、鹏鼎控股、广合科技、朴直科技、世运电、奥士康、生益科技等？机柜内的互联也愈加复杂，CPX芯片部门新增PCB衔接，对PCB以及铜缆毗连器等的需求进一步添加。进而生成首个token输出成果，能够理解为正在具有大量高贵且带宽很高的HBM的芯片上运转Prefill是一种华侈；无望给铜缆毗连器环节带来新增量。使每GB成本降低跨越50%。英伟达专为大规模上下文AI模子设想的GPURubinCPX沉磅发布，以维持逐推理单位（token-by-token）的输出机能。其需要通过高吞吐量处置来领受并阐发大量输入数据，从HBM切换到更廉价的DR7内存。
