Jiayun's Blog

当所有人都在算 H200/B200/Vera Rubin 的 FP8 TOPS，真正卡住 AI 训练扩张的不是 compute，是内存层级和 chip-to-chip 互联。SanDisk × SK hynix 的 HBF（High Bandwidth Flash）、Samsung × Micron 的 SOCAMM2 LPDDR5X，以及 UCIe / BoW / PCIe 6.0 三家互联标准混战，正在重写 AI 数据中心的 BOM。本文整合 SemiEngineering 2026-05 的 4 篇技术文章，给出一份『内存与互联』视角下的 AI 算力新地图。

2026 年 AI 推理硬件的最大变化不是新一代加速器，而是内存子系统的分叉 —— 高带宽闪存（HBF）抢走静态权重的位置，SOCAMM2 LPDDR5X 抢走低功耗推理的位置，HBM 被夹在中间。这是 GPU 之外，AI 数据中心的第二条隐形战线，决定未来三年每瓦推理 token 数的上限。