来源:
科创板日报
随着 AI 计算对内存需求不断扩大,全球存储技术创新也进入 「加速期」。
据韩国经济日报报道,SK 海力士近日在 IEEE(电气与电子工程师协会) 全球半导体大会上发表论文,提出了一种全新的存储架构。据悉,该架构名为 「H³(hybrid semiconductor structure)」,同时采用了 HBM 和 HBF 两种技术。
在 SK 海力士设计的仿真实验中,H³架构将 HBM 和 HBF 显存并置于 GPU 旁,由 GPU 负责计算。该公司将 8 个 HBM3E 和 8 个 HBF 置于英伟达Blackwell GPU 旁,结果显示,与单独使用 HBM 相比,这种配置可以将每瓦性能提升高达 2.69 倍。

图源:SK 海力士
实验结果显示,H³架构在 AI 推理领域尤其具有优势。推理的核心是键值缓存 (KV cache),它用于临时存储数据,以理解 AI 服务与用户之间交互的流程和 「上下文」。然而,随着 AI 性能的提升,KV 缓存容量不断增长,以至于 HBM 和 GPU 逐渐应接不暇。
因此,HBF 被视作上述架构的核心。与堆叠 DRAM 芯片的 HBM 类似,HBF 通过堆叠 NAND 闪存而制成。被称作 「HBM 之父」 的韩国科学技术院 (KAIST) 教授金正浩类比道,HBM 与 HBF 就好比书房与图书馆。前者容量虽小,但使用起来方便;后者容量更大,但也意味着延迟更高。
通过在 HBF 中存储 KV 缓存,GPU 和 HBM 可以减轻存储 KV 缓存的负担,从而专注于它们在高速计算和创建新数据方面的优势。SK 海力士模拟了 HBF 处理高达 1000 万个令牌的海量键值缓存的场景,结果表明,与仅使用 HBM 的配置相比,该系统处理并发查询的能力提升了高达 18.8 倍。以前需要 32 个 GPU 才能完成的工作负载,现在只需两个 GPU 即可完成。
从产业层面来看,SK 海力士、三星、闪迪等均在推进 HBF 技术研发。SK 海力士计划最早于今年推出 HBF1(第一代产品) 样品,该产品预计采用 16 层 NAND 闪存堆叠而成。三星电子和闪迪则计划最快在 2027 年底或 2028 年初将 HBF 技术应用于英伟达、AMD 和谷歌的实际产品中。
广发证券认为,当前大模型的参数规模已经达到万亿级别,上下文长度普遍超过 128K,HBM 的容量已难以满足 AI 大模型对于内存容量的要求。在研的 HBF 存储容量有望达到现有 HBM 的 8 至 16 倍,有望将 GPU 的存储容量扩展至 4TB,或成为满足 AI 大模型内存容量要求的最佳方案。
东方证券表示,利基存储不仅是存量市场,更是增量市场,AI 需求有望为利基存储打开增量空间。SLC NAND 有望应用于 AI SSD 产品,以高效处理 AI 推理中的数据;SLC NAND 未来也可能应用在 HBF(高带宽闪存) 中。利基存储产能持续被主流存储挤压,涨价有望持续。
(科创板日报)
文章转载自东方财富


