Supermicro携手IBM与NVIDIA推出KV Cache存储解决方案
(全球TMT 2026年11月07日讯)Supermicro, Inc.宣布与IBM和NVIDIA合作推出KV cache存储解决方案。该联合解决方案集成了采用 AMD EPYC 9005 系列处理器(Turin)的 Supermicro Petascale 全闪存存储服务器、IBM Storage Scale 软件,以及 NVIDIA Dynamo 推理框架软件和 Spectrum-X 以太网网络。

联合测试显示,在提示输入长度为13万个词元时,持久化KV cache可使首个词元生成时间(TTFT)比未使用cache时快达56倍;输入长度从3万增至13万个词元时,使用KV cache的系统TTFT仅增加0.377秒,未使用者增加29.55秒。方案支持GPU利用率提升、推理吞吐量提高及无中断扩展KV cache容量。
Supermicro提供工厂机架集成及现场部署服务,可将该解决方案部署时间从数周缩短至数天。

文章评论(0)