元脑企智一体机已率先完成对Kimi K2万亿参数大模型的适配支持

元脑企智一体机已率先完成对Kimi K2万亿参数大模型的适配支持

(全球TMT2025年7月21日讯)浪潮信息宣布元脑企智一体机已率先完成对Kimi K2万亿参数大模型的适配支持,并实现单用户70 tokens/s的流畅输出速度。Kimi K2是月之暗面推出的开源万亿参数大模型,创新使用了MuonClip优化器进行训练,大幅提升了模型的学习效率。Kimi K2的模型总参数量达1万亿,激活参数为320亿。K2模型1万亿的参数量对AI计算系统提出至少1TB的显存容量需求,384个路由专家所带来的专家负载不均衡性对推理速度有很大影响。

元脑企智一体机采用元脑服务器NF5688G7作为算力底座,其搭载FP8计算引擎,配备1128GB HBM3e高速显存,单台服务器即可支持K2万亿参数全量模型部署,为Kimi K2提供了专家间高速并行通信,最大化并行效率。浪潮信息已完成元脑企智一体机对K2的适配,支持64K上下文长度和多路用户实时并发访问。