浪潮信息元脑HC1000实现推理成本首次击破1元/每百万token

浪潮信息元脑HC1000实现推理成本首次击破1元/每百万token

(全球TMT2025年12月25日讯)浪潮信息推出元脑HC1000超扩展AI服务器,将推理成本首次击穿至1元/每百万token。这一突破不仅有望打通智能体产业化落地“最后一公里”的成本障碍,更将重塑AI产业竞争的底层逻辑。

火山引擎最新披露的数据显示,截至今年12月,字节跳动旗下豆包大模型日均token使用量突破50万亿,较去年同期增长超过10倍,相比2024年5月刚推出时的日均调用量增长达417倍;谷歌在10月披露,其各平台每月处理的token用量已达1300万亿,相当于日均43.3万亿,而一年前月均仅为9.7万亿。当使用量达到“百万亿token/月”的量级时,哪怕每百万token成本只下降1美元,也可能带来每月1亿美元的成本差异。

浪潮信息推出的元脑HC1000超扩展AI服务器,基于全新设计的全对称DirectCom极速架构,采用无损超扩展设计,可高效聚合海量本土AI芯片,支持极大推理吞吐量,推理成本首次击破1元/每百万token。DirectCom极速架构,每计算模组配置16颗AIPU,采用直达通信设计,实现超低延迟;计算通信1:1均衡配比,实现全局无阻塞通信;全对称的系统拓扑设计,可以按需配置计算实例,最大化资源利用率。DirectCom架构还保障了计算和通信均衡,推理性能1.75倍提升,单卡MFU最高可提升5.7倍。此外,元脑HC1000通过自适应路由和智能拥塞控制算法,提供数据包级动态负载均衡,实现KV Cache传输和All to All通信流量的智能调度,将KV Cache传输对Prefill、Decode计算实例影响降低5-10倍。