浪潮信息与英特尔联合发布AI通用服务器

浪潮信息与英特尔联合发布AI通用服务器

(全球TMT2024年4月19日讯)4月17日,浪潮信息与英特尔(Intel)联合发布AI通用服务器NF8260G7,在业界首次实现服务器基于通用处理器支持千亿参数大模型的运行,灵活满足基于大模型的AI应用及云计算、数据库等通用场景,为企业大模型应用落地提供更高效的AI通用算力。

AI通用服务器NF8260G7在2U空间支持4颗英特尔至强处理器,具有AMX(高级矩阵扩展)的AI加速功能,内存带宽1200GB/S,全链路UPI总线互连,传输速率高达16GT/s,能够更好满足千亿大模型低延时要求。NF8260G7采用高密度设计,支持16TB大内存容量,并支持12个PCIe5.0扩展,2张高性能AI加速卡,支持Multi-host网络,避免业务跨CPU访问,网络性能提升20%以上,为生成式AI提供更大参数量模型的推理和微调能力。在框架和算法方面,NF8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行开发工具。

浪潮信息与英特尔此前已有多项合作。浪潮信息“源2.0系列基础大模型”和最新的英特尔酷睿Ultra处理器平台完成适配。企业可以在全新的英特尔商用客户端AI PC上,使用AI PC大模型效率工具“YuanChat”快速本地化部署和运行“源2.0”大模型,完成自动编程、商业数据计算、公文写作等任务。浪潮信息还与英特尔联合发布全球首个全液冷冷板服务器参考设计,并面向业界开放。浪潮信息边缘服务器NE5260G7也完成第五代英特尔至强处理器适配,实现平均性能提升21%。