由英伟达H200 GPU提供支持的Amazon EC2 P5e实例正式可用
(全球TMT2024年9月18日讯)亚马逊云科技宣布由英伟达H200 GPU提供支持的Amazon Elastic Compute Cloud P5e(Amazon EC2 P5e)实例现已正式可用。亚马逊云科技是首个将英伟达H200 GPU用于生产环境的领先云提供商。与基于英伟达H100 GPU的Amazon EC2 P5实例相比,Amazon EC2 P5e实例GPU内存容量提升1.7倍,GPU内存宽带提升1.5倍。Amazon EC2 P5e非常适用于复杂的大型语言模型(LLM)和多模态基础模型(FM)的训练、微调和推理,用于支持最苛刻和计算密集型的生成式AI应用,如问答、代码生成、视频和图像生成、语音识别等。
Amazon EC2 P5e实例提供8个英伟达H200 GPU,具有1128GB高带宽GPU内存,同时提供第三代AMD EPYC处理器,2TB系统内存和30TB本地NVMe存储。Amazon EC2 P5e实例还提供3,200 Gbps的聚合网络带宽并支持GPUDirect RDMA,显著提升客户工作负载的性能、降低成本并简化运营。此外,亚马逊云科技还宣布将推出Amazon EC2 P5en实例,通过将英伟达H200 GPU与定制的第四代英特尔Xeon可扩展处理器相结合支持PCle Gen5,将提供高达四倍的CPU和GPU之间的带宽,降低网络延迟,进一步提高工作负载性能。
文章评论(0)