亚马逊云科技现已提供Meta新一代Llama模型

亚马逊云科技现已提供Meta新一代Llama模型

(全球TMT2024年7月24日讯)亚马逊云科技宣布,Meta刚刚发布的新一代Llama模型现已在Amazon Bedrock和Amazon SageMaker中提供。客户也可以在基于Amazon Trainium和Amazon Inferentia自研芯片的Amazon Elastic Cloud Compute (Amazon EC2)实例中部署这些模型。

Llama 3.1模型是一系列预训练和指令微调的大语言模型(LLMs),支持8B、70B和405B三种尺寸,适用于广泛的使用场景。Meta表示,Llama 3.1 405B是目前最优秀和最大的开源基础模型之一,为生成式AI能力设立了新标准。它特别适用于合成数据生成和模型蒸馏,这能在后续训练中提升较小尺寸Llama模型的性能。Llama 3.1 405B还在通用知识、数学、工具使用和多语言翻译方面有出色的表现。新的Llama 3.1模型支持128K的上下文长度,相较于Llama 3增加了12万个标记(Token),模型容量是上一版本的16倍,并提升了在八种语言对话场景中的推理能力。