
百度文心大模型4.5系列模型正式开源
(全球TMT2025年6月30日讯)6月30日,百度文心大模型4.5系列模型正式开源,并在国内开源平台GitCode首发上线。现在,全球开发者、企业、研究机构等均可免费在GitCode平台直接访问并下载体验文心大模型4.5开源系列,支持部署、微调等各种不同场景的使用需求。

文心4.5系列开源模型共10款,涵盖了激活参数规模分别为47B和3B的混合专家(MoE)模型(最大的模型总参数量为424B),以及0.3B的稠密参数模型。针对MoE架构,百度提出了一种创新性的多模态异构模型结构,适用于从大语言模型向多模态模型的持续预训练范式,在保持甚至提升文本任务性能的基础上,显著增强多模态理解能力。文心4.5系列模型均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中,模型FLOPs利用率(MFU)达到47%。模型权重按照Apache 2.0协议开源,支持开展学术研究和产业应用。此外,基于飞桨提供开源的产业级开发套件,广泛兼容多种芯片,降低后训练和部署门槛。
文章评论(0)