浪潮信息Yuan2.0大模型与FastChat框架完成全面适配

浪潮信息Yuan2.0大模型与FastChat框架完成全面适配

(全球TMT2024年2月28日讯)近日,浪潮信息Yuan2.0大模型与FastChat框架完成全面适配,推出“企业快速本地化部署大模型对话平台”方案。该方案主要面向金融、法律、教育等领域,且有数据隐私保护需求的本地化部署场景。全面开放的对话模板功能,用户可基于FastChat平台,快速对不同参数规模的Yuan2.0基础模型进行训练、评估和应用,将Yuan2.0系列基础大模型部署于私有环境,快速部署企业级大模型应用。

值得一提的是,FastChat提供标准API格式(OpenAI标准)的服务,因此,原本采用OpenAI API接口所构建的系列应用,用户无需修改代码,仅需更新API服务的接口地址,即可灵活、丝滑地切换为本地部署的Yuan2.0千亿参数模型。