
移远通信基于边缘计算模组,实现DeepSeek模型稳定运行
(全球TMT2025年2月13日讯)移远通信基于边缘计算模组SG885G,已成功实现DeepSeek模型的稳定运行,并完成了针对性微调。目前,该模型正在多款智能终端上进行深入测试与优化。DeepSeek在模型架构、蒸馏技术以及强化学习等方面实现了突破性创新,完整版DeepSeek-V3模型采用创新的MoE架构,拥有6,710亿参数,擅长处理复杂任务和高精度场景。同时,DeepSeek-R1版本通过高效蒸馏技术,将大模型的推理能力迁移到更小、更高效的版本中,成为端侧部署的理想选择。

移远通信搭载高通QCS8550平台的边缘计算模组SG885G,成功实现了DeepSeek-R1蒸馏小模型的稳定运行。实测数据显示,其生成Tokens的速度超过每秒40个Tokens,且未来随着性能的不断优化,速度还将进一步提升,为智能终端设备带来更强大的AI能力。此外,在成功实现DeepSeek模型端侧运行的基础上,移远通信还完成了该模型的针对性微调,并应用于自身的大模型解决方案中,为客户提供更精准、更高效的端侧AI服务。
文章评论(0)