积算科技上线赤兔推理引擎,实现GPU算力需求减半

积算科技上线赤兔推理引擎,实现GPU算力需求减半

(全球TMT2025年7月30日讯)近日,北京积算科技有限公司宣布其算力服务平台上线赤兔推理引擎。积算科技PowerFul-AI应用开发平台与赤兔合作,打造高性价比的模型轻量化部署方案。用户通过远程算力平台预置的模型镜像与AI工具,仅需50%的GPU算力即可解锁大模型推理、企业知识库搭建、智能体开发。

赤兔推理引擎由北京清程极智科技有限公司开发,并联合清华大学团队发布开源版本。其核心价值在于,打破了FP8模型原生部署时GPU必须支持FP8精度的要求。积算科技联合清程极智,完成了赤兔推理引擎在积算科技PowerFul-AI应用开发平台上的验证测试。赤兔推理引擎在积算科技PowerFul-AI平台上满足双方兼容性认证的各项标准,能够快速完成DeepSeek、Qwen等大模型推理部署,并支持基于非FP8精度GPU卡实现FP8模型部署,相比于使用BF16精度部署,GPU算力需求减半。积算科技PowerFul-AI平台携手赤兔推理引擎,将为AI大模型应用开发打造“成本减半、零性能损耗”的解决方案。