IBM提供Mixtral-8x7B模型优化版,将延迟时间最多缩短75%

IBM提供Mixtral-8x7B模型优化版,将延迟时间最多缩短75%

(全球TMT2024年3月11日讯)IBM近日宣布,由Mistral AI公司开发的开源Mixtral-8x7B大型语言模型(LLM)已经可在其watsonx人工智能与数据平台上使用。IBM提供了Mixtral-8x7B的优化版本,与常规模型相比,该版本能够将吞吐量提高50%。这可能可以将时间延迟减少35-75%,从而加快获得洞察的时间,具体取决于批处理量的大小。Mixtral-8x7B的加入扩展了IBM的开放、多模型战略。

IBM_watson_x_social

Mixtral-8x7B结合了稀疏建模与专家混合技术来构建,“稀疏建模”是只查找和使用数据中最重要部分以创建更高效的模型的创新技术;而“专家混合技术”是把擅长并解决不同部分问题的不同模型结合在一起的技术。Mixtral-8x7B模型因其能够快速处理和分析海量数据以提供与上下文相关的见解而广为人知。