Mistral AI推出Mixtral 8x7B:一种改变机器学习的SMoE语言模型 效果堪比GPT-3.5
##划重点:1.🚀**创新模型介绍:**MistralAI的研究团队推出了基于SparseMixtureofExperts模型的Mixtral8x7B语言模型,采用开放权重。2.🌐**性能突出:**Mixtral8x7B在多语言数据的预训练中表现优异,与Llama270B和GPT-3.5相比,性能不逊色甚至更好。通过添加MegablocksCUDA内核以实现有效的推理,团队还修改了vLLM项目。