Hugging Face Blog·· 2023-12-11精选AI 评分80
Mistral 发布 Mixtral 8x7B，Hugging Face 全面集成
Welcome Mixtral - a SOTA Mixture of Experts on Hugging Face
AI 导读
Mistral 发布 Mixtral 8x7B，采用 Mixture of Experts 架构，8 个专家模型每个时间步激活 2 个，总参数量约 45B，支持 32k token 上下文，在多数基准上超过 Llama 2 70B 并追平 GPT-3.5，以 Apache 2.0 许可开放。
推荐理由
文章给出 Mixtral 8x7B 的架构说明、基准对比与 Hugging Face 全套集成方式，便于判断开源 MoE 模型的可用性。
来源：Hugging Face Blog · huggingface.co