Mistral AI 发布 Mixtral 8x7B 稀疏专家模型

Mistral AI 发布带有开放权重和Apache 2.0许可的 Mixtral 8x7B，并同步推出 Mixtral 8x7B Instruct。模型总参数量为46.7B，每个 token 使用12.9B参数，官方称其在多数基准上达到或超过 Llama 2 70B 和 GPT3.5，推理速度提升至6x。