跳到正文

部署工程

把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。

142条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 141–142 条 · 共 142 条
6月5日周三
  1. Mistral AI72

    Mistral AI 在 la Plateforme 推出模型定制服务

    Mistral AI 在 la Plateforme 推出模型定制能力，提供开源的 mistral-finetune SDK、无服务器微调服务和定制训练服务。mistral-finetune 基于 LoRA，托管微调服务目前兼容 Mistral 7B 和 Mistral Small，并支持使用客户专有数据进行定制训练。

    推荐理由：Mistral AI 同时提供开源 SDK、托管服务和定制训练三种入口，覆盖从本地微调到企业专属数据训练的不同需求。

12月11日周一
  1. Mistral AI93

    Mistral AI 发布 Mixtral 8x7B 稀疏专家模型

    Mistral AI 发布带有开放权重和Apache 2.0许可的 Mixtral 8x7B，并同步推出 Mixtral 8x7B Instruct。模型总参数量为46.7B，每个 token 使用12.9B参数，官方称其在多数基准上达到或超过 Llama 2 70B 和 GPT3.5，推理速度提升至6x。

    推荐理由：Mixtral 8x7B同时公开权重与Apache 2.0许可，并用稀疏专家架构控制推理成本，适合比较开放模型的性能与部署取舍。