跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

103条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 101–103 条 · 共 103 条
9月17日周二
  1. Mistral AI83

    Mistral AI 发布 Mistral Small v24.09 并推出免费 API 层与 Pixtral 12B 图像能力

    Mistral AI 推出 la Plateforme 免费层,全面下调模型 API 价格,并发布 22B 参数的 Mistral Small v24.09。Pixtral 12B 现可在 le Chat 免费使用,支持扫描、分析、搜索和描述图像及知识文件,并采用 Apache 2.0 许可证。

    推荐理由:这次更新同时覆盖免费 API、模型降价、Mistral Small v24.09 和 Pixtral 12B 图像能力,便于比较不同部署与成本选择。

6月5日周三
  1. Mistral AI72

    Mistral AI 在 la Plateforme 推出模型定制服务

    Mistral AI 在 la Plateforme 推出模型定制能力,提供开源的 mistral-finetune SDK、无服务器微调服务和定制训练服务。mistral-finetune 基于 LoRA,托管微调服务目前兼容 Mistral 7B 和 Mistral Small,并支持使用客户专有数据进行定制训练。

    推荐理由:Mistral AI 同时提供开源 SDK、托管服务和定制训练三种入口,覆盖从本地微调到企业专属数据训练的不同需求。

12月11日周一
  1. Mistral AI93

    Mistral AI 发布 Mixtral 8x7B 稀疏专家模型

    Mistral AI 发布带有开放权重和Apache 2.0许可的 Mixtral 8x7B,并同步推出 Mixtral 8x7B Instruct。模型总参数量为46.7B,每个 token 使用12.9B参数,官方称其在多数基准上达到或超过 Llama 2 70B 和 GPT3.5,推理速度提升至6x。

    推荐理由:Mixtral 8x7B同时公开权重与Apache 2.0许可,并用稀疏专家架构控制推理成本,适合比较开放模型的性能与部署取舍。