跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

126条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 121–126 条 · 共 126 条
9月9日周二
  1. Mistral AI66

    Mistral AI 完成 1.7B€ C 轮融资,投后估值达 11.7B€

    Mistral AI 宣布完成 1.7B€ 的 Series C 融资,投后估值为 11.7B€,由半导体设备制造商 ASML Holding NV 领投。DST Global、Andreessen Horowitz、Bpifrance、General Catalyst、Index Ventures、Lightspeed 和 NVIDIA 等现有投资者参与本轮融资。

    推荐理由:这轮融资同时引入 ASML 的战略合作,原文交代了资金规模、估值及其对工业与半导体场景研发的用途。

6月11日周三
  1. Mistral AI81

    Mistral AI 发布 Mistral Compute AI 基础设施服务

    Mistral AI 发布 Mistral Compute,为客户提供从裸金属服务器到全托管 PaaS 的私有集成 AI 基础设施栈,包含 GPU、编排、API、产品和服务。该服务将提供 Mistral AI 的训练套件,并计划以 NVIDIA 参考架构供应 tens of thousands of GPUs,强调数据主权、可持续性和对欧洲法规的适配。

    推荐理由:Mistral Compute将GPU、编排、API及训练服务整合为私有基础设施栈,重点回应数据主权和区域化部署需求。

3月17日周一
9月17日周二
  1. Mistral AI83

    Mistral AI 发布 Mistral Small v24.09 并推出免费 API 层与 Pixtral 12B 图像能力

    Mistral AI 推出 la Plateforme 免费层,全面下调模型 API 价格,并发布 22B 参数的 Mistral Small v24.09。Pixtral 12B 现可在 le Chat 免费使用,支持扫描、分析、搜索和描述图像及知识文件,并采用 Apache 2.0 许可证。

    推荐理由:这次更新同时覆盖免费 API、模型降价、Mistral Small v24.09 和 Pixtral 12B 图像能力,便于比较不同部署与成本选择。

6月5日周三
  1. Mistral AI72

    Mistral AI 在 la Plateforme 推出模型定制服务

    Mistral AI 在 la Plateforme 推出模型定制能力,提供开源的 mistral-finetune SDK、无服务器微调服务和定制训练服务。mistral-finetune 基于 LoRA,托管微调服务目前兼容 Mistral 7B 和 Mistral Small,并支持使用客户专有数据进行定制训练。

    推荐理由:Mistral AI 同时提供开源 SDK、托管服务和定制训练三种入口,覆盖从本地微调到企业专属数据训练的不同需求。

12月11日周一
  1. Mistral AI93

    Mistral AI 发布 Mixtral 8x7B 稀疏专家模型

    Mistral AI 发布带有开放权重和Apache 2.0许可的 Mixtral 8x7B,并同步推出 Mixtral 8x7B Instruct。模型总参数量为46.7B,每个 token 使用12.9B参数,官方称其在多数基准上达到或超过 Llama 2 70B 和 GPT3.5,推理速度提升至6x。

    推荐理由:Mixtral 8x7B同时公开权重与Apache 2.0许可,并用稀疏专家架构控制推理成本,适合比较开放模型的性能与部署取舍。