跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 81–89 条 · 共 89 条
11月12日周三
  1. Google Research71

    Google Research 发布 JAX-Privacy 1.0,支持大规模差分隐私机器学习

    Google Research 发布 JAX-Privacy 1.0,这是基于 JAX 构建的差分隐私模型训练与审计工具包,支持 DP-SGD、DP-FTRL 和 DP 矩阵分解等算法。该版本面向多加速器和大规模模型训练,提供微批处理、填充、隐私损失审计及 Gemma 系列模型微调示例,并通过 GitHub 和 PIP 开源。

    推荐理由:JAX-Privacy 1.0 将差分隐私训练、并行扩展和审计组件整合到 JAX 生态,降低大规模隐私保护机器学习的实现门槛。

11月5日周三
  1. Google Research81

    Google Research探索基于太空的可扩展AI基础设施系统设计

    Google Research发布Project Suncatcher早期研究,提出由太阳能卫星、Google TPU和自由空间光链路组成的可扩展太空AI基础设施。研究讨论了卫星间达到数十Tbps通信、紧密编队控制和TPU耐辐射等挑战,并报告单组收发器已实现800 Gbps单向传输。Google计划与Planet合作,于2027年初发射两颗原型卫星进行验证。

    推荐理由:Google Research将卫星编队、光通信、轨道动力学与TPU耐辐射测试放在同一系统框架中,呈现了太空AI基础设施的关键约束。

10月24日周五
  1. Mistral AI77

    Mistral AI 发布企业生产级 AI 平台 AI Studio

    Mistral AI 发布 AI Studio,面向企业提供从 AI 原型到生产部署的统一平台。平台由 Observability、Agent Runtime 和 AI Registry 三部分组成,支持评测、反馈追踪、版本管理、治理以及 hybrid、dedicated 和 self-hosted 部署,并开放 private beta 注册。

    推荐理由:Mistral 将可观测性、Agent Runtime 和 AI Registry 组合成生产平台,具体呈现了企业从原型走向部署所需的闭环能力。

9月9日周二
  1. Mistral AI66

    Mistral AI 完成 1.7B€ C 轮融资,投后估值达 11.7B€

    Mistral AI 宣布完成 1.7B€ 的 Series C 融资,投后估值为 11.7B€,由半导体设备制造商 ASML Holding NV 领投。DST Global、Andreessen Horowitz、Bpifrance、General Catalyst、Index Ventures、Lightspeed 和 NVIDIA 等现有投资者参与本轮融资。

    推荐理由:这轮融资同时引入 ASML 的战略合作,原文交代了资金规模、估值及其对工业与半导体场景研发的用途。

6月11日周三
  1. Mistral AI81

    Mistral AI 发布 Mistral Compute AI 基础设施服务

    Mistral AI 发布 Mistral Compute,为客户提供从裸金属服务器到全托管 PaaS 的私有集成 AI 基础设施栈,包含 GPU、编排、API、产品和服务。该服务将提供 Mistral AI 的训练套件,并计划以 NVIDIA 参考架构供应 tens of thousands of GPUs,强调数据主权、可持续性和对欧洲法规的适配。

    推荐理由:Mistral Compute将GPU、编排、API及训练服务整合为私有基础设施栈,重点回应数据主权和区域化部署需求。

3月17日周一
9月17日周二
  1. Mistral AI83

    Mistral AI 发布 Mistral Small v24.09 并推出免费 API 层与 Pixtral 12B 图像能力

    Mistral AI 推出 la Plateforme 免费层,全面下调模型 API 价格,并发布 22B 参数的 Mistral Small v24.09。Pixtral 12B 现可在 le Chat 免费使用,支持扫描、分析、搜索和描述图像及知识文件,并采用 Apache 2.0 许可证。

    推荐理由:这次更新同时覆盖免费 API、模型降价、Mistral Small v24.09 和 Pixtral 12B 图像能力,便于比较不同部署与成本选择。

6月5日周三
  1. Mistral AI72

    Mistral AI 在 la Plateforme 推出模型定制服务

    Mistral AI 在 la Plateforme 推出模型定制能力,提供开源的 mistral-finetune SDK、无服务器微调服务和定制训练服务。mistral-finetune 基于 LoRA,托管微调服务目前兼容 Mistral 7B 和 Mistral Small,并支持使用客户专有数据进行定制训练。

    推荐理由:Mistral AI 同时提供开源 SDK、托管服务和定制训练三种入口,覆盖从本地微调到企业专属数据训练的不同需求。

12月11日周一
  1. Mistral AI93

    Mistral AI 发布 Mixtral 8x7B 稀疏专家模型

    Mistral AI 发布带有开放权重和Apache 2.0许可的 Mixtral 8x7B,并同步推出 Mixtral 8x7B Instruct。模型总参数量为46.7B,每个 token 使用12.9B参数,官方称其在多数基准上达到或超过 Llama 2 70B 和 GPT3.5,推理速度提升至6x。

    推荐理由:Mixtral 8x7B同时公开权重与Apache 2.0许可,并用稀疏专家架构控制推理成本,适合比较开放模型的性能与部署取舍。