跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 1–5 条 · 共 5 条
9月24日周四
  1. Google DeepMind85

    Google DeepMind 更新 Private AI Compute,支持私有的跨设备持久记忆

    Google DeepMind 发布 Private AI Compute 技术更新,引入服务器端持久记忆,让 AI 可在设备间保留上下文,同时维持端侧隐私标准。用户数据存放在加密存储中,解密密钥仅由个人设备持有,云端通过硬件强制的安全隔离环境临时处理数据。Google DeepMind 还发布更新后的技术白皮书、服务器软件的防篡改公开记录,并提供独立网络安全审计结果。

    推荐理由:文章具体说明了云端持久记忆如何结合设备密钥、加密通道与安全隔离环境,在跨设备连续体验和隐私控制之间取得平衡。

9月22日周二
  1. Hugging Face Blog60

    oMLX 创作者 Jun Kim 加入 Hugging Face 支持 MLX 社区

    oMLX 创作者兼维护者 Jun Kim 加入 Hugging Face,继续领导该项目并获得稳定维护与资金支持。oMLX 将保持 Apache 2.0 许可,Hugging Face 计划以其作为新想法的测试平台,并推动 transformers 模型定义更快转为可供不同引擎使用的 MLX 实现。

    推荐理由:Hugging Face 对 oMLX 的维护支持将 MLX 生态中的个人项目纳入长期投入,并明确了模型定义向 MLX 实现迁移的协作方向。

8月21日周五
  1. Hugging Face Blog82

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理速度最高提升 3.18 倍

    Liquid AI 发布 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 的 DSpark 草稿模型,通过 speculative decoding 在不改变 greedy decoding 输出的前提下提升推理速度。

    推荐理由:LFM2.5-DSpark同时给出H100与M4 Max上的实测加速、函数调用延迟变化和llama.cpp及SGLang接入方式,便于评估部署收益。

6月27日周六
5月28日周四
  1. Google Research75

    Google 介绍基于零信任聚合的私密分析方案

    Google 介绍了一种用于私密分析的零信任聚合方案,将一次性消息的格基加密协议与 TEE 结合,使设备无需参与多轮交互即可提交数据。该方案确保服务器只能获得匿名聚合结果,并将用于 Android SafetyCore,通过聚合元数据评估端侧安全模型的效果,同时保持用户内容留在设备上。

    推荐理由:文章解释了 Google 如何把一次性加密聚合与 TEE 结合,在降低设备在线要求的同时减少对单一硬件防护的依赖。