跳到正文

#安全/对齐

今日 0 条
10月1日周四
  1. Google DeepMind90

    Google DeepMind 发布 Gemini 4 Argon，强化长程推理与网络安全防御

    Google DeepMind 宣布 Gemini 4 Argon，这款新模型面向软件工程、法律和金融等企业知识工作，以及网络安全防御，正在通过 Fairwind Program 向可信网络防御者分阶段开放。

    推荐理由：文章同时给出 Gemini 4 Argon 的长程任务能力、评测结果、定价与分阶段开放安排，便于了解其面向企业和安全场景的落地边界。

9月30日周三
  1. Google DeepMind86

    Google DeepMind 发布 SynthID Bio，为AI生成蛋白质添加生物水印

    Google DeepMind 发布 SynthID Bio，可将不可见签名嵌入AI生成的蛋白质序列和预测的3D结构，并在合成后的物理蛋白质中验证。实验显示，经过水印处理的蛋白质结合剂在VEGF-A、SARS-CoV-2 spike protein RBD和PD-L1三种目标上保持了与未加水印设计相当的命中率、结合亲和力和自然序列多样性。

    推荐理由：SynthID Bio把水印嵌入蛋白质序列和预测结构，并在实验中保持生物功能，为AI生成生物设计的来源核验提供了具体路径。

9月29日周二
  1. Hugging Face Blog66

    ProvenanceGuard 论文提出面向 MCP 智能体的来源感知事实核验

    ProvenanceGuard 面向使用 MCP 多工具的 LLM 智能体，逐条检查回答中的事实是否由回答所指向的正确来源支持，而不是只判断事实是否存在于汇总证据中。

    推荐理由：论文展示了在 MCP 多源场景中保留来源身份的验证方法，并用医疗智能体数据说明它如何减少错引来源，同时暴露相似来源区分的难点。

9月25日周五
  1. GitHub Blog · AI & ML83

    GitHub Security Lab 发布 Fuzzing Taskflow 自动化 C/C++ 模糊测试

    GitHub Security Lab 发布基于 Taskflow Agent 的 Fuzzing Taskflow，面向 C/C++ 项目自动识别入口、分析构建系统、编写 harness、运行 AFL++、迭代覆盖率并整理崩溃报告。

    推荐理由：文章拆解了从建 harness、覆盖率反馈到崩溃归因的自动化链路，也明确说明了主机执行和模型判断带来的安全边界。

9月24日周四
  1. Google DeepMind85

    Google DeepMind 更新 Private AI Compute，支持私有的跨设备持久记忆

    Google DeepMind 发布 Private AI Compute 技术更新，引入服务器端持久记忆，让 AI 可在设备间保留上下文，同时维持端侧隐私标准。用户数据存放在加密存储中，解密密钥仅由个人设备持有，云端通过硬件强制的安全隔离环境临时处理数据。Google DeepMind 还发布更新后的技术白皮书、服务器软件的防篡改公开记录，并提供独立网络安全审计结果。

    推荐理由：文章具体说明了云端持久记忆如何结合设备密钥、加密通道与安全隔离环境，在跨设备连续体验和隐私控制之间取得平衡。

9月22日周二
  1. NVIDIA Blog43

    NVIDIA：大规模部署 Physical AI 需要覆盖每一层的安全保障

    NVIDIA指出，Physical AI从研究走向规模化部署后，自动驾驶汽车和机器人必须在硬件、软件、AI行为、运行环境及全生命周期建立安全保障，而非部署前一次性检查。NVIDIA Halos提供覆盖设计、验证与部署的全栈安全系统，支持自动驾驶和机器人开发，并结合仿真、合成数据与真实世界验证。

9月21日周一
  1. NVIDIA Blog43

    AI 安全是工程问题：如何覆盖智能体技术栈的每一层

    AI 智能体安全需要在模型、工具编排和运行时等每一层设置可执行边界，由明确负责人管理，并用受保护的日志和可重复测试验证防护有效。NVIDIA OpenShell 是开源安全运行时，可在智能体无法干预的范围外执行策略并提供沙箱；Open Secure AI Alliance 合作伙伴正围绕其扩展治理、技能扫描与策略控制。

9月3日周四
  1. Google DeepMind91

    Google DeepMind 发布 Gemini 3.8 Flash 和 3.8 Flash Cyber

    Google DeepMind 发布 Gemini 3.8 Flash 和 Gemini 3.8 Flash Cyber，前者面向长程编码、智能体任务与多步推理，后者面向漏洞发现和自动修复。

    推荐理由：Gemini 3.8 将通用推理编码与网络安全能力拆分为两个版本，并给出价格、基准和实际使用案例，便于比较其适用场景与成本。

9月2日周三
  1. Hugging Face Blog69

    BenchMIRT：LLM 基准测试究竟测量了什么？

    Allen Institute 介绍 BenchMIRT，一种在单个提示词和任务层面审计 LLM 基准测试的方法。它基于 100 个 LLM、16 个基准和超过 34K 道题的结果，独立识别出安全与通用推理两个主要维度，并发现 BBQ、WMDP 等基准的得分可能混合了不同能力信号。

    推荐理由：BenchMIRT 将多维 IRT 应用于 100 个 LLM 和 34K 多道题，展示了如何拆解基准分数中的推理与安全信号。

8月27日周四
  1. Google DeepMind77

    Google DeepMind 试点全球首个专有前沿模型双盲 AI 评测

    Google DeepMind 宣布试点针对专有前沿级 AI 模型的双盲评测，将外部评测限制在密码学“盒子”中，避免模型提前接触测试内容并据此优化。该项目与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境中使用机密基准测试 Gemini Flash Lite，以降低基准污染对评测完整性的影响。

    推荐理由：文章介绍了将外部评测置于密码学环境中的双盲方案，回应了基准污染对模型能力与安全评估可信度的影响。

8月4日周二
7月27日周一
7月17日周五
7月16日周四
  1. Google DeepMind75

    Google DeepMind 与 Isomorphic Labs 发布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 发布联合生物韧性方案，围绕防止模型被滥用、快速检测疫情和设计医疗应对措施展开。过去 12 个月，双方推进了与政府机构、生物安全组织和研究团队的 15 项以上合作，并计划向可信合作伙伴开放 AI 模型和智能体。

    推荐理由：文章系统说明了 Google DeepMind 与 Isomorphic Labs 如何将 AI 用于生物安全，并将防滥用、疫情检测与医疗响应连接起来。

  2. Hugging Face Blog88

    Hugging Face披露AI智能体驱动的生产基础设施入侵

    Hugging Face披露，其部分生产基础设施此前遭到由自主AI智能体系统端到端驱动的入侵，攻击者通过数据集处理中的两条代码执行路径取得初始访问并横向移动。公司表示，部分内部数据集和服务凭据曾被未授权访问，但尚未发现公开模型、数据集、Spaces或软件供应链遭到篡改；受影响凭据已撤销并轮换，相关节点也已重建。

    推荐理由：Hugging Face披露了AI智能体驱动入侵的入口、影响范围与处置过程，也总结了防守方预先准备本地模型的实践经验。

7月1日周三
  1. Berkeley AI Research26

    2026 BAIR 博士毕业生展示

    Berkeley Artificial Intelligence Research（BAIR）公布 2026 届博士毕业生展示，研究覆盖机器人与具身智能、LLM 与推理、计算机视觉、生成模型、AI 安全、人机交互及 AI for science and healthcare 等方向。

6月16日周二
  1. Google DeepMind84

    Google DeepMind 发布 AI Control Roadmap，构建智能体纵深安全防线

    Google DeepMind 发布 AI Control Roadmap，用纵深防御管理内部 AI 智能体，即使模型对齐不完善，也通过权限控制、威胁建模、监测和阻断降低风险。

    推荐理由：文章系统梳理了 Google DeepMind 的 AI Control Roadmap，展示其如何用监测、阻断和分级响应应对智能体对齐不完善带来的风险。

6月11日周四
  1. Google Research66

    Google Research 提出机器遗忘审计新框架

    Google Research 提出 Regularized f-Divergence Kernel Tests，用于更灵敏地审计差分隐私和机器遗忘。该框架通过相对三样本检验，判断未学习模型更接近安全重训模型还是原始模型，并在 SVT3 隐私机制中用几千个样本检测违规，而既有方法需要 millions 个样本。

    推荐理由：这项工作把机器遗忘审计从简单的两样本比较转向相对三样本检验，并展示了更少样本和更少调参下识别隐私违规的方法。

6月10日周三
  1. Google DeepMind65

    Google DeepMind 联合伙伴启动最高 $10M 的多智能体 AI 安全研究资助

    Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、ARIA 并获 Google.org 支持，宣布面向全球研究者、最高 $10M 的多智能体 AI 安全研究资助计划。

    推荐理由：这项资助计划把多智能体安全拆分为测试环境、网络行为、基础设施和监督控制四个研究方向，为相关研究提供了明确的问题框架。

5月28日周四
  1. Google Research75

    Google 介绍基于零信任聚合的私密分析方案

    Google 介绍了一种用于私密分析的零信任聚合方案，将一次性消息的格基加密协议与 TEE 结合，使设备无需参与多轮交互即可提交数据。该方案确保服务器只能获得匿名聚合结果，并将用于 Android SafetyCore，通过聚合元数据评估端侧安全模型的效果，同时保持用户内容留在设备上。

    推荐理由：文章解释了 Google 如何把一次性加密聚合与 TEE 结合，在降低设备在线要求的同时减少对单一硬件防护的依赖。

5月17日周日
5月16日周六
4月27日周一
  1. Google DeepMind65

    Google DeepMind与韩国科学技术信息通信部宣布AI合作

    Google DeepMind与韩国科学技术信息通信部宣布合作，将在首尔办公室设立AI Campus，支持韩国科研机构使用AI for Science模型推进生命科学、能源、天气与气候研究。双方将探索AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist和WeatherNext等项目的合作，并开展AI人才培养及与韩国AI安全研究所的安全研究。

    推荐理由：Google DeepMind披露了合作的具体落点，涵盖科研设施、模型应用、人才培养与AI安全协作，呈现其国家级AI合作框架。

4月3日周五
  1. Google Research68

    Google Research 评估大语言模型行为倾向与人类的对齐程度

    Google Research 提出一套评估大语言模型行为倾向对齐程度的框架，将心理问卷改编为现实场景中的情境判断测试，并比较 25 个 LLM 与 550 名参与者的偏好分布。结果显示，小于 25B 的模型方向性对齐较低，大于 120B 及前沿闭源权重模型在 10/10 人类共识场景中接近完全对齐，但在人类共识较低时普遍表现出过度自信，难以反映意见多样性；模型的自我报告与实际行为也存在明显差异。

    推荐理由：研究把心理问卷转化为现实场景中的判断测试，既比较模型与人类共识，也检验模型能否保留分歧意见的范围。

4月1日周三
3月31日周二
  1. Google Research81

    Google Research 发布量子攻击加密货币的新资源估算与负责任披露方案

    Google Research 表示，未来量子计算机破解保护加密货币的 256-bit 椭圆曲线离散对数问题所需资源可能低于此前估计。其白皮书给出两种少于 1,200 或 1,450 个逻辑量子比特的 Shor's algorithm 电路，并估计少于 500,000 个物理量子比特即可在几分钟内执行。

    推荐理由：Google 给出量子攻击 ECDLP-256 的更新资源估算，并以零知识证明支持可验证披露，为加密货币迁移 PQC 提供了具体依据。