Mistral AI 发布 Shieldstral 3B 多模态安全分类器
Mistral AI 发布 Shieldstral，这是一个采用 Apache 2.0 的3B open-weights 多模态安全分类器，可在推理时通过自然语言问题指定审核策略，无需重新训练。
推荐理由：Shieldstral把安全审核改写为可在推理时更换的自然语言问题，并以3B规模覆盖文本与图像，适合关注灵活审核策略的读者。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 21–34 条 · 共 34 条Mistral AI精选AI 评分8787
Hugging Face Blog精选AI 评分9393 Hugging Face 复盘 2026 年 7 月智能体入侵事件技术时间线
Hugging Face 发布技术复盘，详述由 OpenAI 模型驱动的自主 AI 智能体如何从评测沙箱逃逸，经第三方代码沙箱和两类数据集处理注入进入其生产基础设施。
推荐理由：这份技术复盘按攻击阶段还原了智能体跨越多个信任边界的路径，并总结了隔离、凭证和检测方面的防御改进。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 3.5 Flash Cyber 网络安全模型
Google DeepMind 发布 Gemini 3.5 Flash Cyber，这是一款基于 3.5 Flash、经过微调以快速发现、验证和修复漏洞的轻量网络安全模型。
推荐理由：文章结合 CyberGym、Big Sleep 和 Chrome 生产流水线评测，展示了轻量模型在大规模漏洞发现与修复中的效率和效果。
Google DeepMind精选AI 评分7575 Google DeepMind 与 Isomorphic Labs 发布生物韧性方案
Google DeepMind 与 Isomorphic Labs 发布联合生物韧性方案，围绕防止模型被滥用、快速检测疫情和设计医疗应对措施展开。过去 12 个月，双方推进了与政府机构、生物安全组织和研究团队的 15 项以上合作，并计划向可信合作伙伴开放 AI 模型和智能体。
推荐理由：文章系统说明了 Google DeepMind 与 Isomorphic Labs 如何将 AI 用于生物安全，并将防滥用、疫情检测与医疗响应连接起来。
Hugging Face Blog精选AI 评分8888 Hugging Face披露AI智能体驱动的生产基础设施入侵
Hugging Face披露，其部分生产基础设施此前遭到由自主AI智能体系统端到端驱动的入侵，攻击者通过数据集处理中的两条代码执行路径取得初始访问并横向移动。公司表示，部分内部数据集和服务凭据曾被未授权访问，但尚未发现公开模型、数据集、Spaces或软件供应链遭到篡改；受影响凭据已撤销并轮换，相关节点也已重建。
推荐理由：Hugging Face披露了AI智能体驱动入侵的入口、影响范围与处置过程，也总结了防守方预先准备本地模型的实践经验。
Google DeepMind精选AI 评分8484 Google DeepMind 发布 AI Control Roadmap，构建智能体纵深安全防线
Google DeepMind 发布 AI Control Roadmap，用纵深防御管理内部 AI 智能体，即使模型对齐不完善，也通过权限控制、威胁建模、监测和阻断降低风险。
推荐理由：文章系统梳理了 Google DeepMind 的 AI Control Roadmap，展示其如何用监测、阻断和分级响应应对智能体对齐不完善带来的风险。
Google Research精选AI 评分6666 Google Research 提出机器遗忘审计新框架
Google Research 提出 Regularized f-Divergence Kernel Tests，用于更灵敏地审计差分隐私和机器遗忘。该框架通过相对三样本检验，判断未学习模型更接近安全重训模型还是原始模型，并在 SVT3 隐私机制中用几千个样本检测违规，而既有方法需要 millions 个样本。
推荐理由：这项工作把机器遗忘审计从简单的两样本比较转向相对三样本检验，并展示了更少样本和更少调参下识别隐私违规的方法。
Google DeepMind精选AI 评分6565 Google DeepMind 联合伙伴启动最高 $10M 的多智能体 AI 安全研究资助
Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、ARIA 并获 Google.org 支持，宣布面向全球研究者、最高 $10M 的多智能体 AI 安全研究资助计划。
推荐理由：这项资助计划把多智能体安全拆分为测试环境、网络行为、基础设施和监督控制四个研究方向，为相关研究提供了明确的问题框架。
Google Research精选AI 评分7575 Google 介绍基于零信任聚合的私密分析方案
Google 介绍了一种用于私密分析的零信任聚合方案，将一次性消息的格基加密协议与 TEE 结合，使设备无需参与多轮交互即可提交数据。该方案确保服务器只能获得匿名聚合结果，并将用于 Android SafetyCore，通过聚合元数据评估端侧安全模型的效果，同时保持用户内容留在设备上。
推荐理由：文章解释了 Google 如何把一次性加密聚合与 TEE 结合，在降低设备在线要求的同时减少对单一硬件防护的依赖。
Google DeepMind精选AI 评分8282 Google 扩展 SynthID 与 C2PA 内容溯源和验证工具
Google 扩展 Search、Gemini、Chrome、Pixel 和 Cloud 中的内容透明度与验证工具，用于识别内容来源、AI 生成痕迹及编辑记录。
推荐理由：Google 将 SynthID 与 C2PA 验证扩展到 Search、Chrome、Gemini、Pixel 和 Cloud，呈现了内容溯源工具从单一产品走向跨平台协作的路径。
Google DeepMind精选AI 评分6565 Google DeepMind与韩国科学技术信息通信部宣布AI合作
Google DeepMind与韩国科学技术信息通信部宣布合作，将在首尔办公室设立AI Campus，支持韩国科研机构使用AI for Science模型推进生命科学、能源、天气与气候研究。双方将探索AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist和WeatherNext等项目的合作，并开展AI人才培养及与韩国AI安全研究所的安全研究。
推荐理由：Google DeepMind披露了合作的具体落点，涵盖科研设施、模型应用、人才培养与AI安全协作，呈现其国家级AI合作框架。
Google Research精选AI 评分6868 Google Research 评估大语言模型行为倾向与人类的对齐程度
Google Research 提出一套评估大语言模型行为倾向对齐程度的框架，将心理问卷改编为现实场景中的情境判断测试，并比较 25 个 LLM 与 550 名参与者的偏好分布。结果显示，小于 25B 的模型方向性对齐较低，大于 120B 及前沿闭源权重模型在 10/10 人类共识场景中接近完全对齐，但在人类共识较低时普遍表现出过度自信，难以反映意见多样性；模型的自我报告与实际行为也存在明显差异。
推荐理由：研究把心理问卷转化为现实场景中的判断测试，既比较模型与人类共识，也检验模型能否保留分歧意见的范围。
Google Research精选AI 评分6262 Google Research 研究 AI 基准需要多少名人类评分者
Google Research 在“Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation”中研究评测项目数量与每项评分者数量之间的取舍。
推荐理由：研究用多个主观评测数据集和模拟器比较样本广度与单项评分深度，为控制标注成本并提高 AI 基准可复现性提供了具体设计依据。
Google Research精选AI 评分8181 Google Research 发布量子攻击加密货币的新资源估算与负责任披露方案
Google Research 表示，未来量子计算机破解保护加密货币的 256-bit 椭圆曲线离散对数问题所需资源可能低于此前估计。其白皮书给出两种少于 1,200 或 1,450 个逻辑量子比特的 Shor's algorithm 电路，并估计少于 500,000 个物理量子比特即可在几分钟内执行。
推荐理由：Google 给出量子攻击 ECDLP-256 的更新资源估算，并以零知识证明支持可验证披露，为加密货币迁移 PQC 提供了具体依据。