跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 61–63 条 · 共 63 条
12月11日周四
  1. Google Research61

    Google Research 发布 Urania:用差分隐私分析 AI 聊天机器人使用情况

    Google Research 介绍论文《Urania》提出的差分隐私框架,用 DP 聚类、DP 关键词提取和仅基于匿名关键词的 LLM 摘要分析聊天机器人使用情况。与非私有基线相比,隐私摘要在一次评估中最高有 70% 的偏好率,成员推断攻击的 AUC 为 0.53,而非私有流程为 0.58。

    推荐理由:文章展示了如何用差分隐私替代启发式脱敏分析聊天数据,并通过摘要偏好和成员推断实验呈现隐私与信息细致度的权衡。

10月30日周四
  1. Google Research80

    Google 发布可验证隐私洞察系统,用于分析 GenAI 使用情况

    Google 发布 provably private insights(PPI)系统,结合 LLM、差分隐私(DP)和可信执行环境(TEE),在不暴露未聚合用户数据的情况下分析 GenAI 工具使用情况。

    推荐理由:文章把 LLM 分析、差分隐私与 TEE 串成可审计流程,并展示了 Pixel Recorder 的实际配置,适合了解敏感数据分析如何兼顾可用性与隐私。

11月7日周四
  1. Mistral AI64

    Mistral AI 发布 Content Moderation API

    Mistral AI 发布新的内容审核API,该服务与 Le Chat 使用的审核服务相同,提供原始文本和对话内容两个端点。其LLM分类器将文本分为9类,支持阿拉伯语、中文、英语等11种语言,并覆盖无资质建议和PII等模型生成危害。

    推荐理由:Mistral AI公开了可定制的内容审核API及适用场景,帮助读者了解其分类方式、多语言覆盖和接入形态。