跳到正文

#多模态

今日 0 条
9月16日周三
  1. Google Research70

    Google Research 提出 Retrieve-for-Train,用扩散模型加速复杂 AI 搜索

    Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train,通过离线 RL 生成监督数据,再将集合级检索行为蒸馏到 53.9M 参数的扩散模型中。该模型可在单次非自回归推理中生成完整目标嵌入集合,相比自回归方法实现 12 到 20 倍加速,并在时延规模扩大时保持亚秒至数秒响应。

    推荐理由:论文展示了如何把离线 RL 学到的集合级检索行为蒸馏进扩散模型,以降低复杂搜索的推理延迟并减少人工标注依赖。

9月4日周五
  1. Google Research84

    Google Research 发布完整雄性果蝇大脑连接组图谱

    Google Research 与 HHMI Janelia及剑桥等机构合作,发布了雄性果蝇大脑和中枢神经系统的完整连接图谱。该图谱包含超过166,000个神经元和1.25亿个突触连接,是按神经元数量计最大的脑图谱,并可通过 Neuroglancer 查看、探索和下载。研究团队使用计算机和 AI 将电子显微镜图像重建为三维神经结构,图谱经过人类专家标注和校验。

    推荐理由:这项工作展示了 AI 如何协助构建细胞尺度的完整神经连接图,并提供了可视化、探索和下载的数据资源。

9月2日周三
  1. Google Research80

    Google Research 发布 MAPL-EMIT 甲烷羽流全球监测方法

    Google Research 与 NASA JPL 合作提出 MAPL-EMIT,用基于 Swin-S Transformer 的深度学习框架分析 NASA EMIT 高光谱数据,自动完成甲烷增强量化、羽流分割和排放源定位。

    推荐理由:论文展示了如何用深度学习处理 EMIT 高光谱数据,将甲烷羽流检测、范围分割与源头定位整合到可扩展的全球监测流程中。

8月27日周四
  1. Google Research61

    Google Research 发布 GlucoFM,用于连续血糖监测的基础模型

    Google Research 介绍 GlucoFM,一种采用双流设计的自监督连续血糖监测基础模型,用于分离较慢的血糖趋势与短期偏差。模型在四个队列的七项临床预测任务中进行评估,平均 PR-AUC 比同语料预训练的最佳 GluFormer 变体高 5.8 个百分点,并在餐后血糖反应预测中取得最低 MAE。GlucoFM 还展示了跨数据集迁移和少样本适应能力。

    推荐理由:文章系统比较了 GlucoFM 在临床预测、餐后血糖预测、跨队列迁移和少样本适应中的表现,并说明双流设计如何利用 CGM 的多时间尺度信号。

8月26日周三
8月22日周六
  1. Google Research71

    Google Research 发布 Biomarker Discovery Framework,用于筛选可穿戴数据中的候选生物标志物

    Google Research 介绍 Biomarker Discovery Framework,这是一个在人工监督下运行的多智能体系统,用于从可穿戴设备数据中迭代生成、分析和验证候选生物标志物。

    推荐理由:文章展示了如何将多智能体协作、确定性统计计算与对抗验证结合,用于在可穿戴传感器数据中筛选候选生物标志物。

8月21日周五
  1. Google Research66

    Google Research提出ME-POIs框架,用出行数据增强语言模型对地点的理解

    Google Research提出Mobility-Embedded POIs(ME-POIs)框架,将匿名聚合的到达时间、停留时长和周边移动模式与地点文本表示结合,以刻画地点的身份和动态功能。该框架在洛杉矶和休斯顿的未见地点测试中,使访问意图预测相对提升最高81.9%,价格等级分类提升75.1%,繁忙程度估计准确率提升24.7%。

    推荐理由:研究将匿名聚合的出行模式融入地点文本表示,并在未见地点的多项属性预测中量化展示了动态空间信息的补充价值。

8月13日周四
  1. Microsoft Research73

    MindTopo 基准揭示 VLM 的拓扑空间推理能力

    Microsoft Research 提出 MindTopo 基准,评估多模态大语言模型对连续性、分离、顺序、包围和打结五类拓扑关系的理解。基准同时测试静态场景推理与交互规划,结果显示模型在静态识别上的表现通常优于需要跨多步行动维护拓扑关系的任务,且两者都低于人类表现。研究指出,规划错误常发生在模型未能追踪场景变化后的结构关系或提出违反环境约束的行动。

    推荐理由:MindTopo 将静态识别与交互规划分开评估,具体展示了多模态模型在持续维护空间结构关系时的能力缺口。

7月23日周四
  1. Google Research78

    Google Research 发布 SymptomAI 研究,探索面向日常症状评估的对话式 AI 智能体

    Google Research 介绍 SymptomAI,一组用于日常症状访谈和鉴别诊断的实验性对话式 AI 智能体,并在 n=13,917 的随机研究中与临床专家评估进行比较。

    推荐理由:这项大规模研究把日常症状对话、临床专家评估与 Fitbit 生理信号结合起来,呈现了 SymptomAI 在真实场景中的评估方法与边界。

7月9日周四
  1. Google Research80

    Google Research 发布 SensorFM,探索可穿戴健康数据的通用基础模型

    Google Research 介绍 SensorFM,这一 Large Sensor Foundation Model 在五百万名参与者、超过一万亿分钟的多模态可穿戴传感器数据上预训练。

    推荐理由:文章展示了 SensorFM 如何以大规模无标签可穿戴数据学习通用生理表征,并通过多任务评估和 Personal Health Agent 验证其适配价值。

7月1日周三
  1. Berkeley AI Research26

    2026 BAIR 博士毕业生展示

    Berkeley Artificial Intelligence Research(BAIR)公布 2026 届博士毕业生展示,研究覆盖机器人与具身智能、LLM 与推理、计算机视觉、生成模型、AI 安全、人机交互及 AI for science and healthcare 等方向。

6月30日周二
6月13日周六
  1. Google Research74

    Google Research 研究 AI 如何帮助用户理解皮肤状况

    Google Research 汇总两项关于皮肤状况信息工具的研究,考察图像型 AI 如何帮助用户识别病症并判断后续行动。在一项包含 2,345 名参与者的调查中,AI 辅助下的病症命名准确率为 23%,高于标准搜索的 8%,但标准 AI 对下一步行动准确率没有显著提升。

    推荐理由:两项研究分别从大规模调查和真实社区使用出发,展示了图像型 AI 在识别皮肤状况上的帮助及其在下一步医疗决策上的局限。

6月5日周五
  1. Google Research83

    Google Research 发布 PHRM 手机被动心率监测研究

    Google Research 在 Nature 论文中介绍 PHRM,利用手机前置摄像头在面部解锁后采集 8 秒视频,被动估计心率和每日静息心率。该系统在真实环境验证中对心率的 MAPE 为 6.09%,对 Fitbit Charge 6 日静息心率的 MAE 为 4.39 bpm,并发布 PHRM-mini 模型及大型多肤色研究数据集供符合条件的研究人员申请使用。

    推荐理由:研究展示了手机前置摄像头在日常使用中被动估计心率和静息心率的方法,并用多肤色数据验证其准确性与可用范围。

4月16日周四
  1. Google Research72

    Google Research 用 AI 生成合成神经元加速脑图谱绘制

    Google Research 发布 MoGen 神经元形态生成模型,用合成神经元形状增强 PATHFINDER 的训练数据,使小鼠轴突重建错误率降低 4.4%。按完整小鼠脑的规模估算,这相当于节省 157 person-years 的人工校对工作;MoGen 及其不同物种的训练模型已开源。

    推荐理由:论文展示了合成神经元形状如何降低 PATHFINDER 的重建错误,并将模型改进换算为完整小鼠脑图谱中的人工校对节省量。

4月14日周二
  1. Google Research79

    Google Research 推出 Vantage,利用生成式 AI 评估未来技能

    Google Research 推出研究实验 Vantage,通过 AI avatars 模拟多方对话,帮助高中生和大学生练习并评估批判性思维、协作和创造性思维等未来技能。Vantage 使用 Executive LLM 动态引导对话,再由 AI Evaluator 按教育评估量规分析表现并生成技能图谱;与纽约大学专家评分的比较显示,其一致性接近专家评分之间的一致性。

    推荐理由:Vantage把难以量化的协作与创造力置于可控对话中评估,并用人类专家对照验证了自动评分方法。

3月25日周三
3月17日周二
  1. Google Research67

    Google Research 用高温超导问题评测六个 LLM 的科学问答能力

    Google Research 与 Cornell University 合作,使用 67 个高温超导研究问题评测六个 LLM,并由专家按观点平衡、完整性、简洁性和证据等指标评分。

    推荐理由:这项研究比较了开放网络数据与专家精选文献对专业问答的影响,为评估科学领域 LLM 的证据完整性和观点平衡提供了具体案例。

3月12日周四
1月10日周六
  1. Berkeley AI Research68

    Berkeley AI Research 发布信息驱动的成像系统设计研究

    Berkeley AI Research 的 NeurIPS 2025 论文提出从带噪测量中直接估计互信息,用于评估成像系统包含的有效信息。该方法在彩色摄影、射电天文学、无透镜成像和显微镜四个领域预测了下游解码性能;其 IDEAL 方法通过优化信息估计来设计成像参数,在滤色器设计中达到与端到端优化相当的结果,同时不需要任务特定的解码器设计。代码已在 GitHub 开源。

    推荐理由:论文将成像系统的分辨率、噪声和采样等因素统一到互信息指标中,并展示了该指标评估与优化多类系统的方式。