跳到正文

#多模态

今日 6 条
8月12日周三
  1. Google DeepMind91

    Google DeepMind发布SL2T手语转文本模型,登陆Gboard和Live Transcribe

    Google DeepMind发布手语转文本模型SL2T,首先支持ASL到英语,并为Pixel 11上的Gboard和Live Transcribe提供手语输入功能。SL2T使用超过100,000小时、覆盖50多种手语的数据训练,端侧MediaPipe Holistic仅上传身体姿态坐标进行翻译;在FLEURS-ASL基准上取得70 BLEURT的zero-shot分数。

    推荐理由:SL2T将大规模多语言训练、端侧姿态追踪与隐私设计结合,并已进入Gboard和Live Transcribe,展示了手语翻译落地面临的关键技术取舍。

  2. Google Research87

    Google Research 推进 AMIE 实时音视频临床问诊能力

    Google Research 介绍了基于 Gemini 和 Project Astra 的 AMIE (Video),可在实时视频问诊中感知非语言临床线索、引导虚拟体格检查并进行诊断推理。研究覆盖 100 个场景和 300 次咨询,在核心临床能力上评估结果与初级保健医生相当;但研究仅使用专业患者演员,真实患者和真实临床条件下的实用性仍需进一步验证。

    推荐理由:研究展示了 AMIE 从文本对话扩展到实时音视频问诊的系统设计与评估,也清楚交代了模拟场景和真实患者验证之间的边界。

  3. Microsoft Research76

    Microsoft Research 介绍 CARE-X:结合辅助监督、奖励对齐学习与工具测量的胸片 VLM

    Microsoft Research 介绍研究模型 CARE-X,用于统一处理胸部 X 光片报告生成、病变分类、定位和医学设备评估,并结合辅助预测头提供可调阈值的置信度输出。

    推荐理由:文章系统展示了 CARE-X 如何结合生成、结构化预测与 DAPO,并以工具增强测量处理胸片中的定量诊断任务。

8月10日周一
  1. Hugging Face Blog91

    Meta 发布开源多模态模型 Muse Glimmer-30B,面向本地智能体应用

    Meta 发布 Muse Glimmer-30B,一款面向本地智能体场景的开源多模态模型,采用 30B 参数架构并以 Apache 2.0 许可证发布。模型包含 2B 视觉编码器和 28B 文本解码器,支持图像、视频、工具调用与对象检测,并获得 Transformers、llama.cpp、vLLM 和 Inference Endpoints 的 day-0 支持。

    推荐理由:文章同时给出 Muse Glimmer 的架构、基准结果和多种部署示例,便于比较其本地智能体定位与实际使用路径。

8月6日周四
8月4日周二
  1. Microsoft Research86

    Microsoft Research 发布 Orchard 开源智能体研究框架

    Microsoft Research 发布 Orchard,这是一个面向可扩展智能体研究的开源框架,核心是基于 Kubernetes 的可复用环境服务 Orchard Env,可支持编码、网页导航和个人助理智能体的训练与评测。

    推荐理由:文章拆解了 Orchard Env 如何复用环境、数据和评测流程,并用三个领域的结果展示开放基础设施对智能体训练效率的影响。

7月30日周四
7月28日周二
  1. Google DeepMind86

    Google DeepMind 发布 Gemini Robotics 2,提升机器人的全身智能与协作能力

    Google DeepMind 发布 Gemini Robotics 2,包含 Gemini Robotics 2、Gemini Robotics ER 2 和 Gemini Robotics On-Device 2 三个模型,支持人形机器人全身控制、灵巧操作、具身推理和多机器人协作。

    推荐理由:Google DeepMind同时更新了全身控制、灵巧操作、具身推理和端侧适配,呈现了机器人从单步执行走向多步骤协作的技术路径。

7月23日周四
  1. Google Research78

    Google Research 发布 SymptomAI 研究,探索面向日常症状评估的对话式 AI 智能体

    Google Research 介绍 SymptomAI,一组用于日常症状访谈和鉴别诊断的实验性对话式 AI 智能体,并在 n=13,917 的随机研究中与临床专家评估进行比较。

    推荐理由:这项大规模研究把日常症状对话、临床专家评估与 Fitbit 生理信号结合起来,呈现了 SymptomAI 在真实场景中的评估方法与边界。

7月21日周二
7月16日周四
  1. Google DeepMind75

    Google DeepMind 与 Isomorphic Labs 发布生物韧性方案

    Google DeepMind 与 Isomorphic Labs 发布联合生物韧性方案,围绕防止模型被滥用、快速检测疫情和设计医疗应对措施展开。过去 12 个月,双方推进了与政府机构、生物安全组织和研究团队的 15 项以上合作,并计划向可信合作伙伴开放 AI 模型和智能体。

    推荐理由:文章系统说明了 Google DeepMind 与 Isomorphic Labs 如何将 AI 用于生物安全,并将防滥用、疫情检测与医疗响应连接起来。

7月15日周三
  1. Hugging Face Blog92

    Thinking Machines 发布 1T 参数多模态开源模型 Inkling 及 Inkling-Small

    Thinking Machines 发布 Inkling 及 Inkling-Small,前者是具备 975B 总参数、41B 激活参数和 1M 上下文窗口的多模态 MoE 模型,可接收图像、文本和音频输入;Inkling-Small 为 276B 总参数、12B 激活参数。

    推荐理由:文章同时给出 Inkling 的多模态架构、部署门槛与推理支持,便于评估其从实验体验走向实际应用的条件。

7月13日周一
7月9日周四
  1. Google Research80

    Google Research 发布 SensorFM,探索可穿戴健康数据的通用基础模型

    Google Research 介绍 SensorFM,这一 Large Sensor Foundation Model 在五百万名参与者、超过一万亿分钟的多模态可穿戴传感器数据上预训练。

    推荐理由:文章展示了 SensorFM 如何以大规模无标签可穿戴数据学习通用生理表征,并通过多任务评估和 Personal Health Agent 验证其适配价值。

7月6日周一
  1. Hugging Face Blog79

    PRX Part 4:Photoroom 详解 PRX 的数据策略

    Photoroom 在 PRX 系列第 4 部分介绍了预训练数据管线:混合公共与内部数据集,用 VLM 为图像生成 100–200 词的详细描述,再通过 Lance 构建数据集、用 Mosaic Data Shards 流式训练。

    推荐理由:文章系统拆解了 PRX 7B 预训练数据管线,从数据格式、VLM 重标注到过滤去重,提供了可复用的工程取舍与实测依据。

7月1日周三
  1. Berkeley AI Research26

    2026 BAIR 博士毕业生展示

    Berkeley Artificial Intelligence Research(BAIR)公布 2026 届博士毕业生展示,研究覆盖机器人与具身智能、LLM 与推理、计算机视觉、生成模型、AI 安全、人机交互及 AI for science and healthcare 等方向。

  2. Google Research77

    Google Research 发布覆盖50多个城市的 Heat Resilience 屋顶反射率数据与 Earth Engine App

    Google Research 发布覆盖50多个全球城市的建筑级屋顶反射率数据,并上线 Heat Resilience Earth Engine App,帮助城市规划者识别适合部署凉屋顶的建筑和区域。

    推荐理由:Google Research 将建筑级屋顶反射率数据扩展至50多个城市,并开放 Earth Engine App,为城市规划者定位高优先级降温改造提供了可操作的数据基础。

6月30日周二
6月23日周二
6月17日周三
  1. Google Research77

    Google 发布用于自然恢复的 Earth AI 矢量数据集

    Google 发布一套面向英国自然恢复的矢量化数据集,可识别并分类树篱、石墙和小片林地等细尺度生态特征。该系统基于 Remote Sensing Foundations 的 ViT Backbone,结合亚米级影像和 1 米 LiDAR 数据,并通过 Polsby–Popper 紧致度评分区分林地、木本斑块和线性木本特征。

    推荐理由:Google 将高分辨率栅格地图转为可操作的矢量数据集,展示了 AI 如何把生态特征识别推进到保护规划与碳核算。

6月13日周六
  1. Google Research74

    Google Research 研究 AI 如何帮助用户理解皮肤状况

    Google Research 汇总两项关于皮肤状况信息工具的研究,考察图像型 AI 如何帮助用户识别病症并判断后续行动。在一项包含 2,345 名参与者的调查中,AI 辅助下的病症命名准确率为 23%,高于标准搜索的 8%,但标准 AI 对下一步行动准确率没有显著提升。

    推荐理由:两项研究分别从大规模调查和真实社区使用出发,展示了图像型 AI 在识别皮肤状况上的帮助及其在下一步医疗决策上的局限。

6月9日周二
  1. Google DeepMind87

    Google 发布 Gemini 3.5 Live Translate 语音翻译模型

    Google 发布 Gemini 3.5 Live Translate,可自动识别 70+ 种语言并进行接近实时的语音到语音翻译,同时保留说话者的语调、语速和音高。

    推荐理由:Gemini 3.5 Live Translate 将连续语音翻译、音色节奏保留与多端接入结合,文中也列出开发者、企业和普通用户的使用入口。

  2. Google DeepMind86

    Google DeepMind 发布 Gemma 4 12B 多模态模型

    Google DeepMind 发布 Gemma 4 12B,这是一款采用统一、无编码器架构的多模态模型,支持原生音频输入,并面向本地 Agent 工作流。模型性能接近 26B MoE,运行所需内存低于其一半,可在 16GB RAM 或统一内存的笔记本上本地运行。

    推荐理由:Gemma 4 12B把原生音频与视觉输入、Agent 工作流和本地运行结合在一起,材料也给出了部署与开发入口。

6月5日周五
  1. Google Research83

    Google Research 发布 PHRM 手机被动心率监测研究

    Google Research 在 Nature 论文中介绍 PHRM,利用手机前置摄像头在面部解锁后采集 8 秒视频,被动估计心率和每日静息心率。该系统在真实环境验证中对心率的 MAPE 为 6.09%,对 Fitbit Charge 6 日静息心率的 MAE 为 4.39 bpm,并发布 PHRM-mini 模型及大型多肤色研究数据集供符合条件的研究人员申请使用。

    推荐理由:研究展示了手机前置摄像头在日常使用中被动估计心率和静息心率的方法,并用多肤色数据验证其准确性与可用范围。

5月29日周五
  1. Google Research71

    Google Research 发布 I/O 2026 多领域研究成果

    Google Research 总结 I/O 2026 展示的研究进展,涵盖 Gemini for Science、医疗 AI、WeatherNext、Gemini 核心能力、智能体开发平台和量子计算等方向。

    推荐理由:文章集中呈现 Google Research 在科学发现、医疗、天气预测和智能体开发等方向的研究成果及其产品化路径,便于了解研究如何转化为实际工具。

5月27日周三
  1. Mistral AI67

    Mistral AI 引入物理 AI,构建工程加速基础能力

    Mistral AI 宣布将 Emmi AI 纳入自身,推出面向工业工程的物理 AI 能力。该类模型从物理求解器输出或测量数据中学习,可根据几何与边界条件在单个 GPU 上以秒级前向推理预测完整物理场。Mistral AI 表示,这项能力将服务于产品设计、工装与工艺优化及实时数字孪生,并作为其企业 AI 平台的一部分面向航空航天、汽车、半导体、能源和工业设备等领域。

    推荐理由:文章说明了物理 AI 如何将工程仿真从小时至数周缩短到秒级,并展示其在设计、制造和数字孪生中的应用路径。

5月22日周五
  1. Mistral AI89

    Mistral 发布 Mistral Medium 3.5,并为 Vibe 和 Le Chat 推出云端智能体

    Mistral 发布 Mistral Medium 3.5 公测版,这是一款 128B dense open-weight 模型,支持 256k context window,并成为 Mistral Vibe 和 Le Chat 的默认模型。

    推荐理由:Mistral Medium 3.5 将模型发布与云端编码智能体结合,文中同时给出性能、部署条件、价格和人工审批机制,便于评估其实际使用路径。

5月18日周一
5月17日周日
5月16日周六
  1. Google DeepMind80

    WeatherNext 如何帮助预测 Hurricane Melissa 在 Jamaica 的 Category 5 登陆

    Google DeepMind 的 WeatherNext 帮助 National Hurricane Center 提前五天预测 Hurricane Melissa 将以 Category 5 强度登陆 Jamaica,预测置信度为 80%,提前三天接近 100%。该模型通过 50 个情景组成的 ensemble 同时预测风暴路径和强度,并支持预警、资源调度与疏散协调。

    推荐理由:文章以 Hurricane Melissa 为案例,说明 WeatherNext 如何同时预测路径和强度,并为灾害预警提供更长准备时间。

  2. Google DeepMind91

    Google DeepMind 发布 Gemini 3.5 Flash,主打前沿智能与行动能力

    Google DeepMind 发布 Gemini 3.5 系列的首款模型 Gemini 3.5 Flash,面向智能体和编码任务,已通过 Gemini 应用、Google Search 的 AI Mode 及多项开发者和企业平台提供。

    推荐理由:Gemini 3.5 Flash 将智能体、编码速度与安全训练放在同一发布中,并给出基准结果和面向个人、开发者及企业的开放入口。

5月2日周六
  1. Google Research43

    Google Research 如何通过全球合作与开放资源推动科学影响力

    Google Research 通过全球合作伙伴关系、开源软件和开放数据推动开放科学,相关资源已服务全球超过250,000名研究人员和开发者。其成果涵盖基因组学、神经科学、地球与大气建模、生物多样性及医疗健康,包括处理250万名个体基因组数据的工具、MedGemma 和 NeuralGCM。 Open Health Stack 已在超过10个国家部署,覆盖超过6500万名受益者。

4月30日周四
  1. Google DeepMind87

    Google DeepMind 发布 AI co-clinician 医疗研究计划

    Google DeepMind 宣布 AI co-clinician 研究计划,探索在医生临床监督下让 AI 智能体参与患者照护。系统在 98 个基层医疗查询中有 97 个未出现关键错误,并在药物问答和实时音视频模拟中展现能力;在 140 项问诊能力评估中,专家医生整体表现更好,AI co-clinician 在其中 68 项达到或超过基层医生水平。

    推荐理由:文章同时报告了临床证据检索与实时多模态问诊模拟结果,呈现了 AI co-clinician 的能力边界和安全设计。

  2. Google Research84

    Google Research 总结 Empirical Research Assistance 在四类科学问题中的应用

    Google Research 总结 Empirical Research Assistance(ERA)在流行病学、宇宙学、气候研究和神经科学中的四项应用。ERA 被用于预测美国各州流感、COVID-19 和 RSV 住院情况,探索宇宙弦引力辐射的数学解,从 GOES East 卫星数据推导每 10 分钟的柱平均 CO2 估计,并根据斑马鱼神经连接提出可解释的神经回路机制。

    推荐理由:文章通过四个跨学科案例展示 ERA 如何处理预测、理论计算、卫星观测和神经回路建模,具体呈现 AI 辅助科学研究的应用路径。

4月23日周四
  1. Google Research78

    Google Photos 的 Auto frame 可在拍摄后重构照片视角

    Google Photos 已在 Auto frame 中加入基于3D场景理解和生成式 AI 的自动重构功能,可在拍摄后调整相机位置、方向和焦距,生成新的照片视角。该方法先估计3D点图与人脸信息,再用生成式 latent diffusion 模型补全原照片未捕捉到的区域,并可改善人像广角镜头造成的透视畸变。

    推荐理由:Google Photos 将3D场景估计与生成式修补结合,用于自动调整人像视角和广角畸变,展示了生成式编辑介入拍摄构图的具体路径。