跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 87 条
今天10月2日周五
  1. TechCrunch · AI76

    OpenAI 为 ChatGPT 全球推出虚拟试穿和商品收藏功能

    OpenAI 全球推出 ChatGPT 的虚拟试穿和 Favorites 功能,用户可上传自拍、全身照或商品图片,在购物结果中预览服装和配饰效果。新功能使用 ChatGPT Images 2.5,并可将收藏商品与试穿图片保存到应用 Library;用户还可以描述穿搭或上传名人造型图片,让 ChatGPT 寻找可购买的商品。

    推荐理由:文章梳理了 ChatGPT 将虚拟试穿与商品收藏接入购物结果的具体方式,也交代了其与 Google 等既有服务的竞争背景。

10月1日周四
  1. The Verge · AI79

    OpenAI 发布 Dots 智能体,挑战 Meta 的 Muse

    OpenAI 在 DevDay 发布由 GPT-6 Astra 驱动的 Dots 智能体,主打长期任务、知识工作和构建虚拟世界,但目前仅限 $100/月及以上的 ChatGPT Pro 用户使用。

    推荐理由:文章围绕 Dots 与 Muse 的价格、任务范围和隐私取舍展开比较,呈现了 OpenAI 进军智能体市场的产品策略。

  2. Google DeepMind90

    Google DeepMind 发布 Gemini 4 Argon,强化长程推理与网络安全防御

    Google DeepMind 宣布 Gemini 4 Argon,这款新模型面向软件工程、法律和金融等企业知识工作,以及网络安全防御,正在通过 Fairwind Program 向可信网络防御者分阶段开放。

    推荐理由:文章同时给出 Gemini 4 Argon 的长程任务能力、评测结果、定价与分阶段开放安排,便于了解其面向企业和安全场景的落地边界。

9月30日周三
  1. Google DeepMind86

    Google DeepMind 发布 SynthID Bio,为AI生成蛋白质添加生物水印

    Google DeepMind 发布 SynthID Bio,可将不可见签名嵌入AI生成的蛋白质序列和预测的3D结构,并在合成后的物理蛋白质中验证。实验显示,经过水印处理的蛋白质结合剂在VEGF-A、SARS-CoV-2 spike protein RBD和PD-L1三种目标上保持了与未加水印设计相当的命中率、结合亲和力和自然序列多样性。

    推荐理由:SynthID Bio把水印嵌入蛋白质序列和预测结构,并在实验中保持生物功能,为AI生成生物设计的来源核验提供了具体路径。

9月29日周二
  1. AWS Machine Learning Blog64

    Condé Nast 如何用 Amazon Bedrock 构建多模态视频发现系统

    Condé Nast 与 AWS Generative AI Innovation Center 基于 Amazon Bedrock、Amazon OpenSearch Service 和 TwelveLabs Marengo,构建了跨视频画面、音频和字幕的意图检索系统。

    推荐理由:文章以 Condé Nast 的生产案例说明多模态视频检索如何通过解耦架构和异步处理兼顾大规模回填与低延迟搜索。

  2. Microsoft Research84

    Microsoft Research 推出 Quine 生物学 AI 研究系统

    Microsoft Research 推出 Quine,这是一个面向生物学复杂性的多模态世界模型与交互式研究系统,可连接科学工具、文献、湿实验和研究人员。在与 Broad Institute 合作的胰腺癌研究中,Quine 对数千种化合物进行预测和排序,最高排名化合物在多个湿实验中产生了最大的预期细胞状态变化,筛选到候选验证仅用一个周末完成。

    推荐理由:Quine把生物学世界模型与科学工具、文献和实验连接起来,并以胰腺癌细胞状态研究展示了从预测到湿实验验证的工作流程。

  3. AWS Machine Learning Blog82

    Grok 4.7 现已在 Amazon Bedrock 上线

    xAI 的 Grok 4.7 已在 Amazon Bedrock 模型目录上线,支持编码、长时智能体和知识工作,提供 500K token 上下文窗口与 low、medium、high、xhigh 四档推理强度。

    推荐理由:文章把 Grok 4.7 在 Amazon Bedrock 上的接入方式、推理开销和权限配置串联起来,便于开发者评估长任务部署方案。

  4. AWS Machine Learning Blog73

    AWS 在 SageMaker AI 上使用 vLLM-Omni 部署 Qwen3-TTS 实时语音应用

    AWS 介绍如何在 SageMaker AI 上使用 AWS vLLM-Omni Deep Learning Container 部署 Qwen3-TTS,通过持久双向连接流式发送文本并接收音频。教程提供仓库、部署脚本和 Gradio 客户端,音频以 24 kHz PCM chunks 返回,并说明 SageMaker 实例池、环境配置、端点调用与资源清理流程。

    推荐理由:文章给出从环境配置到资源清理的完整部署路径,并说明双向流式连接与实例池配置,便于复现实时语音输出方案。

9月25日周五
  1. Google DeepMind83

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,将低延迟流式视频与实时语音对话结合,生成具备唇形同步、表情和连续对话能力的动态视觉化身。该功能支持异步工具调用、97 种语言间切换,并已在 Gemini Enterprise 提供;自定义化身目前仅通过企业 allowlisting 开放,所有输出均带有 SynthID 水印。

    推荐理由:Google DeepMind 展示了 Live Avatar 在实时对话、异步工具调用、多语言同步和品牌定制上的企业应用方式。

9月24日周四
9月23日周三
  1. Google DeepMind83

    Google 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS

    Google 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS,用于生成可定制的角色声音、逐句指导场景对白和大规模语音内容。

    推荐理由:两款模型分别覆盖创意驱动与高量低成本语音生成,并提供声音定制、逐句导演和同意验证,展示了语音模型面向生产应用的能力边界。

9月16日周三
  1. Mistral AI71

    Mistral AI 与 Mozilla 合作,将开放模型接入 Firefox Smart Window

    Mistral AI 宣布与 Mozilla 合作,由 Mistral 模型为 Firefox Smart Window(beta)提供支持,帮助用户理解复杂搜索、找回浏览记录中的重要内容,并根据浏览器标签页整理信息。该功能将先面向法国和北美用户,英国和德国预计于今年晚些时候跟进;对话默认不会保存到 Mozilla 服务器,Mistral 等合作方同意零数据保留。

    推荐理由:Mistral AI 与 Mozilla 将开放模型接入 Firefox Smart Window,材料同时交代了地区范围、隐私机制和本地化语言方向。

  2. Google Research70

    Google Research 提出 Retrieve-for-Train,用扩散模型加速复杂 AI 搜索

    Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train,通过离线 RL 生成监督数据,再将集合级检索行为蒸馏到 53.9M 参数的扩散模型中。该模型可在单次非自回归推理中生成完整目标嵌入集合,相比自回归方法实现 12 到 20 倍加速,并在时延规模扩大时保持亚秒至数秒响应。

    推荐理由:论文展示了如何把离线 RL 学到的集合级检索行为蒸馏进扩散模型,以降低复杂搜索的推理延迟并减少人工标注依赖。

9月10日周四
  1. Hugging Face Blog86

    Hugging Face 用 Gradio Workflow 重建 AUTOMATIC1111 功能集

    Hugging Face 发布 Workflow1111,用单一 Gradio Workflow 画布重建 AUTOMATIC1111 的大部分功能,包含 11 条媒体管线和 73 个节点,覆盖文生图、图生图、放大、检测、背景移除及图生视频。

    推荐理由:文章以完整案例展示 Gradio Workflow 如何把多种媒体管线组合为可编辑画布,并自动提供 REST 与 MCP 接口,便于迁移到实际应用。

9月8日周二
  1. Google DeepMind88

    Google DeepMind 发布 AlphaGenome Atlas,预测人类基因组每种单字母 DNA 变化的影响

    Google DeepMind 发布 AlphaGenome Atlas,为人类基因组约 9 billion 个单核苷酸变体预计算分子影响预测,并通过网站、AlphaGenome API 和 Google Antigravity skill 提供访问。

    推荐理由:AlphaGenome Atlas 将约 9 billion 个单核苷酸变体的预测整合为可检索资源,并展示了其在罕见病和群体遗传研究中的应用。

9月4日周五
  1. Google Research84

    Google Research 发布完整雄性果蝇大脑连接组图谱

    Google Research 与 HHMI Janelia及剑桥等机构合作,发布了雄性果蝇大脑和中枢神经系统的完整连接图谱。该图谱包含超过166,000个神经元和1.25亿个突触连接,是按神经元数量计最大的脑图谱,并可通过 Neuroglancer 查看、探索和下载。研究团队使用计算机和 AI 将电子显微镜图像重建为三维神经结构,图谱经过人类专家标注和校验。

    推荐理由:这项工作展示了 AI 如何协助构建细胞尺度的完整神经连接图,并提供了可视化、探索和下载的数据资源。

9月3日周四
  1. Google DeepMind87

    Google DeepMind 发布 WeatherNext 3 全球天气 AI 模型

    Google DeepMind 和 Google Research 发布 WeatherNext 3 全球天气模型,使用实时卫星数据每小时生成高分辨率预报。模型可在最高 5-kilometer 分辨率下预测天气变量,并提供 100-meter 风速、云量和太阳辐射等清洁能源相关数据。

    推荐理由:WeatherNext 3 将实时卫星观测、小时级更新和更高空间分辨率结合起来,并延伸到降水与可再生能源预测。

  2. Hugging Face Blog78

    Hugging Face发布NeoMME多模态多语言编码器

    Hugging Face发布NeoMME系列多模态多语言编码器,提供260M和800M两种规模,使用单个双向Transformer处理文本token与原始图像patch,并从零开始训练。

    推荐理由:NeoMME同时展示了单塔多模态编码、视觉文档检索和索引压缩方案,便于比较效率、检索质量与存储成本之间的取舍。