BenchMIRT：LLM 基准测试究竟测量了什么？
Allen Institute 介绍 BenchMIRT，一种在单个提示词和任务层面审计 LLM 基准测试的方法。它基于 100 个 LLM、16 个基准和超过 34K 道题的结果，独立识别出安全与通用推理两个主要维度，并发现 BBQ、WMDP 等基准的得分可能混合了不同能力信号。
推荐理由：BenchMIRT 将多维 IRT 应用于 100 个 LLM 和 34K 多道题，展示了如何拆解基准分数中的推理与安全信号。
#arXiv
#arXiv
今日 0 条Hugging Face Blog精选AI 评分6969
Berkeley AI Research精选AI 评分7777 ABBEL：教大语言模型更新信念以实现高效长时交互
Berkeley AI Research 提出 ABBEL，通过自然语言信念状态替代完整交互历史，并用 belief grading 监督信念内容，以降低长时交互的上下文记忆开销。
推荐理由：ABBEL 将长交互中的摘要建模为可监督的自然语言信念状态，并用重构评分提升记忆效率，为协作编码等低数据场景提供了可迁移的训练思路。
Hugging Face BlogAI 评分5656 DharmaOCR 对比 Mistral OCR4 与 Unlimited-OCR，展示领域专门化优势
Hugging Face Blog 介绍 DharmaOCR 在巴西葡萄牙语 OCR 基准上以 0.925 的得分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。文章将优势归因于面向巴西葡萄牙语的监督微调，以及用于降低文本退化、提升输出稳定性的 DPO 训练；文中还通过 ENEM 手写作文和小字体文档示例说明多语言模型的识别与稳定性问题。
Hugging Face Blog精选AI 评分7272 ScarfBench 发布企业 Java 框架迁移基准，评估 AI 智能体的构建、部署与行为保持能力
ScarfBench 是一个面向企业 Java 跨框架迁移的开放基准，覆盖 Spring、Jakarta EE 和 Quarkus，包含 34 个应用、204 个迁移任务和 1,331 个专家编写的测试。
推荐理由：ScarfBench把企业 Java 框架迁移拆解为构建、部署和行为验证，为比较编码智能体的真实现代化能力提供了可复用基准。
Hugging Face Blog精选AI 评分6767 DiScoFormer：用一个 Transformer 跨分布估计密度与 score
DiScoFormer是一种密度与 score Transformer，输入一组数据点后，可在单次前向传播中同时估计其分布的密度和 score，无需针对每个新分布重新训练。
推荐理由：DiScoFormer将密度与 score 估计统一到一个可适应的 Transformer 中，并用高维实验展示其相对 KDE 的误差优势。
Berkeley AI Research精选AI 评分6060 GRASP：面向长时域世界模型的梯度规划方法
Berkeley AI Research 介绍 GRASP，一种面向世界模型长时域规划的梯度规划器，通过提升状态、对状态迭代注入随机噪声，并避开脆弱的状态输入梯度来优化动作。
推荐理由：文章解释了长时域世界模型规划为何容易失稳，并给出通过状态提升、状态噪声和梯度重塑改善规划的具体方法。
Google Research精选AI 评分6767 Google Research 用高温超导问题评测六个 LLM 的科学问答能力
Google Research 与 Cornell University 合作，使用 67 个高温超导研究问题评测六个 LLM，并由专家按观点平衡、完整性、简洁性和证据等指标评分。
推荐理由：这项研究比较了开放网络数据与专家精选文献对专业问答的影响，为评估科学领域 LLM 的证据完整性和观点平衡提供了具体案例。