BenchMIRT：LLM 基准测试究竟测量了什么？

Allen Institute 介绍 BenchMIRT，一种在单个提示词和任务层面审计 LLM 基准测试的方法。它基于 100 个 LLM、16 个基准和超过 34K 道题的结果，独立识别出安全与通用推理两个主要维度，并发现 BBQ、WMDP 等基准的得分可能混合了不同能力信号。