StateBench 基准测试语言模型在长文档中跟踪状态变化的能力

Hugging Face 发布 StateBench，用于评估语言模型在长文档中跟踪实体状态变化的能力，并将任务分为四个复杂度等级。测试显示，Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在更难的状态跟踪任务上随输入变长而明显退化，最长的一般有限问题准确率降至 13% 或更低。