Latent Space· Richard MacManus·· 6 小时前AI 评分75
DecoyCount 测试前沿模型能否识别视觉诱饵
Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning
AI 导读
Elorian 与 Mercor 发布 DecoyCount 基准,测试语言模型是否真正计数物体,而不是依赖视觉捷径和替代启发式。论文中的前沿模型准确率均低于 50%,GPT-6 Astra 最高为 43.17%;Elorian 称 Glimpse 在内部测试中以 50.48% 超过 1,660 道题的 50% 门槛。
来源:Latent Space · latent.space