Hugging Face Blog·· 2026-02-12精选AI 评分75
OpenEnv 实践:在真实环境中评测工具调用智能体
OpenEnv in Practice: Evaluating Tool-Using Agents in Real-World Environments
AI 导读
Hugging Face、Meta 与 Turing 介绍了用于真实系统智能体评测的开源框架 OpenEnv,以及生产级日历环境 Calendar Gym。Calendar Gym 通过权限控制、部分可观测性和多步工作流测试智能体,明确日历标识时成功率接近 90%,改用自然语言描述后降至约 40%;超过一半的错误来自工具参数格式错误或调用顺序不当。
推荐理由
文章通过 Calendar Gym 展示了真实环境评测如何暴露智能体在多步执行、歧义处理和权限约束下的可靠性问题。
来源:Hugging Face Blog · huggingface.co