跳到正文
原文
Hugging Face Blog·· 2026-02-12精选AI 评分75

OpenEnv 实践:在真实环境中评测工具调用智能体

OpenEnv in Practice: Evaluating Tool-Using Agents in Real-World Environments

AI 导读

Hugging Face、Meta 与 Turing 介绍了用于真实系统智能体评测的开源框架 OpenEnv,以及生产级日历环境 Calendar Gym。Calendar Gym 通过权限控制、部分可观测性和多步工作流测试智能体,明确日历标识时成功率接近 90%,改用自然语言描述后降至约 40%;超过一半的错误来自工具参数格式错误或调用顺序不当。

推荐理由

文章通过 Calendar Gym 展示了真实环境评测如何暴露智能体在多步执行、歧义处理和权限约束下的可靠性问题。

来源:Hugging Face Blog · huggingface.co