全书目录

附录 G:分章资料清单

G.67 第 34 章《Benchmark 为什么改变了人们对 Agent 的理解》资料清单

7 分钟 3,141 字 第 123 / 161 个阅读单元
  1. WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents 作者/机构:Shunyu Yao 等 年份:2022 URL:https://openreview.net/forum?id=R9KnuFlvnU 角度:早期 grounded web interaction benchmark 采用原因:适合支撑“benchmark 首先把 Agent 从静态问答拉进环境交互”。

  2. Mind2Web: Towards a Generalist Agent for the Web 作者/机构:Xiang Deng 等 年份:2023 URL:https://openreview.net/forum?id=kiYqbO3wqw 角度:真实开放网站、跨站泛化 采用原因:适合支撑“benchmark 逐步提高环境真实性,重画能力边界”。

  3. WebArena: A Realistic Web Environment for Building Autonomous Agents 作者/机构:Shuyan Zhou 等 年份:2024 URL:https://openreview.net/forum?id=zlsj9akpaa 角度:真实网站环境、execution-based evaluation 采用原因:适合支撑“终态验证改变了大家对 Agent 成熟度的判断”。

  4. AgentBench: Evaluating LLMs as Agents 作者/机构:Xiao Liu 等 年份:2024 URL:https://openreview.net/forum?id=zAdUB0aCTQ 角度:多环境、多任务、多能力维度 采用原因:适合支撑“benchmark 正在重新定义 Agent 能力,而不是只给分”。

  5. AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents 作者/机构:Chang Ma 等 年份:2024 URL:https://arxiv.org/abs/2401.13178 角度:分析性评测、progress rate、轨迹可视化 采用原因:适合支撑“benchmark 从结果比较升级到过程分析”。

  6. OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments 作者/机构:Tianbao Xie 等 年份:2024 URL:https://openreview.net/forum?id=tN61DTr4Ed 角度:真实桌面环境、多模态、长轨迹 采用原因:适合支撑“benchmark 迫使领域面对真实 computer-use 难度,而不是停在网页或文本层”。

  7. SWE-bench: Can Language Models Resolve Real-World GitHub Issues? 作者/机构:John Yang 等 年份:2023 URL:https://arxiv.org/abs/2310.06770 角度:真实仓库、真实 issue、可验证修复 采用原因:适合支撑“benchmark 让 coding agent 从‘会写代码’转为‘能解决真实任务’”。

  8. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Customer Service 作者/机构:Yan Wang 等 年份:2024 URL:https://arxiv.org/abs/2406.12045 角度:tool-agent-user 三方交互、过程与结果联合评测 采用原因:适合支撑“benchmark 也在改写对交互型 Agent 能力的理解”。

  9. Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models 作者/机构:Andy K. Zhang 等 年份:2024 URL:https://arxiv.org/abs/2408.08926 角度:高风险环境、子任务完成度、中间步骤分析 采用原因:适合支撑“高风险 benchmark 会把过程质量和风险边界拉到前台”。

  10. AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents 作者/机构:Maksym Andriushchenko 等 年份:2024 URL:https://arxiv.org/abs/2410.09024 角度:有害任务执行能力与拒绝能力评测 采用原因:适合支撑“benchmark 改变的不只是能力理解,也包括风险理解”。

  11. Agent Security Bench (ASB): Formalizing and Benchmarking Attacks and Defenses in LLM-based Agents 作者/机构:Hanrong Zhang 等 年份:2024 URL:https://arxiv.org/abs/2410.02644 角度:攻击/防御 benchmark、一体化安全评测 采用原因:适合支撑“安全 benchmark 重新定义了什么叫 Agent 的真实脆弱点”。

  12. AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories 作者/机构:Xing Han Lu 等 年份:2025 URL:https://arxiv.org/abs/2504.08942 角度:trajectory quality、side effects、自动评测可靠性 采用原因:适合支撑“benchmark 本身正在进化为轨迹级与副作用级工具”。

  13. Web-Shepherd: Advancing PRMs for Reinforcing Web Agents 作者/机构:Hyungjoo Chae 等 年份:2025 URL:https://arxiv.org/abs/2505.15277 角度:process reward model、步骤级监督 采用原因:适合支撑“benchmark 反向推动过程监督成为主流研究路径”。

  14. Trace grading 作者/机构:OpenAI 年份:2026 URL:https://developers.openai.com/api/docs/guides/trace-grading 角度:对 agent 轨迹进行结构化评分 采用原因:适合支撑“benchmark 对工程产品的反作用是让轨迹评测进入官方工具链”。

  15. Agent evals 作者/机构:OpenAI 年份:2026 URL:https://developers.openai.com/api/docs/guides/agent-evals 角度:workflow eval、回归评测、失败归因 采用原因:适合支撑“benchmark 思维已从研究转入工程与产品”。