- 官方评测与 trace 主轴:OpenAI
Evaluating model performance/Tracing/Graders guide、OpenAI Cookbooktools evaluation - 生产可观测与 replay 主轴:Microsoft
Tracing、LangSmithEvaluation/Observability、AWSObservability and session replay - 真实环境 benchmark 主轴:
AgentBench、AgentBoard、WebArena、OSWorld、SWE-bench、τ-bench - 高风险与安全轨迹评测主轴:
Cybench、Agent Security Bench、AI Agents Under Threat - 过程监督方法主轴:
Let's Verify Step by Step - 本章落点主轴:结果评测回答“有没有成功”,轨迹评测回答“为什么成功、为什么失败、是否能稳定复现”;两者结合才构成 Agent 的真实评测体系
附录 G:分章资料清单