Evaluating model performance 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/evals 角度:评测设计、数据集、offline/online eval、回归评测 采用原因:适合支撑“生产级 Agent 评测必须成为持续工程实践,而不是一次性测试”。
Tracing 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/tracing 角度:对 agent execution 的 trace、spans、tool calls 与可观测性支持 采用原因:适合支撑“没有轨迹,就无法做真正的 Agent 评测与归因”。
Graders guide 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/graders 角度:LLM-as-grader、规则与模型结合、细粒度质量判断 采用原因:适合支撑“轨迹评测需要对中间步骤和局部行为做结构化打分”。
Trace and Observe AI Agents in Microsoft Foundry 作者/机构:Microsoft Azure 年份:2025 URL:https://learn.microsoft.com/en-us/azure/ai-foundry/agents/concepts/tracing 角度:threads、messages、runs、tool activity 的全链路观测 采用原因:适合支撑“生产环境中的 Agent 已经把轨迹采集视为基础设施,而不是附加功能”。
LangSmith Evaluation 作者/机构:LangChain 年份:2026 URL:https://docs.langchain.com/langsmith/evaluation 角度:运行集评测、回放评测、LLM-as-judge、自定义 rubrics 采用原因:适合支撑“轨迹评测不仅适用于研究 benchmark,也适用于工程回归测试与在线分析”。
LangSmith Observability Quickstart 作者/机构:LangChain 年份:2026 URL:https://docs.langchain.com/langsmith/observability-quickstart 角度:trace 采集、运行链可视化、调试与分析 采用原因:适合支撑“没有 trace 可视化,团队很难在复杂 Agent 流程中定位真实偏移点”。
AgentBench: Evaluating LLMs as Agents 作者/机构:Xiao Liu 等 年份:2023 URL:https://arxiv.org/abs/2308.03688 角度:多环境、多任务 agent benchmark,强调行动与环境交互 采用原因:适合支撑“Agent 评测必须走出静态问答,进入可执行环境”。
AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents 作者/机构:Yifan Wang 等 年份:2024 URL:https://arxiv.org/abs/2401.13178 角度:多任务、多维度 agent 评测与分析框架 采用原因:适合支撑“仅看最终成功率不足以刻画 Agent 的能力画像,需要多维分析面板”。
WebArena: A Realistic Web Environment for Building Autonomous Agents 作者/机构:Tianbao Xie 等 年份:2023 URL:https://arxiv.org/abs/2307.13854 角度:真实网页环境、多步交互、复杂任务 采用原因:适合支撑“真实环境中的轨迹复杂度远高于静态 benchmark,只看最终页面状态不够”。
OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments 作者/机构:Xudong Pan 等 年份:2024 URL:https://arxiv.org/abs/2404.07972 角度:真实计算机环境、开放任务、长轨迹、多模态交互 采用原因:适合支撑“computer-use agent 的评测天然需要关注长轨迹和中间动作,而不是只看最终完成率”。
SWE-bench: Can Language Models Resolve Real-World GitHub Issues? 作者/机构:John Yang 等 年份:2023 URL:https://arxiv.org/abs/2310.06770 角度:真实软件仓库问题、补丁生成与验证 采用原因:适合支撑“即使最终 patch 通过,也仍然需要理解中间推理、检索与修改路径是否可靠”。
τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Customer Service 作者/机构:Yan Wang 等 年份:2024 URL:https://arxiv.org/abs/2406.12045 角度:tool-agent-user 三方交互、用户满意与任务执行联合评测 采用原因:适合支撑“Agent 评测不仅看任务结果,还要看交互过程、工具使用与恢复能力”。
Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models 作者/机构:Andy K. Zhang 等 年份:2024 URL:https://arxiv.org/abs/2408.08926 角度:可执行环境、子任务完成度、中间步骤分析 采用原因:适合支撑“在高风险环境里,过程评测往往比最终是否成功更重要”。
Agent Security Bench: Formalizing and Benchmarking Attacks and Defenses for LLM-based Agents 作者/机构:Zhiyang Deng 等 年份:2025 URL:https://openreview.net/forum?id=cNkHKxPASl 角度:攻击/防御过程的系统性 benchmark 采用原因:适合支撑“安全评测如果不看中间轨迹,就无法发现真正的越界与脆弱路径”。
Let's Verify Step by Step 作者/机构:Hunter Lightman 等 年份:2023 URL:https://arxiv.org/abs/2305.20050 角度:process supervision、对中间步骤进行验证 采用原因:适合支撑“过程监督优于只看最终结果的核心思想,也可迁移到 Agent 轨迹评测”。
OpenAI Evals design guide 作者/机构:OpenAI Cookbook 年份:2025 URL:https://cookbook.openai.com/examples/evaluation/use-cases/evalsapi_tools_evaluation 角度:工具使用评测、分解式 grader、回归测试 采用原因:适合支撑“tool-call 正确性和轨迹打分可以被正式工程化,而不只是人工抽查”。
Observability and session replay 作者/机构:AWS 年份:2026 URL:https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/browser-observability.html 角度:会话回放、DOM 变化、网络事件、调试与复盘 采用原因:适合支撑“session replay 是轨迹评测和故障定位的关键基础设施”。
AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways 作者/机构:Ahsan Ayub 等 年份:2025 URL:https://arxiv.org/abs/2508.09266 角度:隐藏失败、攻击路径、评测盲区与防御评估 采用原因:适合支撑“只看结果会漏掉许多安全与稳定性问题,必须结合轨迹分析”。
附录 G:分章资料清单