全书目录

附录 G:分章资料清单

G.37 第 19 章《动作空间与工具接口:Agent 到底能做什么》资料清单

22 分钟 9,552 字 第 93 / 161 个阅读单元
  1. Function calling 作者/机构:OpenAI 年份:2026 URL:https://developers.openai.com/api/docs/guides/function-calling 角度:tools、JSON Schema、tool_choice、parallel_tool_calls、strict 采用原因:适合支撑“动作空间是被 schema 化声明的工具集合,而不是自由语言能力”。

  2. Computer use 作者/机构:OpenAI 年份:2026 URL:https://developers.openai.com/api/docs/guides/tools-computer-use 角度:computer_call、computer_call_output、GUI 动作循环 采用原因:适合支撑“动作空间可以扩展到桌面与浏览器环境,并通过显式动作回路执行”。

  3. Define tools 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agents-and-tools/tool-use/define-tools 角度:name、description、input_schema、tool_choice 采用原因:适合支撑“工具是被平台编译进运行时的动作契约”。

  4. Tool use with Claude 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agents-and-tools/tool-use/overview 角度:tool_use、tool_result、server/client tool loop 采用原因:适合支撑“动作不是一次回答,而是带结果回填的协议循环”。

  5. Computer use tool 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool 角度:mouse/keyboard/screenshot、sandbox、computer action loop 采用原因:适合支撑“GUI 动作需要被拆成可执行原语并运行在隔离环境中”。

  6. Function calling with the Gemini API 作者/机构:Google 年份:2025 URL:https://ai.google.dev/gemini-api/docs/function-calling 角度:function declarations、OpenAPI 子集、AUTO/ANY/NONE/VALIDATED 采用原因:适合支撑“主流平台都把动作接口做成结构化函数声明”。

  7. Computer Use 作者/机构:Google 年份:2025 URL:https://ai.google.dev/gemini-api/docs/computer-use 角度:视觉动作、Playwright 映射、坐标归一化 采用原因:适合支撑“动作空间不止 API,还可以是视觉接地的界面操作”。

  8. Function tools 作者/机构:Google Agent Development Kit 年份:2026 URL:https://google.github.io/adk-docs/tools-custom/function-tools/ 角度:FunctionTool、LongRunningFunctionTool、异步动作 采用原因:适合支撑“动作接口既可以同步,也可以是长时、可暂停恢复的工具”。

  9. How to use function calling with Azure OpenAI in Microsoft Foundry Models 作者/机构:Microsoft 年份:2025 URL:https://learn.microsoft.com/en-us/azure/foundry/openai/how-to/function-calling 角度:function call 回路、tool_call_id、并行调用 采用原因:适合支撑“工具调用的标准流程是请求、执行、结果回填三段式”。

  10. What are tools in Foundry Agent Service (classic) 作者/机构:Microsoft 年份:2025 URL:https://learn.microsoft.com/en-us/azure/foundry-classic/agents/how-to/tools-classic/overview 角度:OpenAPI、MCP、Function calling、Browser automation、Code Interpreter 采用原因:适合支撑“平台层面的动作空间本来就是多种工具原语的组合”。

  11. Define OpenAPI schemas for your agent's action groups in Amazon Bedrock 作者/机构:AWS 年份:2026 URL:https://docs.aws.amazon.com/bedrock/latest/userguide/agents-api-schema.html 角度:action groups、OpenAPI schema、operation selection 采用原因:适合支撑“Action group 本质是被模型读取和执行的动作契约”。

  12. Configure an Amazon Bedrock Agent to complete tasks with computer use tools 作者/机构:AWS 年份:2026 URL:https://docs.aws.amazon.com/bedrock/latest/userguide/agents-computer-use.html 角度:computer use action group、GUI/命令动作 采用原因:适合支撑“动作空间已扩展到系统层操作,而不只限于查询 API”。

  13. Tools 作者/机构:OpenAI Agents SDK 年份:2026 URL:https://openai.github.io/openai-agents-python/tools/ 角度:hosted tools、function tools、agents as tools、Pydantic 验证 采用原因:适合支撑“工具类型和运行位置共同限定了 Agent 的动作空间”。

  14. Human-in-the-loop 作者/机构:OpenAI Agents SDK 年份:2026 URL:https://openai.github.io/openai-agents-python/human_in_the_loop/ 角度:needs_approval、interruption、恢复执行 采用原因:适合支撑“高风险动作应支持审批、暂停和恢复,而非默认自动执行”。

  15. MCP 作者/机构:OpenAI Agents SDK 年份:2026 URL:https://openai.github.io/openai-agents-python/mcp/ 角度:HostedMCPTool、strict schema、failure_error_function、审批控制 采用原因:适合支撑“跨系统工具接入需要协议、schema 和失败传播机制”。

  16. Guardrails 作者/机构:OpenAI Agents SDK 年份:2026 URL:https://openai.github.io/openai-agents-python/guardrails/ 角度:input/output/tool guardrails、tripwire、中断 采用原因:适合支撑“工具动作应处在运行时校验和阻断机制之下”。

  17. Structured outputs 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/build-with-claude/structured-outputs 角度:strict JSON、strict tool use 采用原因:适合支撑“越接近执行层,越需要严格结构化而不是自由语言”。

  18. How the agent loop works 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agent-sdk/agent-loop 角度:模型决策、工具执行、结果回填、预算和权限控制 采用原因:适合支撑“动作空间是运行时控制器的一部分,而不是模型孤立决定”。

  19. Specification 作者/机构:Model Context Protocol Project 年份:2025 URL:https://modelcontextprotocol.io/specification/2025-06-18 角度:JSON-RPC 2.0、capability negotiation、error reporting、authorization 采用原因:适合支撑“工具接入可以上升到标准协议层,而不是私有 SDK 约定”。

  20. Server Tools 作者/机构:Model Context Protocol Project 年份:2025 URL:https://modelcontextprotocol.io/specification/2025-06-18/server/tools 角度:tools/list、tools/call、output schema、isError 采用原因:适合支撑“tool_result 是结构化协议对象,不是随意返回文本”。

  21. ReAct: Synergizing Reasoning and Acting in Language Models 作者/机构:Shunyu Yao 等 年份:2022 URL:https://openreview.net/forum?id=tvI4u1ylcqs 角度:reasoning + acting、action-observation loop 采用原因:适合支撑“Agent 的动作能力来自推理与执行的交错闭环”。

  22. Toolformer: Language Models Can Teach Themselves to Use Tools 作者/机构:Timo Schick 等 年份:2023 URL:https://openreview.net/forum?id=Yacmpz84TH 角度:何时调用工具、参数生成、结果整合 采用原因:适合支撑“工具使用可以被建模为可学习的动作策略”。

  23. Gorilla: Large Language Model Connected with Massive APIs 作者/机构:Shishir G. Patil 等 年份:2024 URL:https://openreview.net/forum?id=tBRNC6YemY 角度:API 文档检索、参数准确性、API hallucination 采用原因:适合支撑“动作空间的有效使用依赖接口文档与版本感知,而不只是模型常识”。

  24. RestGPT: Connecting Large Language Models with Real-World RESTful APIs 作者/机构:Yifan Song 等 年份:2023 URL:https://arxiv.org/abs/2306.06624 角度:planner、API selector、executor 采用原因:适合支撑“外部执行接口往往需要规划、选择、执行三段式结构”。

  25. API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs 作者/机构:Minghao Li 等 年份:2023 URL:https://aclanthology.org/2023.emnlp-main.187/ 角度:planning、retrieving、calling APIs 采用原因:适合支撑“工具能力必须分解评估,而不是笼统说会不会调工具”。

  26. WebGPT 作者/机构:OpenAI 年份:2021 URL:https://openai.com/index/webgpt/ 角度:search、quote、browser actions 采用原因:适合支撑“浏览器命令本身就是一组离散动作原语”。

  27. WebArena 作者/机构:Shuyan Zhou 等 年份:2024 URL:https://arxiv.org/abs/2307.13854 角度:真实网页环境、functional correctness 采用原因:适合支撑“真实环境中的动作正确率远低于表面问答能力”。

  28. VisualWebArena 作者/机构:Jing Yu Koh 等 年份:2024 URL:https://openreview.net/forum?id=RPKxrKTJbj 角度:视觉网页动作、截图理解、视觉接地 采用原因:适合支撑“动作接口会从文本工具继续扩展到多模态界面操作”。

  29. OSWorld 作者/机构:Tianbao Xie 等 年份:2024 URL:https://openreview.net/forum?id=tN61DTr4Ed 角度:真实计算机环境、多应用协作 采用原因:适合支撑“最终极的动作空间是完整计算机环境,而非单个函数调用”。

  30. SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering 作者/机构:John Yang 等 年份:2024 URL:https://openreview.net/forum?id=mXpq6ut8J3 角度:agent-computer interface、代码环境动作设计 采用原因:适合支撑“接口设计本身会成为 Agent 性能上限的重要变量”。

  31. Dynamic Programming 作者/机构:Richard Bellman 年份:1957 URL:https://books.google.com/books/about/Dynamic_Programming.html?id=Pfgtj_klGsoC 角度:多阶段决策、最优性原理 采用原因:适合支撑“动作空间是控制系统中的可选控制集合”。

  32. STRIPS: A New Approach to the Application of Theorem Proving to Problem Solving 作者/机构:Richard E. Fikes、Nils J. Nilsson 年份:1971 URL:https://www.sciencedirect.com/science/article/pii/0004370271900105 角度:planning operators、前置条件、效果 采用原因:适合支撑“现代工具 schema 本质上仍是 operator 的工程化形式”。

  33. PDDL2.1: An Extension to PDDL for Expressing Temporal Planning Domains 作者/机构:Maria Fox、Derek Long 年份:2003 URL:https://planning.wiki/_citedpapers/pddl212003.pdf 角度:durative actions、资源、并发与时间 采用原因:适合支撑“许多工具动作不是瞬时原子动作,而是带时间与资源语义的操作”。

  34. The Theory of Affordances 作者/机构:James J. Gibson 年份:1979 URL:https://cyberlaw.stanford.edu/content/files/courses/cs137/readings/gibson-aff.pdf 角度:affordance、环境所提供的行动可能性 采用原因:适合支撑“动作空间取决于 agent 与环境接口的匹配,而不只是模型意图”。

  35. Between MDPs and Semi-MDPs 作者/机构:Richard S. Sutton、Doina Precup、Satinder Singh 年份:1999 URL:https://people.cs.umass.edu/~barto/courses/cs687/Sutton-Precup-Singh-AIJ99.pdf 角度:options、temporal abstraction 采用原因:适合支撑“高层技能与宏动作是现代 Agent 动作设计的重要基础”。

  36. API-Bank 作者/机构:Minghao Li 等 年份:2023 URL:https://arxiv.org/abs/2304.08244 角度:工具基准、planning/retrieving/calling 采用原因:适合支撑“动作空间的可用性需要专门 benchmark,而不只是接口文档”。

  37. ToolTalk 作者/机构:Nicholas Farn、Richard Shin 年份:2023 URL:https://arxiv.org/abs/2311.10775 角度:多轮工具使用、会话环境评测 采用原因:适合支撑“动作能力应在多轮推进中衡量,而不是静态单调用”。

  38. T-Eval 作者/机构:Zehui Chen 等 年份:2024 URL:https://aclanthology.org/2024.acl-long.515/ 角度:逐步评测工具使用过程 采用原因:适合支撑“轨迹正确性比最终答案更能暴露动作问题”。

  39. StableToolBench 作者/机构:Zhicheng Guo 等 年份:2024 URL:https://arxiv.org/abs/2403.07714 角度:稳定 API 模拟、评测可靠性 采用原因:适合支撑“工具评测本身也需要稳定执行环境,否则无法比较模型动作能力”。

  40. RoTBench 作者/机构:Junjie Ye 等 年份:2024 URL:https://aclanthology.org/2024.emnlp-main.19/ 角度:噪声环境下的工具鲁棒性 采用原因:适合支撑“动作空间不仅要可用,还要在脏输入和噪声环境下稳健”。

  41. τ-bench 作者/机构:Shunyu Yao 等 年份:2024 URL:https://arxiv.org/abs/2406.12045 角度:user-agent-tool 交互、pass^k、一致性 采用原因:适合支撑“重复执行一致性是动作可靠性的关键指标”。

  42. AppWorld 作者/机构:Harsh Trivedi 等 年份:2024 URL:https://arxiv.org/abs/2407.18901 角度:跨 app 交互、状态测试、collateral damage 采用原因:适合支撑“工具动作需要用状态变化和副作用来评测,而非文本匹配”。

  43. ToolSandbox 作者/机构:Jiarui Lu 等 年份:2025 URL:https://aclanthology.org/2025.findings-naacl.65/ 角度:stateful tools、milestone evaluation 采用原因:适合支撑“动作能力是状态化轨迹能力,而不只是一次函数匹配”。

  44. ToolHop 作者/机构:Junjie Ye 等 年份:2025 URL:https://aclanthology.org/2025.acl-long.150/ 角度:multi-hop tool use、依赖链 采用原因:适合支撑“多步依赖动作会显著放大错误面和编排难度”。

  45. BFCL 作者/机构:UC Berkeley / Gorilla 年份:2025 URL:https://gorilla.cs.berkeley.edu/leaderboard 角度:function calling leaderboard、agentic evaluation、cost/latency 采用原因:适合支撑“工具评测正在从格式正确率走向更接近生产的 agentic evaluation”。

  46. Operator System Card 作者/机构:OpenAI 年份:2025 URL:https://openai.com/index/operator-system-card/ 角度:computer use 风险、确认、缓解措施 采用原因:适合支撑“GUI 和 computer use 动作空间会带来执行级风险,而非单纯文本风险”。

  47. Claude Code sandboxing 作者/机构:Anthropic 年份:2026 URL:https://docs.anthropic.com/en/docs/claude-code/security 角度:sandbox、权限分离、执行限制 采用原因:适合支撑“高能力动作必须运行在隔离环境中,避免直接扩大权限边界”。

  48. NIST GAI Profile 作者/机构:NIST 年份:2024 URL:https://doi.org/10.6028/NIST.AI.600-1 角度:风险管理、外部系统访问、监控与响应 采用原因:适合支撑“动作空间安全不是提示词问题,而是治理与风险控制问题”。

  49. OWASP LLM06:2025 Excessive Agency 作者/机构:OWASP GenAI Security Project 年份:2025 URL:https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ 角度:功能过度、权限过度、自主性过度 采用原因:适合支撑“动作空间过大且权限过宽会形成 Excessive Agency 风险”。