全书目录

附录 G:分章资料清单

G.59 第 30 章《成本、延迟、并发、容错与运行经济学》资料清单

8 分钟 3,210 字 第 115 / 161 个阅读单元
  1. Latency optimization 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/latency-optimization 角度:延迟优化、模型选择、输出控制、并行化与流式返回 采用原因:适合支撑“Agent 延迟不是单次模型速度,而是整条调用链预算问题”。

  2. Batch API guide 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/batch 角度:异步批处理、成本折扣、吞吐优化 采用原因:适合支撑“同步与异步拆分是运行经济学里的核心设计决策”。

  3. Prompt Caching 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/prompt-caching 角度:重复前缀缓存、长上下文成本优化 采用原因:适合支撑“长上下文 Agent 的成本优化很大一部分来自缓存,而不是纯粹换模型”。

  4. Prompt caching 作者/机构:Anthropic 年份:2026 URL:https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching 角度:缓存前缀、重复上下文复用、成本与延迟优化 采用原因:适合支撑“缓存已成为主流模型平台共同提供的运行经济学基础设施”。

  5. Token-efficient tool use 作者/机构:Anthropic 年份:2026 URL:https://docs.anthropic.com/en/docs/agents-and-tools/tool-use/token-efficient-tool-use 角度:减少工具使用中的 token 开销、压缩往返上下文 采用原因:适合支撑“Agent 成本不只是模型本身,工具调用编排方式也会显著影响总成本”。

  6. Maximizing parallel tool use 作者/机构:Anthropic 年份:2026 URL:https://docs.anthropic.com/en/docs/agents-and-tools/tool-use/maximizing-parallel-tool-use 角度:并行工具调用、减少串行等待 采用原因:适合支撑“Agent 延迟优化的关键之一是把可并行步骤从串行链中拆出来”。

  7. Timeouts, retries, and backoff with jitter 作者/机构:AWS Builders Library 年份:2020 URL:https://aws.amazon.com/builders-library/timeouts-retries-and-backoff-with-jitter/ 角度:超时预算、重试策略、退避与抖动 采用原因:适合支撑“容错不是盲目重试,而是预算化重试与系统稳定性设计”。

  8. Avoiding insurmountable queue backlogs 作者/机构:AWS Builders Library 年份:2021 URL:https://aws.amazon.com/builders-library/avoiding-insurmountable-queue-backlogs/ 角度:排队积压、背压、限流、削峰 采用原因:适合支撑“并发压力下真正的风险是队列失控,而不是单个请求变慢”。

  9. Handling Overload 作者/机构:Google SRE 年份:2022 URL:https://sre.google/sre-book/handling-overload/ 角度:过载处理、负载削减、优雅降级、服务保护 采用原因:适合支撑“Agent 高峰期必须具备 graceful degradation,而不能假设所有请求都能被完整服务”。

  10. The Tail at Scale 作者/机构:Jeffrey Dean、Luiz Andre Barroso 年份:2013 URL:https://research.google/pubs/the-tail-at-scale/ 角度:尾延迟、分布式服务长尾放大 采用原因:适合支撑“多步 Agent 流程对尾延迟极其敏感,单步不慢不代表整链不慢”。

  11. Circuit Breaker 作者/机构:Martin Fowler 年份:2014 URL:https://martinfowler.com/bliki/CircuitBreaker.html 角度:熔断器、失败隔离、快速失败 采用原因:适合支撑“容错不是无限尝试,而是必要时主动切断错误传播”。

  12. SEDA 作者/机构:Matt Welsh、David Culler、Eric Brewer 年份:2001 URL:https://www.usenix.org/legacy/events/usits03/tech/full_papers/welsh/welsh.pdf 角度:staged event-driven architecture、排队、过载控制、并发管理 采用原因:适合支撑“Agent 系统的并发和背压问题,本质上仍然服从经典分布式系统规律”。

  13. FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance 作者/机构:Banghua Zhu 等 年份:2023 URL:https://arxiv.org/abs/2305.05176 角度:模型级联、预算约束、成本性能平衡 采用原因:适合支撑“运行经济学会推动大小模型协同,而不是永远上最大模型”。

  14. RouteLLM: Learning to Route LLMs with Preference Data 作者/机构:Shishir Patil 等 年份:2024 URL:https://arxiv.org/abs/2406.18665 角度:模型路由、质量-成本折中、动态选择 采用原因:适合支撑“预算感知路由是 Agent 经济学的重要手段之一”。

  15. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile 作者/机构:NIST 年份:2024 URL:https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence 角度:可靠性、运行期监控、资源与风险管理 采用原因:适合支撑“运行经济学并不只关乎成本,也关乎资源约束下的稳定性与可恢复性”。

  16. Observability and session replay 作者/机构:AWS 年份:2026 URL:https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/browser-observability.html 角度:会话回放、运行观测、调试成本 采用原因:适合支撑“运维成本和故障复盘成本也是 Agent 运行经济学的一部分”。