- 官方成本与延迟优化主轴:OpenAI
Latency optimization/Batch API/Prompt Caching、AnthropicPrompt caching/Token-efficient tool use/Maximizing parallel tool use - 并发、排队与尾延迟主轴:
The Tail at Scale、SEDA、AWSAvoiding insurmountable queue backlogs、Google SREHandling Overload - 容错与失败处理主轴:AWS
Timeouts, retries, and backoff with jitter、Martin FowlerCircuit Breaker - 模型路由与成本优化主轴:
FrugalGPT、RouteLLM - 运行期稳定性与观测主轴:
NIST GenAI Profile、AWSObservability and session replay - 本章落点主轴:Agent 的生产可行性取决于单位任务经济性,而单位任务经济性由成本、尾延迟、并发排队和失败恢复共同决定
附录 G:分章资料清单