A practical guide to building agents 作者/机构：OpenAI 年份：2025 URL：https://openai.com/business/guides-and-resources/a-practical-guide-to-building-ai-agents/ 角度：先强模型建基线、再逐步降配 采用原因：适合支撑“分层是官方推荐的生产工程方法，而不是经验主义”。
Introducing GPT-4.1 in the API 作者/机构：OpenAI 年份：2025 URL：https://openai.com/index/gpt-4-1/ 角度：4.1 / mini / nano 梯队、能力-时延-成本分层 采用原因：适合支撑“官方产品族本身就是分层梯队设计”。
Building effective agents 作者/机构：Anthropic 年份：2024 URL：https://www.anthropic.com/engineering/building-effective-agents 角度：routing workflow、按输入类型分流 采用原因：适合支撑“路由是 Agent 基本工作流，而不是附加技巧”。
GenerationConfig 作者/机构：Google Cloud 年份：2026 URL：https://cloud.google.com/vertex-ai/generative-ai/docs/reference/rest/v1beta1/GenerationConfig 角度：RoutingConfig、自动路由、质量/成本偏好 采用原因：适合支撑“官方 API 已直接暴露分层路由能力”。
Google models 作者/机构：Google Cloud 年份：2026 URL：https://cloud.google.com/vertex-ai/generative-ai/docs/models 角度：Pro / Flash / Flash-Lite 梯队 采用原因：适合支撑“不同负载天然匹配不同模型等级”。
Model router for Microsoft Foundry concepts 作者/机构：Microsoft 年份：2026 URL：https://learn.microsoft.com/en-us/azure/ai-foundry/openai/concepts/model-router 角度：Balanced / Cost / Quality、fallback、model subset 采用原因：适合支撑“分层路由已被正式产品化为控制面能力”。
Amazon Bedrock Intelligent Prompt Routing is now available in preview 作者/机构：AWS 年份：2024 URL：https://aws.amazon.com/about-aws/whats-new/2024/12/amazon-bedrock-intelligent-prompt-routing-preview/ 角度：同家族大/小模型动态切换 采用原因：适合支撑“云平台默认支持大小模型混合服务”。
FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance 作者/机构：Lingjiao Chen, Matei Zaharia, James Zou 年份：2023 URL：https://arxiv.org/abs/2305.05176 角度：级联、近似、prompt adaptation、显著降本 采用原因：适合支撑“便宜模型前置、强模型兜底有强实证基础”。
Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing 作者/机构：Dujian Ding 等 年份：2024 URL：https://arxiv.org/abs/2404.14618 角度：难度感知路由、减少大模型调用 采用原因：适合支撑“并非所有请求都值得升级到大模型”。
RouteLLM: Learning to Route LLMs with Preference Data 作者/机构：Isaac Ong 等 年份：2024 URL：https://arxiv.org/abs/2406.18665 角度：偏好学习路由、成本-质量权衡 采用原因：适合支撑“路由可以被系统学习，而不只是手工规则”。
RouterBench: A Benchmark for Multi-LLM Routing System 作者/机构：Qitian Jason Hu 等 年份：2024 URL：https://arxiv.org/abs/2403.12031 角度：多 LLM 路由公共评测 采用原因：适合支撑“分层系统的收益可以被统一 benchmark 验证”。
A Unified Approach to Routing and Cascading for LLMs 作者/机构：Jasper Dekoninck 等 年份：2024 URL：https://arxiv.org/abs/2410.10347 角度：route + cascade 统一化 采用原因：适合支撑“真正有效的结构往往是路由和级联的组合”。
Adaptive LLM Routing under Budget Constraints 作者/机构：Pranoy Panda 等 年份：2025 URL：https://aclanthology.org/2025.findings-emnlp.1301/ 角度：预算约束、contextual bandit 路由 采用原因：适合支撑“分层路由本质是预算约束下的连续决策”。
Firewall Routing: Blocking Leads to Better Hybrid Inference for LLMs 作者/机构：Runyu Peng 等 年份：2025 URL：https://aclanthology.org/2025.emnlp-main.331/ 角度：blocking、ROI 优化、避免无效升级 采用原因：适合支撑“不是所有复杂请求都值得继续升级到最贵层”。
RouterEval: A Comprehensive Benchmark for Routing LLMs 作者/机构：Zhongzhan Huang 等 年份：2025 URL：https://aclanthology.org/2025.findings-emnlp.208/ 角度：大规模 routing benchmark、路由评测 采用原因：适合支撑“路由本身需要持续标准化评测”。
DistilBERT, a distilled version of BERT 作者/机构：Victor Sanh 等 年份：2019 URL：https://arxiv.org/abs/1910.01108 角度：蒸馏、小模型、速度与成本优势 采用原因：适合支撑“很多轻量任务完全可以由更小模型承接”。
TinyBERT: Distilling BERT for Natural Language Understanding 作者/机构：Xiaoqi Jiao 等 年份：2020 URL：https://aclanthology.org/2020.findings-emnlp.372.pdf 角度：任务专用化蒸馏 采用原因：适合支撑“专用化小模型在清晰任务边界下更高效”。
Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone 作者/机构：Marah Abdin 等 年份：2024 URL：https://arxiv.org/abs/2404.14219 角度：小模型能力上限、本地部署 采用原因：适合支撑“高质量小模型已经足以覆盖不少生产场景”。
Model Distillation in the API 作者/机构：OpenAI 年份：2024 URL：https://openai.com/index/api-model-distillation/ 角度：工业界蒸馏、frontier-to-mini 迁移 采用原因：适合支撑“先用大模型建上限，再蒸馏到小模型是现实路径”。
Introducing Structured Outputs in the API 作者/机构：OpenAI 年份：2024 URL：https://openai.com/index/introducing-structured-outputs-in-the-api/ 角度：结构化任务、mini 支持、约束解码 采用原因：适合支撑“抽取和结构化任务未必需要最大模型”。
Efficient Memory Management for Large Language Model Serving with PagedAttention 作者/机构：Woosuk Kwon 等 年份：2023 URL：https://arxiv.org/abs/2309.06180 角度：KV cache、内存效率、吞吐提升 采用原因：适合支撑“真实成本还取决于 cache 管理与并发承载能力”。
Orca: A Distributed Serving System for Transformer-Based Generative Models 作者/机构：Gyeong-In Yu 等 年份：2022 URL：https://www.usenix.org/system/files/osdi22-yu.pdf 角度：iteration-level scheduling、吞吐与排队时延 采用原因：适合支撑“服务调度会显著改变大模型经济性”。
DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving 作者/机构：Yinmin Zhong 等 年份：2024 URL：https://arxiv.org/abs/2401.09670 角度：prefill / decode 解耦、goodput、SLO 采用原因：适合支撑“成本平衡要看有效吞吐，不只看模型标价”。
Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve 作者/机构：Amey Agrawal 等 年份：2024 URL：https://arxiv.org/abs/2403.02310 角度：throughput-latency tradeoff、chunked prefill 采用原因：适合支撑“推理流水线设计直接进入成本模型”。
Mastering LLM Techniques: Inference Optimization 作者/机构：NVIDIA 年份：2023 URL：https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/ 角度：prefill、decode、KV cache、长上下文成本 采用原因：适合支撑“长 prompt 会改写计算与内存成本结构”。
Prompt Caching in the API 作者/机构：OpenAI 年份：2024 URL：https://openai.com/index/api-prompt-caching/ 角度：缓存折扣、长前缀复用 采用原因：适合支撑“缓存是运行经济学的一等变量”。
Prompt caching 作者/机构：Anthropic 年份：2026 URL：https://platform.claude.com/docs/en/build-with-claude/prompt-caching 角度：缓存读写计费、TTL、命中条件 采用原因：适合支撑“缓存会显式改变真实输入成本”。
Selective Classification for Deep Neural Networks 作者/机构：Yonatan Geifman, Ran El-Yaniv 年份：2017 URL：https://arxiv.org/abs/1705.08500 角度：reject option、选择性分类 采用原因：适合支撑“升级条件和拒识门控是分层系统理论基础”。
Language Model Cascades: Token-Level Uncertainty and Beyond 作者/机构：Neha Gupta 等 年份：2024 URL：https://openreview.net/pdf/c12ed09310cf9e30337a888bd967a35d838624dc.pdf 角度：token-level uncertainty、deferral rule 采用原因：适合支撑“级联系统的核心挑战是门控规则，而不是模型数量”。
Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection 作者/机构：Guillem Ramírez 等 年份：2024 URL：https://arxiv.org/abs/2405.02134 角度：两层选择、小模型不确定性 采用原因：适合支撑“高质量升级条件比额外复杂路由器更关键”。
Reduce costs and latency with Amazon Bedrock Intelligent Prompt Routing and prompt caching (preview) 作者/机构：AWS 年份：2024 URL：https://aws.amazon.com/blogs/aws/reduce-costs-and-latency-with-amazon-bedrock-intelligent-prompt-routing-and-prompt-caching-preview/ 角度：routing criteria、fallback、缓存 采用原因：适合支撑“工业产品已把升级阈值与兜底机制显式化”。
Demystifying evals for AI agents 作者/机构：Anthropic 年份：2026 URL：https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents 角度：持续评测、生产监控、回归集 采用原因：适合支撑“分层系统必须长期维护评测，而不是一次性调好”。
Musings on Building a Generative AI Product 作者/机构：LinkedIn Engineering 年份：2024 URL：https://www.linkedin.com/blog/engineering/generative-ai/musings-on-building-a-generative-ai-product 角度：routing -> retrieval -> generation、小模型前置 采用原因：适合支撑“真实产品中小模型通常承担路由和检索层”。
Our Multi-Agent Architecture for Smarter Advertising 作者/机构：Spotify Engineering 年份：2026 URL：https://engineering.atspotify.com/2026/2/our-multi-agent-architecture-for-smarter-advertising 角度：RouterAgent、heuristics、cache、guardrails 采用原因：适合支撑“规则、缓存和路由一起构成成本治理结构”。
Context caching overview | Generative AI on Vertex AI 作者/机构：Google Cloud 年份：2026 URL：https://cloud.google.com/vertex-ai/generative-ai/docs/context-cache/context-cache-overview 角度：implicit / explicit caching、高频场景 采用原因：适合支撑“缓存已是多平台标准能力，而非边缘优化”。
AppFolio streamlines property management communication with Claude in Amazon Bedrock 作者/机构：Anthropic / AppFolio 年份：2025 URL：https://claude.com/customers/appfolio 角度：Haiku 处理高频任务、Sonnet 处理复杂任务 采用原因：适合支撑“典型企业系统采用小模型前置、复杂任务升级”。
Grafana transforms observability workflows with Claude-powered multi-agent assistant 作者/机构：Anthropic / Grafana Labs 年份：2025 URL：https://claude.com/customers/grafana 角度：Sonnet + Haiku 分工、多代理工作流 采用原因：适合支撑“大小模型分工已进入真实软件产品和运维场景”。
附录 G：分章资料清单