全书目录

附录 G：分章资料清单

G.23 第 12 章《模型能力画像：推理、工具、结构化输出、长上下文、多模态、实时性》资料清单

12 分钟 5,286 字 第 79 / 161 个阅读单元

  1. Holistic Evaluation of Language Models 作者/机构：Percy Liang 等 / Stanford Center for Research on Foundation Models 年份：2022 URL：https://arxiv.org/abs/2211.09110 角度：多维能力评测框架、推理维度独立性 采用原因：适合支撑“模型不能只用单一总分来描述，必须拆成功能维度”。

  2. BIG-bench: Beyond the Imitation Game Benchmark 作者/机构：BIG-bench collaboration 年份：2022 URL：https://arxiv.org/abs/2206.04615 角度：任务类型差异、复杂推理、规模化能力涌现 采用原因：适合支撑“推理不是流畅表达的附属属性，而是可独立失稳的能力轴”。

  3. Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them 作者/机构：Suzgun 等 年份：2022 URL：https://arxiv.org/abs/2210.09261 角度：多步推理、链式思维、复杂任务脆弱性 采用原因：适合支撑“推理深度会显著改变复杂任务表现”。

  4. Measuring Mathematical Problem Solving With the MATH Dataset 作者/机构：Dan Hendrycks 等 年份：2021 URL：https://arxiv.org/abs/2103.03874 角度：高难度数学推理 采用原因：适合支撑“规模提升不自动等于强推理”。

  5. GSM8K: A Dataset of Grade School Math Word Problems 作者/机构：Cobbe 等 年份：2021 URL：https://arxiv.org/abs/2110.14168 角度：多步数学推理、验证器 采用原因：适合支撑“多步 reasoning 仍是模型核心挑战”。

  6. ARC-AGI-2 作者/机构：François Chollet 等 年份：2025 URL：https://arxiv.org/abs/2505.11831 角度：抽象推理、泛化与记忆区分 采用原因：适合支撑“推理能力应和记忆、模板匹配区分开来”。

  7. ToolBench: A Tool-Use Benchmark for Large Language Models 作者/机构：Qin 等 年份：2023 URL：https://arxiv.org/abs/2307.16789 角度：工具选择、API 调用、任务规划 采用原因：适合支撑“工具调用是行动链条能力，而不是单次函数生成”。

  8. ToolTalk: Evaluating Conversational Tool Use in Language Models 作者/机构：Ruiz 等 年份：2023 URL：https://arxiv.org/abs/2311.10775 角度：多轮工具对话、任务闭环 采用原因：适合支撑“真实工具使用包含澄清、吸收返回结果与连续决策”。

  9. API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs 作者/机构：Li 等 年份：2023 URL：https://arxiv.org/abs/2304.08244 角度：API 调用、检索、参数填充、规划 采用原因：适合支撑“工具能力需要按完整调用流程衡量”。

  10. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains 作者/机构：Garg 等 年份：2024 URL：https://arxiv.org/abs/2406.12045 角度：真实用户规则、稳定性、复杂交互 采用原因：适合支撑“现实工具环境中的约束执行和稳定性比 demo 更重要”。

  11. Berkeley Function-Calling Leaderboard V3 作者/机构：Berkeley Gorilla Team 年份：2025 URL：https://gorilla.cs.berkeley.edu/blogs/13_bfcl_v3_multi_turn.html 角度：多轮函数调用、缺参、长上下文、复杂调用 采用原因：适合支撑“工具调用能力必须看多轮、多步和缺失信息场景”。

  12. Introducing Structured Outputs in the API 作者/机构：OpenAI 年份：2024 URL：https://openai.com/index/introducing-structured-outputs-in-the-api/ 角度：Schema adherence、结构稳定性 采用原因：适合支撑“结构化输出能力直接影响 Agent 系统接口稳定性”。

  13. Function Calling 作者/机构：OpenAI 年份：2025 URL：https://developers.openai.com/api/docs/guides/function-calling 角度：官方函数调用机制、工具接口约束 采用原因：适合支撑“结构化输出与工具调用已成为官方 agent 能力面板的一部分”。

  14. Strict Tool Use 作者/机构：Anthropic 年份：2025 URL：https://platform.claude.com/docs/en/agents-and-tools/tool-use/strict-tool-use 角度：严格结构、工具格式约束 采用原因：适合支撑“格式稳定性需要平台层机制配合，而非单靠 prompt”。

  15. Structured Output 作者/机构：Google 年份：2025 URL：https://ai.google.dev/gemini-api/docs/structured-output 角度：结构化响应、Schema 输出 采用原因：适合支撑“结构化输出正在成为主流模型平台的标准能力”。

  16. JSONSchemaBench: Evaluating Structured Generation Capability of LLMs 作者/机构：JSONSchemaBench authors 年份：2025 URL：https://arxiv.org/abs/2501.10868 角度：复杂 JSON Schema 遵循、结构鲁棒性 采用原因：适合支撑“格式正确性本身已成为独立测试对象”。

  17. Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 作者/机构：Dai 等 年份：2019 URL：https://aclanthology.org/P19-1285/ 角度：跨段记忆、长上下文建模 采用原因：适合支撑“长上下文问题早就不是简单窗口扩展，而是记忆机制问题”。

  18. Lost in the Middle: How Language Models Use Long Contexts 作者/机构：Liu 等 年份：2024 URL：https://aclanthology.org/2024.tacl-1.9/ 角度：长上下文位置敏感、中段信息丢失 采用原因：适合支撑“窗口大不代表能稳定利用长上下文”。

  19. LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding 作者/机构：Bai 等 年份：2024 URL：https://aclanthology.org/2024.acl-long.172/ 角度：长上下文理解、多任务评测 采用原因：适合支撑“长上下文能力需要在真实任务上被多维检验”。

  20. RULER: What’s the Real Context Size of Your Long-Context Language Models? 作者/机构：Hsieh 等 年份：2024 URL：https://arxiv.org/abs/2404.06654 角度：有效上下文长度、长序列检验 采用原因：适合支撑“标称窗口与有效上下文利用并不等价”。

  21. Introducing GPT-4.1 in the API 作者/机构：OpenAI 年份：2025 URL：https://openai.com/index/gpt-4-1/ 角度：长上下文、代码、指令遵循、官方能力面板 采用原因：适合支撑“官方文档已开始把模型能力分解为多个工程维度”。

  22. GPT-4o System Card 作者/机构：OpenAI 年份：2024 URL：https://openai.com/index/gpt-4o-system-card/ 角度：原生多模态、音频延迟、实时交互 采用原因：适合支撑“多模态与实时性正在共同塑造 Agent 新形态”。

  23. Qwen2.5-Omni Technical Report 作者/机构：Qwen Team 年份：2025 URL：https://arxiv.org/abs/2503.20215 角度：全模态流式交互、Thinker-Talker 架构 采用原因：适合支撑“多模态 Agent 已从离线理解走向实时闭环交互”。

  24. Moshi: A Speech-Text Foundation Model for Real-Time Dialogue 作者/机构：Kyutai 年份：2024 URL：https://arxiv.org/abs/2410.00037 角度：实时语音、全双工对话 采用原因：适合支撑“实时性是独立能力轴，而非附属性能指标”。

  25. Gemini 2.0: Real-Time Multimodal Interactions 作者/机构：Google 年份：2024 URL：https://developers.googleblog.com/en/gemini-2-0-level-up-your-apps-with-real-time-multimodal-interactions/ 角度：实时多模态产品形态 采用原因：适合支撑“多模态与实时能力会直接改变 Agent 产品设计方式”。

  26. MMMU: A Massive Multi-discipline Multimodal Understanding Benchmark 作者/机构：Yue 等 年份：2023 URL：https://arxiv.org/abs/2311.16502 角度：多模态理解、跨学科推理 采用原因：适合支撑“多模态能力不能只看图像感知，还要看跨模态推理”。

  27. Qwen2.5-VL Technical Report 作者/机构：Qwen Team 年份：2025 URL：https://arxiv.org/abs/2502.13923 角度：视觉文档理解、视频理解、视觉 agent 任务 采用原因：适合支撑“多模态能力正在延伸到文档、界面和视频操作场景”。

  28. Models 作者/机构：OpenAI 年份：2026 URL：https://developers.openai.com/api/docs/models 角度：官方模型能力说明、上下文、延迟、模式支持 采用原因：适合支撑“官方模型说明正在采用能力面板而不是单排名叙事”。

  29. Models Overview 作者/机构：Anthropic 年份：2026 URL：https://docs.anthropic.com/en/docs/models-overview 角度：模型能力差异、上下文、速度、使用建议 采用原因：适合支撑“模型厂商已默认用户从多维约束选择模型”。

  30. Gemini 2.5 Flash 作者/机构：Google 年份：2026 URL：https://ai.google.dev/gemini-api/docs/models/gemini-2.5-flash 角度：延迟、成本、长上下文、多模态 采用原因：适合支撑“速度、上下文与模态支持是同级选型变量”。