Introducing Structured Outputs in the API 作者/机构:OpenAI 年份:2024 URL:https://openai.com/index/introducing-structured-outputs-in-the-api/ 角度:JSON Schema、strict、constrained decoding 采用原因:适合支撑“结构边界必须外置,不能靠模型自觉守格式”。
Safety in building agents 作者/机构:OpenAI 年份:2025 URL:https://developers.openai.com/api/docs/guides/agent-builder-safety 角度:guardrails、审批、访问权限、结构化输出 采用原因:适合支撑“边界必须由 guardrails、approval 和 access control 明确定义”。
Define tools 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agents-and-tools/tool-use/define-tools 角度:tool definition、input schema、strict 采用原因:适合支撑“工具边界应写成 contract,不应由模型临场发挥”。
Programmatic tool calling 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/zh-CN/agents-and-tools/tool-use/programmatic-tool-calling 角度:allowed_callers、调用者权限 采用原因:适合支撑“谁能调用工具必须由系统声明,而不是由模型判断”。
Structured output | Generative AI on Vertex AI 作者/机构:Google Cloud 年份:2026 URL:https://docs.cloud.google.com/vertex-ai/generative-ai/docs/multimodal/control-generated-output 角度:response_schema、enum、有效 JSON 采用原因:适合支撑“输出边界应由 schema/enum 外置约束”。
Function calling reference | Generative AI on Vertex AI 作者/机构:Google Cloud 年份:2026 URL:https://docs.cloud.google.com/vertex-ai/generative-ai/docs/model-reference/function-calling 角度:OpenAPI、FunctionCallingConfig、allowed_function_names 采用原因:适合支撑“严格工具使用依赖配置和 contract,而非自然语言约束”。
Structured outputs 作者/机构:Microsoft 年份:2026 URL:https://learn.microsoft.com/en-us/azure/foundry/openai/how-to/structured-outputs 角度:strict、JSON Schema、并行工具调用限制 采用原因:适合支撑“关键结构不能交给模型自由生成”。
Role-based access control for Azure OpenAI 作者/机构:Microsoft 年份:2026 URL:https://learn.microsoft.com/en-us/azure/foundry-classic/openai/how-to/role-based-access-control 角度:RBAC、角色、Actions / DataActions 采用原因:适合支撑“权限边界必须落在身份和角色系统上”。
Regulation (EU) 2024/1689 (Artificial Intelligence Act) 作者/机构:European Union 年份:2024 URL:https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng 角度:高风险 AI、人类监督、日志、合规评估 采用原因:适合支撑“高风险边界必须由外部制度预先定义”。
Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law 作者/机构:Council of Europe 年份:2024 URL:https://www.coe.int/en/web/artificial-intelligence/the-framework-convention-on-artificial-intelligence 角度:人权、民主、法治、全生命周期监督 采用原因:适合支撑“模型输出的可接受性取决于外部法治框架”。
Artificial Intelligence Risk Management Framework (AI RMF 1.0) 作者/机构:NIST 年份:2023 URL:https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10 角度:治理、角色责任、持续监测 采用原因:适合支撑“边界是治理结构问题,不是模型内部问题”。
ISO/IEC 42001:2023 作者/机构:ISO / IEC 年份:2023 URL:https://www.iso.org/standard/42001 角度:AI 管理体系、政策、可追溯性、纠偏 采用原因:适合支撑“权限、审计和纠偏必须制度化”。
OMB Memorandum M-25-21 作者/机构:The White House / OMB 年份:2025 URL:https://www.whitehouse.gov/wp-content/uploads/2025/02/M-25-21-Accelerating-Federal-Use-of-AI-through-Innovation-Governance-and-Public-Trust.pdf 角度:high-impact AI、责任人、部署前测试、停用 采用原因:适合支撑“高影响决策边界不能交给模型自由推断”。
Guide on the Scope of the Directive on Automated Decision-Making 作者/机构:Government of Canada 年份:2025 URL:https://www.canada.ca/en/government/system/digital-government/digital-government-innovations/responsible-use-ai/guide-scope-directive-automated-decision-making.html 角度:行政自动化决策、影响评估、透明、救济 采用原因:适合支撑“有人在环也不自动等于边界合理”。
Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection 作者/机构:Kai Greshake 等 年份:2023 URL:https://arxiv.org/abs/2302.12173 角度:间接 prompt injection、数据/指令混淆 采用原因:适合支撑“模型无法稳定区分数据和指令,安全边界必须外置”。
InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents 作者/机构:Qiusi Zhan 等 年份:2024 URL:https://arxiv.org/abs/2403.02691 角度:工具型 agent、间接注入、真实操作风险 采用原因:适合支撑“接入工具后,仅靠模型判断会转化成真实越权风险”。
Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition 作者/机构:Andy Zou 等 年份:2025 URL:https://arxiv.org/abs/2507.20526 角度:大规模攻防、越权、违规操作 采用原因:适合支撑“更强模型并不自动更安全,必须靠外部隔离和审批”。
Operator System Card 作者/机构:OpenAI 年份:2025 URL:https://cdn.openai.com/operator_system_card.pdf 角度:prompt injection、浏览器沙箱、监控、人工监督 采用原因:适合支撑“系统卡已明确承认单靠模型判断不够”。
Designing AI agents to resist prompt injection 作者/机构:OpenAI 年份:2026 URL:https://openai.com/index/designing-agents-to-resist-prompt-injection/ 角度:source-sink analysis、敏感外发确认、沙箱 采用原因:适合支撑“安全边界应写进系统设计,而不是只写进 prompt”。
Beyond permission prompts: making Claude Code more secure and autonomous 作者/机构:Anthropic 年份:2025 URL:https://www.anthropic.com/engineering/claude-code-sandboxing 角度:文件系统隔离、网络隔离、批准疲劳 采用原因:适合支撑“真正的边界是系统根本不让它越界”。
Gemini Deep Research Agent 作者/机构:Google 年份:2026 URL:https://ai.google.dev/gemini-api/docs/deep-research 角度:公网 + 私有数据风险、引用核查 采用原因:适合支撑“联网研究代理必须依赖外部核查与权限收缩”。
Constrained Language Models Yield Few-Shot Semantic Parsers 作者/机构:Richard Shin 等 年份:2021 URL:https://aclanthology.org/2021.emnlp-main.608/ 角度:受控子语言、中间表示、确定性映射 采用原因:适合支撑“模型更适合生成受控中间表示,而非最终正式结构”。
Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning 作者/机构:Saibo Geng 等 年份:2023 URL:https://aclanthology.org/2023.emnlp-main.674/ 角度:formal grammar、结构化任务、约束解码 采用原因:适合支撑“结构化结果要靠形式化约束,而非提示词祈祷”。
Validating Large Language Models with ReLM 作者/机构:Michael Kuchnik 等 年份:2023 URL:https://proceedings.mlsys.org/paper_files/paper/2023/hash/93c7d9da61ccb2a60ac047e92787c3ef-Abstract-mlsys2023.html 角度:正则规则验证、外部校验 采用原因:适合支撑“合法性检查应写成外部规则,而不是要求模型自己懂边界”。
Logic-LM: Empowering Large Language Models with Symbolic Solvers for Faithful Logical Reasoning 作者/机构:Liangming Pan 等 年份:2023 URL:https://aclanthology.org/2023.findings-emnlp.248/ 角度:LLM + symbolic solver 采用原因:适合支撑“模型负责形式化候选,求解器负责裁决”。
Grammar-Constrained Decoding Makes Large Language Models Better Logical Parsers 作者/机构:Federico Raspanti 等 年份:2025 URL:https://aclanthology.org/2025.acl-industry.34/ 角度:语法约束 + 外部 solver 采用原因:适合支撑“即便有外部验证,模型到形式语言这一步也不能自由生成”。
Announcing Guardrails AI 0.3.0 作者/机构:Guardrails AI 年份:2023 URL:https://guardrailsai.com/blog/0.3.0-release 角度:validator 边界层、sub-schema validation、on-fail 采用原因:适合支撑“业务规则应写在 validator 和规则层里”。
WHO releases AI ethics and governance guidance for large multi-modal models 作者/机构:WHO 年份:2024 URL:https://www.who.int/news/item/18-01-2024-who-releases-ai-ethics-and-governance-guidance-for-large-multi-modal-models 角度:医疗伦理、自动化偏误、监管 采用原因:适合支撑“医疗高风险场景不能让模型自由做最终判断”。
Clinical Decision Support Software: Guidance for Industry and Food and Drug Administration Staff 作者/机构:FDA 年份:2026 URL:https://www.fda.gov/regulatory-information/search-fda-guidance-documents/clinical-decision-support-software 角度:临床辅助、独立审查依据、最终专业判断 采用原因:适合支撑“临床辅助不等于把最终决策外包给模型”。
Evaluation and mitigation of the limitations of large language models in clinical decision-making 作者/机构:Paul Hager 等 年份:2024 URL:https://www.nature.com/articles/s41591-024-03097-1 角度:真实临床决策、指南不遵循、监督需求 采用原因:适合支撑“即使模型懂医学,也不等于适合自主临床决策”。
Formal Opinion 512: Generative Artificial Intelligence Tools 作者/机构:American Bar Association 年份:2024 URL:https://www.americanbar.org/content/dam/aba/administrative/professional_responsibility/ethics-opinions/aba-formal-opinion-512.pdf 角度:律师职业伦理、独立核验、最终责任 采用原因:适合支撑“法律结论和责任不能外包给模型”。
Court Operations – Annual Report 2025 作者/机构:U.S. Courts 年份:2025 URL:https://www.uscourts.gov/data-news/reports/annual-reports/directors-annual-report/annual-report-2025/court-operations-annual-report-2025 角度:核心司法功能、独立核验、责任主体 采用原因:适合支撑“裁判和责任主体不能由模型自由生成”。
Model Risk Management, Comptroller’s Handbook 作者/机构:OCC 年份:2025 URL:https://www.occ.gov/publications-and-resources/publications/comptrollers-handbook/files/model-risk-management/pub-ch-model-risk.pdf 角度:金融 AI 用途尽调、验证、边界 采用原因:适合支撑“金融关键场景越重要,越不能放开模型自由发挥”。
Consumer Financial Protection Circular 2022-03 作者/机构:CFPB 年份:2022 URL:https://www.consumerfinance.gov/compliance/circulars/circular-2022-03-adverse-action-notification-requirements-in-connection-with-credit-decisions-based-on-complex-algorithms/ 角度:复杂算法信贷决定、解释义务、不可免责 采用原因:适合支撑“黑箱模型不能构成合规豁免”。
Building Effective Agents 作者/机构:Anthropic 年份:2024 URL:https://www.anthropic.com/engineering/building-effective-agents 角度:workflow、预定义代码路径、可预测性 采用原因:适合支撑“关键流程应落在可编排、可审计工作流,而不是让模型自由决策”。
Apply generative orchestration capabilities 作者/机构:Microsoft 年份:2026 URL:https://learn.microsoft.com/en-us/microsoft-copilot-studio/guidance/generative-orchestration 角度:deterministic / hybrid / AI orchestrator layers 采用原因:适合支撑“不可逆动作必须走确定性或审批层”。
Transparency Note for Azure Agent Service 作者/机构:Microsoft 年份:2026 URL:https://learn.microsoft.com/en-us/azure/foundry/responsible-ai/agents/transparency-note 角度:人工监督、授权、复核、批准、日志 采用原因:适合支撑“最终责任在人不是口号,而是部署要求”。
Quickstart - Use Task Adherence for your Agent Workflows 作者/机构:Microsoft 年份:2025 URL:https://learn.microsoft.com/en-us/azure/ai-services/content-safety/quickstart-task-adherence 角度:计划偏离检测、human-in-the-loop、阻断调用 采用原因:适合支撑“成熟 Agent 必须知道何时停下、何时 ask-for-help”。
Artificial Intelligence: An Accountability Framework for Federal Agencies and Other Entities 作者/机构:GAO 年份:2021 URL:https://www.gao.gov/products/gao-21-519sp 角度:治理、监督、责任链 采用原因:适合支撑“最终责任归属必须被前置设计”。
Human-AI Teaming: State-of-the-Art and Research Needs 作者/机构:National Academies 年份:2022 URL:https://nap.nationalacademies.org/catalog/26355/human-ai-teaming-state-of-the-art-and-research-needs 角度:接管、干预、自动化等级切换 采用原因:适合支撑“ask-for-help 和接管是人机系统核心设计对象”。
Reviewable Automated Decision-Making: A Framework for Accountable Algorithmic Systems 作者/机构:Jennifer Cobbe, Michelle Seng Ah Lee, Jatinder Singh 年份:2021 URL:https://doi.org/10.1145/3442188.3445921 角度:可审查自动决策、记录、审批、审计 采用原因:适合支撑“真正负责的是可审查流程,而非单一模型输出”。
附录 G:分章资料清单