Safety in building agents 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/agent-builder-safety 角度:Prompt injection、恶意 MCP tool calling、意外代理行为与高风险步骤硬化 采用原因:适合支撑“这四类风险在 Agent Builder 场景里本来就是同一安全面上的问题”。
Safety best practices - Prompt injection 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/safety-best-practices/prompt-injection 角度:输入约束、身份标识、输出限制、风控监测 采用原因:适合支撑“提示注入是整条输入链与执行链的问题,而不是单个 prompt 技巧问题”。
Designing AI agents to resist prompt injection 作者/机构:OpenAI 年份:2026 URL:https://openai.com/index/designing-agents-to-resist-prompt-injection/ 角度:间接注入、最小权限、敏感信息传输检测、tool confirmation、影响约束 采用原因:适合支撑“防御重点不是完全识别攻击,而是限制被攻破后的影响面”。
Operator System Card 作者/机构:OpenAI 年份:2025 URL:https://openai.com/index/operator-system-card/ 角度:browser/computer-using agent 的 prompt injection、误自动化、越权执行和确认机制 采用原因:适合支撑“当 Agent 可以操作界面时,错误会直接变成真实副作用”。
The Instruction Hierarchy 作者/机构:OpenAI 年份:2024 URL:https://openai.com/index/the-instruction-hierarchy/ 角度:高优先级与低优先级指令区分、降低低权限消息覆盖高权限规则的风险 采用原因:适合支撑“提示注入的本质之一是指令优先级被篡改,因此必须显式建立层级”。
Mitigate jailbreaks and prompt injections 作者/机构:Anthropic 年份:2026 URL:https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/mitigate-jailbreaks 角度:分层防护、输入验证、轻量模型预筛、提示设计、持续监控 采用原因:适合支撑“防护不能只靠主模型一次判断,而要多层串联”。
Securely deploying AI agents 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agent-sdk/secure-deployment 角度:prompt injection、凭证暴露、网络访问、命令执行、域名 allowlist、审批式权限控制 采用原因:适合支撑“提示注入会沿着工具链升级成越权调用和外部系统误操作”。
Computer use 作者/机构:Anthropic 年份:2026 URL:https://docs.anthropic.com/en/docs/build-with-claude/computer-use 角度:computer use loop 中的网页/界面注入风险、高敏任务额外防护 采用原因:适合支撑“注入会在图形界面和操作式 agent 中进一步转化为动作风险”。
Model Armor overview 作者/机构:Google Cloud 年份:2026 URL:https://docs.cloud.google.com/security-command-center/docs/model-armor-overview 角度:输入与输出同时扫描、prompt injection、jailbreak、敏感数据泄露、恶意 URL 采用原因:适合支撑“防御不应只守住输入口,还要守住回流输出和工具响应口”。
AI security and safety 作者/机构:Google Cloud 年份:2026 URL:https://docs.cloud.google.com/mcp/ai-security-safety 角度:MCP server 场景中的 prompt injection、不安全工具链调用、天真错误处理 采用原因:适合支撑“开放工具生态越大,越权调用和错误自动化的风险越高”。
Prompt Shields in Microsoft Foundry 作者/机构:Microsoft 年份:2026 URL:https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/content-filter-prompt-shields 角度:区分 user prompt attacks 与 document attacks,对用户输入点和工具响应点同时扫描 采用原因:适合支撑“间接注入与文档攻击是 Agent 场景里更真实、更常见的注入方式”。
Protecting against Prompt Injection Attacks 作者/机构:Microsoft 年份:2024 URL:https://learn.microsoft.com/en-us/semantic-kernel/concepts/prompts/prompt-injection-attacks 角度:zero-trust 设计、把模板变量和函数返回视为不可信内容 采用原因:适合支撑“状态污染往往发生在模板拼接和工具返回回填阶段”。
Security Best Practices 作者/机构:Model Context Protocol 年份:2025 URL:https://modelcontextprotocol.io/docs/tutorials/security/security_best_practices 角度:scope 最小化、请求校验、OAuth 安全、state 跟踪、防 SSRF、危险命令模式标记 采用原因:适合支撑“协议层需要主动防止越权调用和危险状态传播”。
LLM01: Prompt Injection 作者/机构:OWASP GenAI Security Project 年份:2025 URL:https://genai.owasp.org/llm01/ 角度:direct/indirect prompt injection 的定义,以及数据泄露、后端函数滥用等后果 采用原因:适合支撑“提示注入的危害并不止于回答偏离,而是能触发后端行为”。
LLM08: Excessive Agency 作者/机构:OWASP GenAI Security Project 年份:2025 URL:https://genai.owasp.org/llmrisk2023-24/llm08-excessive-agency/ 角度:过多工具、过大权限、过强自动化与恶意邮件诱导工具调用案例 采用原因:适合支撑“越权调用和错误自动化往往来自过度自治,而不是单次模型失误”。
Benchmarking and Defending Against Indirect Prompt Injection Attacks on LLM Agents 作者/机构:Nils H. Fischer 等 年份:2025 URL:https://arxiv.org/abs/2403.14147 角度:间接提示注入基准与防御 采用原因:适合支撑“间接注入已成为可被系统评测的稳定威胁类型”。
AgentDojo: A Dynamic Environment to Evaluate Attacks and Defenses for LLM Agents 作者/机构:Marc Fischer 等 年份:2024 URL:https://arxiv.org/abs/2406.13352 角度:在动态环境中评估攻击与防御,覆盖工具调用与多回合交互 采用原因:适合支撑“Agent 风险要在真实交互环境里评测,而不是在静态文本上评测”。
Agent Security Bench: Formalizing and Benchmarking Attacks and Defenses for LLM-based Agents 作者/机构:Zhiyang Deng 等 年份:2025 URL:https://openreview.net/forum?id=cNkHKxPASl 角度:系统化攻击/防御 benchmark、威胁面 formalization 采用原因:适合支撑“Prompt Injection、越权调用和工具滥用已经被纳入统一的 agent 安全评测框架”。
Make Agent Defeat Agent: Automatic Detection of Taint-Style Vulnerabilities in LLM-based Agents 作者/机构:Fengyu Liu 等 年份:2025 URL:https://www.usenix.org/conference/usenixsecurity25/presentation/liu-fengyu 角度:taint-style vulnerabilities、source-sink 污点传播、自动检测 采用原因:适合支撑“从不可信输入到危险工具调用,本质上是一条可分析的污点传播链”。
PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models 作者/机构:Xinyang Deng 等 年份:2024 URL:https://arxiv.org/abs/2402.07867 角度:检索增强系统中的知识投毒、错误知识植入与后续推理污染 采用原因:适合支撑“状态污染和知识污染会把一次攻击延长为长期错误条件”。
AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways 作者/机构:Ahsan Ayub 等 年份:2025 URL:https://arxiv.org/abs/2508.09266 角度:agent 安全挑战综述、攻击面分类、未来防御方向 采用原因:适合支撑“本章需要一个对整体威胁版图的学术综述参照”。
附录 G:分章资料清单