Safety in the Agent Builder 作者/机构:OpenAI 年份:2026 URL:https://platform.openai.com/docs/guides/agent-builder-safety 角度:Agent 构建中的越权调用、工具风险、确认机制、安全边界设计 采用原因:适合支撑“Agent 安全已经从内容安全扩展到工具调用与执行控制”。
Designing AI agents to resist prompt injection 作者/机构:OpenAI 年份:2026 URL:https://openai.com/index/designing-ai-agents-to-resist-prompt-injection/ 角度:间接提示注入、权限分层、最小授权、执行前确认 采用原因:适合支撑“安全风险会经由外部上下文进入执行链,而不是只存在于用户输入里”。
Practices for Governing Agentic AI Systems 作者/机构:OpenAI 年份:2025 URL:https://openai.com/global-affairs/practices-for-governing-agentic-ai-systems/ 角度:agentic AI 的治理框架、监控、事件响应、责任与制度设计 采用原因:适合支撑“Agent 安全必须进入组织治理与制度层,而不是停在模型层”。
ChatGPT Agent System Card 作者/机构:OpenAI 年份:2025 URL:https://cdn.openai.com/pdf/839e66fc-602c-48bf-81d3-b21eacc3459d/chatgpt_agent_system_card.pdf 角度:agent 产品系统卡、用户确认、watch mode、网络限制、红队与高风险评测 采用原因:适合支撑“运行时约束、审批和安全评测必须一起出现,才构成真正的 agent 安全”。
Operator System Card 作者/机构:OpenAI 年份:2025 URL:https://openai.com/index/operator-system-card/ 角度:computer-use agent 的 prompt injection、误操作、高风险任务拒绝、浏览器环境风险 采用原因:适合支撑“可行动 Agent 的安全重点已从文本输出转向界面操作和真实副作用”。
Securely deploying AI agents 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agent-sdk/secure-deployment 角度:allow/block/prompt 权限系统、静态风险分析、sandbox runtime、容器与 VM 隔离 采用原因:适合支撑“安全必须落到运行时和基础设施隔离,而不只是提示词约束”。
Handle approvals and user input 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agent-sdk/user-input 角度:执行暂停、用户审批、恢复运行、显式 tool approval 回路 采用原因:适合支撑“高风险动作需要暂停-审批-恢复,而不是默认自动执行”。
Computer use tool 作者/机构:Anthropic 年份:2026 URL:https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool 角度:专用 VM/容器、域名 allowlist、最小权限、疑似注入时转人工确认 采用原因:适合支撑“工具执行环境本身就是安全边界,不能直接把模型暴露在真实桌面上”。
Claude Sonnet 4.6 System Card 作者/机构:Anthropic 年份:2026 URL:https://www-cdn.anthropic.com/78073f739564e986ff3e28522761a7a0b4484f84.pdf 角度:agentic safety、prompt injection risk、cyber evaluations、RSP evaluations 采用原因:适合支撑“Agent 安全需要与能力评测、系统卡披露和前沿风险框架一起看”。
Google's Approach for Secure AI Agents 作者/机构:Google Cloud 年份:2025 URL:https://services.google.com/fh/files/misc/googles_approach_for_secure_ai_agents.pdf 角度:secure by design、agent identity、tool governance、policy enforcement、memory and context risks 采用原因:适合支撑“安全设计必须贯穿身份、工具、状态和执行策略,而不是只做模型过滤”。
New Enhanced Tool Governance in Vertex AI Agent Builder 作者/机构:Google Cloud 年份:2025 URL:https://cloud.google.com/blog/products/ai-machine-learning/new-enhanced-tool-governance-in-vertex-ai-agent-builder 角度:任意节点暂停、人工输入、从原位置恢复执行 采用原因:适合支撑“审批机制是运行时控制面的一部分,而不是外部补丁”。
Model Armor 作者/机构:Google Cloud 年份:2026 URL:https://cloud.google.com/security/products/model-armor 角度:AI firewall、对 prompts / responses / agent interactions 的 inline 防护、恶意 URL 与间接注入拦截 采用原因:适合支撑“Agent 安全需要独立的在线防护层,而不是只在调用前后做静态检查”。
Overview - Amazon Bedrock AgentCore 作者/机构:AWS 年份:2026 URL:https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/what-is-bedrock-agentcore.html 角度:agent runtime、identity、browser、observability、session isolation 采用原因:适合支撑“平台级 Agent 运行时正在把身份、沙箱和审计统一成控制面”。
Session management - Amazon Bedrock AgentCore 作者/机构:AWS 年份:2026 URL:https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/code-interpreter-session-characteristics.html 角度:microVM 隔离、文件系统隔离、会话销毁、自动超时 采用原因:适合支撑“执行隔离必须细化到会话级和环境级,而不是只停留在逻辑权限上”。
What is Microsoft Foundry Agent Service? 作者/机构:Microsoft Azure 年份:2026 URL:https://learn.microsoft.com/en-us/azure/foundry/agents/overview 角度:agent identity、private networking、RBAC、content safety、发布后监控 采用原因:适合支撑“Agent 安全已经被云平台视为产品级基础能力,而非用户自行拼装”。
Trace and Observe AI Agents in Microsoft Foundry 作者/机构:Microsoft Azure 年份:2025 URL:https://learn.microsoft.com/en-us/azure/ai-foundry/agents/concepts/tracing 角度:OpenTelemetry tracing、threads/messages/runs 观测、可审计轨迹 采用原因:适合支撑“安全不仅是拦截,还包括可追踪、可复盘、可归责”。
Artificial Intelligence Risk Management Framework (AI RMF 1.0) 作者/机构:NIST 年份:2023 URL:https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10 角度:Govern / Map / Measure / Manage、可问责、可监控、人类监督 采用原因:适合支撑“Agent 安全需要放进更大的 AI 风险治理框架里理解”。
Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile 作者/机构:NIST 年份:2024 URL:https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence 角度:生成式 AI 的风险画像、预部署测试、事件响应、危险能力管理 采用原因:适合支撑“Agent 风险是生成式 AI 风险在行动系统上的进一步放大”。
Cybersecurity Framework Profile for Artificial Intelligence (Cyber AI Profile) 作者/机构:NIST / NCCoE / CSRC 年份:2025 URL:https://csrc.nist.gov/pubs/ir/8596/iprd 角度:AI 系统组件安全、AI 支撑的网络防御、对抗 AI 驱动攻击 采用原因:适合支撑“Agent 安全必须和传统网络安全控制面打通”。
2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps 作者/机构:OWASP Gen AI Security Project 年份:2025 URL:https://genai.owasp.org/llm-top-10/ 角度:Prompt Injection、Sensitive Information Disclosure、Improper Output Handling、Excessive Agency、Unbounded Consumption 采用原因:适合支撑“Agent 风险已被社区标准拆解成系统级失效模式,而不是零散异常”。
MITRE ATLAS Fact Sheet 作者/机构:MITRE 年份:2023 URL:https://atlas.mitre.org/pdf-files/MITRE_ATLAS_Fact_Sheet.pdf 角度:AI 攻击战术、案例、red teaming、缓解措施 采用原因:适合支撑“理解 Agent 安全既要看治理,也要看攻击者视角和威胁建模”。
Regulation (EU) 2024/1689 (Artificial Intelligence Act) 作者/机构:European Union 年份:2024 URL:https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng 角度:高风险 AI 系统、human oversight、accuracy、robustness、cybersecurity、post-market monitoring 采用原因:适合支撑“高风险行业里的 Agent 不只是技术问题,也是合规与责任问题”。
Agent Security Bench: Formalizing and Benchmarking Attacks and Defenses for LLM-based Agents 作者/机构:Zhiyang Deng 等 年份:2025 URL:https://openreview.net/forum?id=cNkHKxPASl 角度:对 LLM Agents 的攻击与防御基准化、系统性安全评测 采用原因:适合支撑“Agent 安全已进入 benchmark 阶段,说明其问题形态已经足够稳定可测”。
Agent-SafetyBench: Evaluating the Safety of LLM Agents 作者/机构:Zhexin Zhang 等 年份:2024 URL:https://arxiv.org/abs/2412.14470 角度:349 个交互环境、8 类风险、10 种 failure modes 的综合安全评测 采用原因:适合支撑“Agent 风险不是一句 prompt injection 能概括,而是多环境、多类别、多失效模式的系统问题”。
Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models 作者/机构:Andy K. Zhang 等 年份:2024 URL:https://arxiv.org/abs/2408.08926 角度:在可执行环境中评估网络安全能力与风险 采用原因:适合支撑“对具备行动能力的模型,安全评测必须进入环境与任务层,而不是只做文本问答测试”。
Risky-Bench: Probing Agentic Safety Risks under Real-World Deployment 作者/机构:Jingnan Zheng 等 年份:2026 URL:https://arxiv.org/abs/2602.03100 角度:真实部署上下文中的 agentic safety evaluation、context-aware rubrics、长时程执行风险 采用原因:适合支撑“Agent 安全只有放进真实部署约束里,问题才会完整暴露”。
Benchmarking and Defending Against Indirect Prompt Injection Attacks on LLM Agents 作者/机构:Nils H. Fischer 等 年份:2025 URL:https://arxiv.org/abs/2403.14147 角度:间接提示注入的基准与防御 采用原因:适合支撑“外部环境输入会成为 Agent 执行链里的主要攻击入口”。
AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways 作者/机构:Ahsan Ayub 等 年份:2025 URL:https://arxiv.org/abs/2508.09266 角度:agent 安全挑战综述、攻击面分类、未来防御方向 采用原因:适合支撑“本章需要一个对整体威胁版图的学术综述参照”。
附录 G:分章资料清单