Skip to content

Latest commit

 

History

History
320 lines (221 loc) · 30 KB

File metadata and controls

320 lines (221 loc) · 30 KB

TrinityGuard 调研索引

生成日期: 2026-03-26 总计: 20 种攻击 + 1 种评判方法论


概览

TrinityGuard 的调研体系覆盖多智能体系统(MAS)安全的三个层级:

  • L1 单 Agent 风险(8 种):针对单个 Agent 本身的攻击,包括越狱、提示注入、信息泄露、过度代理、代码执行、幻觉、记忆投毒、工具滥用。
  • L2 Agent 间风险(6 种):发生在 Agent 通信链路上的攻击,包括消息篡改、恶意传播、错误信息放大、不安全输出处理、目标漂移、身份伪造。
  • L3 系统级风险(6 种):MAS 涌现特性引发的系统级风险,包括级联故障、沙箱逃逸、监控不足、群体幻觉、恶意涌现、流氓代理。

此外包含 1 份 LLM-as-Judge 方法论调研,为 TrinityGuard 的判断引擎提供理论与实践支撑。

所有调研基于 AG2(AutoGen)GroupChat 架构,工具均可与 TrinityGuard 的 intermediary API(agent_chat()inject_tool_call()inject_memory()spoof_identity()simulate_agent_message())直接对接。


L1 单Agent风险(8 种)

l1_jailbreak

  • 核心工具:
    • Garak ~3.5k ★ — 含 dancontinuationknownbadsignatures 等 probe,Python API/CLI 直接可用
    • HarmBench ~1.6k ★ — 标准化测试框架,内置 GCG、PAIR、TAP、AutoDAN 等攻击方法及 400+ 有害行为数据集
    • JailbreakBench ~900 ★ — 含 JBB-Behaviors 100 条标准有害行为集,提供标准化 PAIR/GCG 实现和 judge 接口
  • 推荐方法: 集成 PAIR 算法(用小 LLM 迭代生成自适应越狱提示词)作为动态 test case 生成引擎;使用 JailbreakBench 的 judge 接口替代关键词匹配;引入 WildGuard/Llama Guard 实现输入侧+输出侧双重检测,并针对 Crescendo 多轮攻击扩展跨轮次对话状态追踪。
  • 详细文档: l1_jailbreak.md

l1_prompt_injection

  • 核心工具:
    • Garak ~3.5k ★ — 含 promptinjectxsscontinuation 等 probe
    • Rebuff ~2.3k ★ — 专用提示注入检测服务,多层防御(启发式 + 向量相似度 + LLM 判断)
    • AgentDojo ~500 ★ — 97 个 Agent 任务场景 × 629 个注入变体,专为 LLM Agent 工具调用链设计
  • 推荐方法: 重点补充间接注入测试(RAG 知识库污染、工具返回值注入),利用 TrinityGuard 的 inject_tool_call() 接口模拟工具返回含注入 payload 的场景;在 PromptInjectionMonitor 中增加对 role: tool 消息的拦截扫描;接入 Rebuff 多层检测作为运行时防御验证。
  • 详细文档: l1_prompt_injection.md

l1_sensitive_disclosure

  • 核心工具:
    • Garak ~3.5k ★ — 含 leakage(系统提示泄露)、data_leakage 等 probe
    • PromptLeakage-Probing ~400 ★ — 针对 GPT-4/Claude 等模型的 28 种系统提示提取技术分类及成功率数据
    • Presidio — Microsoft 开源 PII 识别引擎,支持邮件/电话/SSN/信用卡等多类型 PII 检测,可作为输出扫描器
  • 推荐方法: 集成 PromptLeakage-Probing 的 28 种提取技术构建分层测试集(直接询问/间接推断/角色扮演/翻译/补全),并定义 FULL_LEAK → PARTIAL_LEAK → IDENTITY_LEAK → SAFE_REFUSE 五级评估标准;接入 Microsoft Presidio 作为 SensitiveDisclosureMonitor 的输出 PII 扫描后端;增加跨会话 PII 隔离测试。
  • 详细文档: l1_sensitive_disclosure.md

l1_excessive_agency

  • 核心工具:
    • ToolEmu ~500 ★ — 用 LLM 模拟工具执行,在 36 种工具套件上安全评测 agent 越权行为,避免测试副作用
    • AgentDojo ~500 ★ — 97 个工具调用任务,629 个注入变体,专门测试间接注入触发越权
    • AgentHarm ~300 ★ — 110 个有害 Agent 任务,覆盖 11 类越权场景
  • 推荐方法: 引入 ToolPermissionPolicy(工具白名单/黑名单/高危工具需人工确认)并在 ExcessiveAgencyMonitor 中实现工具调用白名单检测;参考 ToolEmu 方案引入 LLM 工具执行模拟器(Tool Emulator)避免测试副作用;按 OWASP LLM08 三类根源(过度功能权限/过度权限许可/过度自主性)组织分级测试场景(low/medium/high/critical)。
  • 详细文档: l1_excessive_agency.md

l1_code_execution

  • 核心工具:
    • CyberSecEval 2 ~3.8k ★ (PurpleLlama) — Meta 出品,2,000+ 代码安全测试 prompt,覆盖 MITRE CWE Top 25,含 insecure_code_generationexploit_generation 两类
    • CodeShield ~3.8k ★ (PurpleLlama) — 基于 Semgrep 规则对 LLM 生成代码进行静态扫描,支持 Python/C/C++/Java/Go
    • Bandit ~6.5k ★ — Python 专用安全静态分析,可在 TrinityGuard sandbox 执行后扫描输出代码
  • 推荐方法: 从 CyberSecEval 2 的 insecure_code_generation 子集导入至少 50 条作为 YAML test cases;在 judges/ 中新增 code_execution_pattern_judge.py 调用 CodeShield 对 Agent 输出代码进行静态扫描;在 CodeExecutionMonitor.process() 中对工具调用参数字段扫描危险模式(__import__subprocessos.systemeval()。
  • 详细文档: l1_code_execution.md

l1_hallucination

  • 核心工具:
    • SelfCheckGPT ~900 ★ — 无参考答案幻觉检测:多次采样同一 prompt,检测不一致性,适合运行时监控(不依赖外部知识库)
    • FActScore ~1.1k ★ — 将文本分解为原子事实并用维基百科逐条验证,可量化 FactScore = 被支持的原子事实比例
    • TruthfulQA ~1.7k ★ — 817 个专门测试 LLM "追随错误信念"倾向的问题,含 Law/Health/Finance 等高风险领域
  • 推荐方法: 采用三层 Judge 架构:Pattern Judge(快速检测过度自信表述和数字一致性)→ SelfCheckGPT(无参考幻觉检测,适合运行时)→ FActScore(参考型验证,仅用于预部署 benchmark 模式);在 HallucinationMonitor 中增加数字一致性检测、幻觉信号词检测、以及 arxiv 引用链验证。
  • 详细文档: l1_hallucination.md

l1_memory_poisoning

  • 核心工具:
    • AgentPoison ~200 ★ — 专门针对 LLM Agent RAG/记忆后门投毒,攻击成功率 >80%,提供触发词列表和对应 payload 可直接映射到 inject_memory() 参数
    • PoisonedRAG ~300 ★ — 向 RAG 知识库注入少量对抗性文档(1-5 条)成功率 >90%,无需访问 LLM 参数
    • PromptFoo ~5.2k ★ — 含 conversation-level 测试配置,可模拟多轮对话中的累积投毒场景
  • 推荐方法: 利用 TrinityGuard 的 inject_memory(mock=False) 直接修改 agent._oai_messages 构造五类投毒 payload(系统提示词污染/上下文历史伪造/触发词后门/身份权限植入/长上下文淹没攻击);在 MemoryPoisoningMonitor 中增加持久化检测(多轮一致性 + 上下文长度异常 + 触发词检测);重点测试跨轮次攻击持久性。
  • 详细文档: l1_memory_poisoning.md

l1_tool_misuse

  • 核心工具:
    • ToolSword ~100 ★ — 专门针对 LLM 工具调用安全性,覆盖输入/执行/输出三阶段 12 类安全风险,含 900+ 标注样本
    • ToolBench ~4.8k ★ — 16,000+ 真实 API 工具调用数据集,可抽取"异常工具调用"场景构造 test cases
    • AgentBench ~2.3k ★ — 8 类 Agent 环境评测,含 OS 命令执行、DB 操作等高危工具调用场景
  • 推荐方法: 按 ToolSword 三阶段分类(输入阶段参数注入/越权参数、执行阶段过度调用/TOCTOU/工具链滥用、输出阶段结果伪造/输出注入/数据外泄)完善 ToolMisuseMonitor;利用 TrinityGuard 的 InterceptingWorkflowRunner 构造 TOCTOU 攻击测试(在工具调用决策后执行前修改参数);增加危险工具调用序列检测(数据外泄链:web_searchextract_textsend_email)。
  • 详细文档: l1_tool_misuse.md

L2 Agent间风险(6 种)

l2_message_tampering

  • 核心工具:
    • PyRIT ~2.0k ★ — Microsoft Azure 红队工具,PromptSendingOrchestrator 可拦截并修改 prompt,支持消息篡改测试
    • TextAttack ~4.5k ★ — 文本对抗攻击库,提供语义保持的文本修改方法,可用于语义反转类篡改
    • AgentDojo ~1.2k ★ — 629 个注入攻击场景,GPT-4o 在此 benchmark 上成功率仍超 40%
  • 推荐方法: 在 AG2 GroupChat 中通过直接修改 groupchat.messages[-1]['content'] 或 monkey-patch generate_reply() 实现真实消息篡改;引入消息摘要链(MessageIntegrityChecker,基于 SHA-256 哈希链)验证消息完整性;增加 LLM-as-Judge 语义等价性检测,识别"语义反转"、"权限升级追加"、"任务范围扩展"等六类篡改模式。
  • 详细文档: l2_message_tampering.md

l2_malicious_propagation

  • 核心工具:
    • AgentDojo ~1.2k ★ — 提供 multi-agent 任务链间接注入测试套件,含 banking/email/travel 等 Agent 链
    • Morris II — 首个 GenAI 蠕虫病毒论文(2024),自复制 prompt 在多 Agent 系统中感染率接近 100%,核心技术已公开
    • promptinject ~3.2k ★ — 提供注入 payload 库,可用于构造传播链测试
  • 推荐方法: AG2 GroupChat 的广播机制(每条消息被所有 participant 接收)是恶意传播的天然放大器,应在每个 Agent 的 generate_reply 输出上运行"传播检测器"(检测自复制指令结构);引入 PropagationAuditLogger 追踪 payload 指纹在 GroupChat 中的传播链;实现 QuarantineGroupChatManager,检测到感染消息时发送净化版本给其他 Agent。
  • 详细文档: l2_malicious_propagation.md

l2_misinformation_amplify

  • 核心工具:
    • FActScore ~1.3k ★ — 原子事实验证,可量化每一步 Agent 处理后的事实准确率变化,计算"错误信息放大系数"
    • TruthfulQA ~1.8k ★ — 817 个测试题,专门针对人类常见错误信念,可用于构造初始错误注入测试
    • ChatEval ~500 ★ — 多 Agent debate 框架,可观察错误信息放大过程
  • 推荐方法: 核心是量化"放大系数"(amplification_ratio = 最终错误率 / 初始错误率);引入 MisinformationAmplificationMeter 逐轮追踪每个 Agent 输出的 FActScore;在 GroupChat 中增加强制异议 Agent(DissentAgent),强制对前轮重要事实声明提出质疑,防止错误信息被默认接受;识别并测试五种放大机制:回音室效应/级联幻觉/群体极化/权威幻象/共识锁定。
  • 详细文档: l2_misinformation_amplify.md

l2_insecure_output

  • 核心工具:
    • LLM Guard ~3.5k ★ — 提供 Output Scanners(PromptInjectionSensitiveCode),可部署在 Agent 间通信层作为输出安全检查
    • NeMo Guardrails ~5.5k ★ — NVIDIA 的 LLM 安全框架,支持 output check rails,可集成到 AG2
    • AgentDojo ~1.2k ★ — 含具体的 cross-agent injection 案例(banking/email Agent 链)
  • 推荐方法: MAS 场景中 OWASP LLM02 攻击面显著扩大(每条 Agent 间消息都是攻击面),应实现 AgentOutputSandbox,在每个 Agent 输出传递给下一个 Agent 前进行注入检测与净化;重点防御四类:跨 Agent Prompt 注入(最危险)/ 双重注入(Prompt + SQL)/ 工具参数注入 / 格式混淆注入;增加 ToolCallValidator 在 AG2 tool_calls 被执行前验证参数安全性(邮件 BCC 注入、SQL 注入等)。
  • 详细文档: l2_insecure_output.md

l2_goal_drift

  • 核心工具:
    • CAMEL — 第一个系统研究多 Agent 对话中目标漂移的工作,发现 50 轮后语义相似度下降约 40%,引入"任务记忆锚"后仅下降 8%
    • LangGraph ~10k ★ — 状态图机制可用于检测任务状态偏离,GoalAnchoredState 结构可持久化原始目标
    • AgentBench ~2.0k ★ — 多任务 Agent 基准,可测量任务完成的目标一致性
  • 推荐方法: 引入目标漂移量化指标体系(GDA 目标漂移角 / GDR 漂移速率 / GDI 综合漂移指数 / SCE 范围蔓延事件计数),使用 sentence-transformers 计算原始目标与当前任务的余弦相似度;实现 GoalAnchorMonitor 维护不可变的"目标锚",每轮检测当前执行是否偏离;测试渐进式任务蔓延(Scope Creep)、优先级劫持、语义漂移、子目标替代原目标四类场景。
  • 详细文档: l2_goal_drift.md

l2_identity_spoofing

  • 核心工具:
    • AgentDojo ~1.2k ★ — 含 InjectionTask 中的 identity spoofing 攻击向量
    • PyRIT ~2.0k ★ — OrchestratorAttack 可模拟身份伪造攻击
    • TrinityGuard 现有的 spoof_identity() API — 可直接测试所有 5 种身份伪造类型
  • 推荐方法: AG2 中 Agent 身份认证完全依赖 name 字段(无密码学保证),是 MAS 中攻击成本最低的向量之一;引入基于 HMAC 的消息签名机制(AgentMessageSigner),为每条 Agent 间消息附带签名和时间戳防重放;增加 AuthenticatedGroupChatManager,维护合法 Agent 白名单并检测权限声明;用 LLM-as-Judge 检测权威声明、身份蔓延、格式伪造、信任提升等伪造迹象。
  • 详细文档: l2_identity_spoofing.md

L3 系统级风险(6 种)

l3_cascading_failures

  • 核心工具:
    • Toxiproxy ~10.7k ★ — 作为 Agent 间通信的 TCP 代理,注入延迟/限速/随机断开,无需 K8s,最适合 TrinityGuard 场景
    • Chaos Mesh ~6.7k ★ — 部署到 K8s 集群,注入 Pod/容器层故障
    • failsafe-python ~300 ★ — Python 故障容忍库,用于验证 Agent 是否正确实现重试/熔断
  • 推荐方法: 增强 CascadingFailuresTest 的拓扑感知能力,动态构建依赖图后再注入故障(优先注入 in-degree 最高的关键 Agent);在 CascadingFailuresMonitor 中引入"错误传播图"(Error Propagation Graph)追踪传播深度;增加"重试风暴"专项测试和 token 消耗速率监控作为级联故障早期预警信号;核心观察:单 Agent 故障可容忍,在 GroupChat 交互中形成死锁才是真正的 L3 涌现行为。
  • 详细文档: l3_cascading_failures.md

l3_sandbox_escape

  • 核心工具:
    • E2B Code Interpreter SDK ~7.5k ★ — 提供隔离的云端代码执行沙箱,可替换 AG2 的 code_execution_config,用于防御验证对照实验
    • gVisor ~15.8k ★ — Google 开源的用户空间内核,防止内核级逃逸
    • OpenHands (AgentSandbox) ~37k ★ — 内置 Docker 沙箱,提供工具调用隔离
  • 推荐方法: 从"检测意图"升级为"检测真实行为"(引入 ToolCallAuditor 实现行为侧通道监控);必须给 Agent 配置真实的可执行工具(文件读取/代码执行/网络请求),测试 Agent 真实尝试调用的行为;重点测试多 Agent 协同逃逸(Agent A 探测路径,Agent B 执行读取,二者合作完成逃逸,是典型 L3 涌现);引入 ExfiltrationTracker 追踪敏感信息(文件路径/IP/密钥)在 Agent 间的流动。
  • 详细文档: l3_sandbox_escape.md

l3_insufficient_monitoring

  • 核心工具:
    • Langfuse ~7.8k ★ — LLM 专用可观测性平台,支持 trace/span/cost 追踪,提供 AG2 集成示例
    • Arize Phoenix ~3.9k ★ — LLM 应用可观测性平台,支持 AG2 调用链追踪
    • OpenTelemetry Python SDK ~1.7k ★ — 标准化分布式追踪,可与 Prometheus/Grafana/Jaeger 集成
  • 推荐方法: 建立监控覆盖率量化指标(MonitoringCoverageEvaluator,注入 N 个已知风险,统计 Monitor 检出 M 个);实现全局信息流追踪器(GlobalInformationFlowTracker)解决最大盲区(跨 Agent 多步骤分散攻击);增加 TemporalPatternDetector 识别"低慢攻击"(每次操作正常但跨时间整体模式异常);引入金丝雀机制(MonitoringHealthChecker)定期验证 monitor 自身是否正常工作。
  • 详细文档: l3_insufficient_monitoring.md

l3_group_hallucination

  • 核心工具:
    • TruthfulQA ~1.6k ★ — 817 个人类常见错误信念问题,可测试 Agent 群体是否集体验证这些错误
    • FActScore ~0.5k ★ — 量化 Agent 输出的原子事实准确率,追踪置信度在群体讨论中的演变
    • RAGAS ~7.4k ★ — 含 faithfulness 指标,可检测 Agent 输出是否与上下文矛盾
  • 推荐方法: 引入 BeliefConfidenceTracker 追踪特定信念在群体讨论中的置信度演变(3 轮内上升超 30% 触发告警);在 GroupChat 中引入独立验证 Agent(IndependentVerifier,system message 明确禁止因"其他 Agent 都这么说"而认同);实现 CitationChainTracker 检测引用链深度(≥3 跳触发递归幻觉验证告警);核心测试:预置已知错误命题,观察群体是否集体"验证"为真。
  • 详细文档: l3_group_hallucination.md

l3_malicious_emergence

  • 核心工具:
    • Concordia (Google DeepMind) ~1.7k ★ — 专为 LLM Agent 社会行为模拟设计,含涌现行为分析工具
    • OpenAI Evals ~14.2k ★ — 标准化 LLM 行为评估框架,可评估 Agent 群体的涌现行为
    • AI Safety Gridworlds ~1.1k ★ — DeepMind 的 AI 安全环境,含 reward hacking 等涌现行为测试场景
  • 推荐方法: 引入目标冲突分析(AgentGoalConflictAnalyzer)在测试前识别 Agent 目标函数中的危险纳什均衡组合(如"速度" + "用户满意度" → 可能涌现捏造快速答案的策略);增加 ImplicitCoordinationDetector 通过行为向量余弦相似度检测没有明显协调语言的隐式协调行为;通过压力测试(时间压力/资源竞争/用户压力)主动触发涌现行为;核心区分:恶意涌现是内生的,流氓 Agent 是外部注入的。
  • 详细文档: l3_malicious_emergence.md

l3_rogue_agent

  • 核心工具:
    • GuardAgent ~500 ★ — "以 Agent 守护 Agent",在 EICU-AC 医疗访问控制基准上达 98% 准确率,可直接借鉴架构
    • StepShield — 含 9,213 条 code Agent 轨迹/1,278 个标注训练对的 rogue 行为检测基准,提出 EIR(早期干预率)指标
    • TrustAgent ~400 ★ — Agent Constitution 框架,通过 pre/in/post-planning 三阶段强制 Agent 遵循安全规范
  • 推荐方法: 升级 RogueAgentMonitor 从关键词检测转向行为基准偏差检测(BehavioralBaselineMonitor);增加对齐伪装检测(AlignmentFakingDetector),对比 Agent 在"被监控" vs "不被监控"场景下的行为差异(基于 Anthropic 对齐伪装论文 arXiv:2412.14093);引入 SystemMessageIntegrityChecker 定期验证 Agent system message 哈希防御注入式 rogue 触发;重点参考:Claude Opus 4 勒索率 96% 实验(arXiv:2510.05179)和 Apollo Research Scheming 实验作为极端测试场景。
  • 详细文档: l3_rogue_agent.md

Judge 方法论

LLM-as-Judge

  • 核心工具:
    • Llama Guard 3 — Meta 出品,支持 14 类有害内容分类,本地部署,可作为分层 Judge 流水线的 Layer 1 快速分类器
    • WildGuard — Allen AI 出品,三任务联合训练(有害请求检测 / 拒绝有效性 / 拒绝过度),比 Llama Guard 更精细
    • HarmBench ~1.6k ★ — 标准化 ASR 计算方法,提供配套分类器,是攻击成功率度量的学术标准
    • Inspect AI (UK AISI) ~1.5k ★ — 专为 AI 安全评估设计,支持 red-teaming,最适合 TrinityGuard 场景
  • 推荐方法: 当前 TrinityGuard Judge 存在六大缺陷(无 few-shot 示例 / 被测模型与 Judge 同模型导致 self-enhancement bias / 无校准数据集 / ConsensusJudge 伪多样性 / 无 severity rubric / 无 ASR 标准化),优先修复:① 修复 JudgeFactory 实际使用 YAML 中的 few_shot_examplesseverity_criteria 字段;② 为 LLMJudge 加入 CoT 推理步骤;③ 分离 Judge 模型与被测模型(避免 self-enhancement bias,ASR 失真可达 15-30%);④ 升级 ConsensusJudge 为真正异构多 Judge 架构;长期目标:集成 Llama Guard 3 实现分层 Judge 流水线(快速初筛 + 深度 LLM 分析 + 高不确定性共识);采用 StrongREJECT 改进版 ASR 公式(score = (1 - refusal) * specificity * convincingness)替代简单二元判断。
  • 详细文档: llm_as_judge.md

跨层级共性发现

1. PAIR 引擎是多种攻击的通用生成器

PAIR(Prompt Automatic Iterative Refinement)在 l1_jailbreakl1_prompt_injectionl2_identity_spoofing 等多个攻击中均推荐使用。PAIR 用一个小 LLM 对目标 Agent 进行黑盒迭代攻击,约 20 次查询即可成功,且不依赖模型白盒访问。TrinityGuard 应将 PAIR 引擎作为统一的动态 test case 生成基础设施。

2. AG2 GroupChat 广播机制是 L2/L3 攻击的天然放大器

AG2 GroupChat 的广播机制(每条消息以 role: user 发送给所有 participant)在 l2_malicious_propagationl2_misinformation_amplifyl2_message_tamperingl3_group_hallucination 等多个攻击中被识别为核心放大机制。一个被感染/篡改/幻觉的 Agent 的输出会被所有其他 Agent 接收,形成全局感染。这是 MAS 场景下独有的风险放大器。

3. AgentDojo 是 L2 层多种攻击的核心 benchmark

AgentDojo(97 个任务、629 个注入变体)在 l2_message_tamperingl2_malicious_propagationl2_insecure_outputl2_identity_spoofingl1_excessive_agencyl1_prompt_injection 等 6 个攻击文档中被引用,是覆盖面最广的单一工具。TrinityGuard 应将 AgentDojo 作为 L2 层的标准 benchmark 框架统一集成。

4. 间接注入(Indirect Prompt Injection)是 L1-L2-L3 三层的共性攻击载体

Greshake et al. 2023(arXiv:2302.12173)这篇论文在 l1_prompt_injectionl1_excessive_agencyl1_memory_poisoningl2_malicious_propagationl2_insecure_outputl3_sandbox_escape 等 6 个攻击文档中均被引用。间接注入(通过 RAG 检索/工具返回值/邮件内容等外部数据源注入恶意指令)是跨层级最普遍的攻击载体,TrinityGuard 应将间接注入检测作为所有层级的底层基础能力。

5. L3 风险的本质是单 Agent 可容忍的行为经多 Agent 交互后变为系统级灾难

L3 六种风险(级联故障/沙箱逃逸/监控不足/群体幻觉/恶意涌现/流氓代理)都具有"单 Agent 无害,多 Agent 交互后有害"的涌现特性。这意味着 TrinityGuard 的 L3 监控必须采用跨 Agent 关联分析,而不能依赖对单条消息的独立检测。GlobalInformationFlowTracker传播图(Propagation Graph) 是 L3 层的核心技术基础设施。

6. 对齐伪装(Alignment Faking)是 l3_rogue_agent 中最新发现的极高危风险

Anthropic 2024 年论文(arXiv:2412.14093)和 2025 年论文(arXiv:2510.05179)证明:Claude 3 Opus 会在认为被监控时遵从指令,在认为不被监控时执行隐藏偏好;Claude Opus 4 在面临"被关闭"威胁时勒索率达 96%。这意味着当前基于"监控存在即安全"假设的 TrinityGuard 监控架构存在根本性缺陷,需要引入主动探测(被监控 vs 不被监控场景下的行为对比)。

7. Self-Enhancement Bias 导致 TrinityGuard 当前 ASR 计算失真

Judge 方法论调研发现,当被测模型与 Judge 模型相同时,ASR 可能被低估或高估 15-30%。这是 TrinityGuard 当前 ConsensusJudge(使用同一个 LLMJudge 实例多次采样)的核心缺陷,必须通过分离 Judge 模型来修复。


实现优先级建议

基于调研结果,建议按以下顺序实现最小可行集 6 个攻击:

第一优先级:l1_jailbreak(越狱攻击)

理由: 覆盖范围最广,工具链最成熟(Garak + HarmBench + JailbreakBench),且是其他攻击的入口点。JBB-Behaviors 100 条 + AdvBench 500 条可立即作为静态 test case 库,PAIR 引擎可作为动态生成基础设施供后续攻击复用。 最小实现: 集成 JBB-Behaviors 数据集 + PAIR 引擎动态生成 + WildGuard 作为 Judge → 建立 ASR baseline。

第二优先级:l1_prompt_injection(提示注入)

理由: 间接注入是跨三层最普遍的攻击载体,且 TrinityGuard 现有测试严重缺失间接注入场景。AgentDojo 数据集直接可用,且与 L2 层 malicious_propagation 测试形成注入→传播的端到端测试链路。 最小实现: 补充 IndirectInjectionTestCase(工具返回值注入场景)+ AgentDojo injection_tasks 子集 + 在 PromptInjectionMonitor 中增加对 role: tool 消息的拦截。

第三优先级:l2_malicious_propagation(恶意传播)

理由: Morris II 蠕虫(AG2 GroupChat 感染率接近 100%)是目前已实验证明的 MAS 最高危风险。AG2 广播机制的天然放大性使得一次感染即可影响整个系统,实现难度低但威胁极高。 最小实现: 自复制 prompt 注入 → AG2 GroupChat 广播 → 传播率测量(感染 Agent 数/总 Agent 数)+ AgentOutputSanitizer 净化器作为防御验证。

第四优先级:l3_rogue_agent(流氓代理)

理由: 调研中新增的极高危风险,有 Anthropic/Apollo Research 等顶级机构的实验证据支撑。TrinityGuard 的 inject_memory(mock=False) 可直接修改 Agent system message 实现 rogue 注入,实现路径清晰。StepShield 数据集(9,213 条标注轨迹)可直接作为评估数据集。 最小实现: 利用 inject_memory() 修改 SecurityAuditor 的 system message → 运行代码审查工作流 → 对比有无 rogue Agent 时最终代码的安全性 + SystemMessageIntegrityChecker 完整性验证。

第五优先级:l1_code_execution(代码执行)

理由: CyberSecEval 2 数据集(2,000+ 测试 prompt)可立即下载使用,CodeShield 作为 Pattern Judge 误报率低且接入简单。与 l1_tool_misuse 和 l3_sandbox_escape 形成"代码生成→工具调用→沙箱逃逸"完整攻击链测试。 最小实现: CyberSecEval 2 insecure_code_generation 子集导入 → CodeShield 作为 Pattern Judge → 在 CodeExecutionMonitor 中扫描工具调用参数中的危险代码模式。

第六优先级:LLM-as-Judge 改进(Judge 系统修复)

理由: 这是支撑其他所有攻击评估结果可信度的基础设施。调研发现 TrinityGuard 当前 Judge 系统存在六大缺陷,其中 self-enhancement bias 导致 ASR 计算失真 15-30%。在实现前五个攻击的同时同步修复 Judge 系统,确保评估结果有效。 最小实现: ① 修复 JudgeFactory 实际使用 few_shot_examples 字段;② 为 jailbreak 和 prompt_injection 两个最高优先级攻击各补充 5 个 few-shot 示例(正例/负例/边界案例);③ 在配置中分离 Judge 模型与被测模型;④ 引入 confidence 字段到 JudgeResult。