一个用于自主攻击性LLM代理的确定性测试框架与操作手册，通过强制执行授权、范围和证据门控，确保渗透测试的可复现性与诚实性。

以下章节描述了早期的 core/ 和 walkthrough/ 实现及其已公开的缺陷。其缺失的模型调用验证器在该历史路径中仍然缺失。新的 harness/ 包是一个独立的离线控制参考；它不会追溯性地修复语料库或历史模块。在复制历史组件之前，请先阅读第 07 章的边界和修正。

将一个能力强大的模型指向一个宿主，交给它一个工具箱并告诉它运行渗透测试，它会做出合理的事情。明天再运行一次，它会做出其他合理的事情，而两次运行都无法告诉你为什么它跳过了另一次捕获到的内容。本手册主张让模型承担更小的任务：将每个决策交给能够正确做出该决策的最廉价层级，并且仅在答案确实无法从已有信息中推导出来时才投入模型能力。从表格能做出的决策到少数需要模型的决策，这个排序就是第 00 章标题中的梯度。各章节跟随一个工作中的攻击性安全智能体及其失败所要求的控制项。

历史系统有两条编排路径。在服务器驱动路径上，编排器维护自己的阶段列表，只向模型提供该阶段允许的工具。在智能体驱动路径上，编排模型规划运行并自行调用工具，其下的各层被构建但并非总是被咨询。共享写入路径使记录的操作和发现可审查，但可用的 shell 可以绕过它。虚构的端点会获得捕获的响应，而非自动的漏洞判定。严重性治理器不能提升；独立验证器的历史提升门禁检查引用但不确立可利用性。授权在工具边界处被询问，而非在每个出站请求处。报告章节区分了未发现任何内容的扫描与被拒之门外的扫描。意图与执行之间的这些差异是案例研究的一部分，而非要复制到新框架中的属性。

除第一章外的每一章都以承认其控制项仍然存在的错误结尾，而诚实性部分承载了证明这些错误的测量数据。如果你正在决定是否信任其余内容，请先阅读诚实性部分：语料库是一个系统的运行历史，选定的公开目标运行是作者记录的聚合数据，旁边发布了两次被排除的运行，而能够展示确定性层实际贡献多少的消融研究尚未运行。该仓库不包含选定运行的原始发现、地面真值或匹配器，因此记录的精确率在此处无法独立复现。设计论证是论证出来的，而非测量出来的，第 05 章正是用这些词说明的。

五条法则

第 00 章中的规范文本，在此复制。每一条都是设计意图，每条法则末尾命名的章节是此系统被对照检验的地方：哪些部分通过构造成立，哪些仅在两条编排路径之一上成立，哪些依赖于编排器的良好行为，哪些尚未成立。

1. 模型提议；确定性代码处置。 给模型一个提议接口，而非对目标、原始存储或严重性最终决定权的直接访问。确定性代码验证、执行并记录被接纳的工作。历史系统并非在所有地方都强制执行该边界：两个编排器都可以访问 shell，其写入路径携带一个无需执行即可存储发现的子命令。虚构的端点可能返回 404、登录页面或应用 shell；记录响应并单独判断声明。共享写入器不是沙箱。第 01 章和第 02 章。

2. 关于过去的声明必须引用。关于未来的提议必须执行。 这是不同类型的陈述，需要不同的门禁。关于已观察事物的声明必须引用自己的捕获；匹配的引用确立的是引用完整性，而非结论为真。历史门禁存在泄漏：即使没有一项通过，它每批次也保留一项，并且在一条编排路径上，调用方提供的置信度可以替代检查。提议的测试不能通过引用它尚未做出的观察来验证。它只能在授权、范围、门禁和预算检查允许之后运行，其结果仍需要解释。该法则不是执行每个提议的许可。第 02 章。

3. 严重性默认降低，仅凭证据提升。 确定性治理器可以降低严重性或标记发现为误报，但不能提升。这限制了其权限；这并不使其结论正确。低报可能隐藏真实漏洞，因此每条降级规则都需要匹配和反例测试以及可审查的理由。历史提升端点检查逐字引用但不强制执行其契约要求的作者评分。仅引用不是可利用性证明。将捕获绑定到发现，应用经审查的领域证明策略，并保留独立的人工审查和签署流程。第 03 章。

4. 范围是函数，而非判决。 写入提示中的授权与上下文窗口中的每条其他指令竞争。将操作者的许可编码为可审查的策略，并在每个出站操作之前强制执行，并记录拒绝情况。历史守卫存在不足：它在工具边界而非每个请求处被询问，扩大了某些宿主边界，并且在终止开关下或在未构造目标时默认开放。实验室在其可信回调之前拒绝未列出的来源，但传输隔离仍属于适配器。策略决策的正确性取决于其评估的授权和目的地。第 04 章。

5. 报告你未做的事情。 未发现任何内容的扫描与无法到达任何内容的扫描是不同的扫描，而将它们渲染为相同的报告是在以省略方式撒谎。覆盖率、门禁状态以及每个被跳过宿主及其原因的账本应属于交付物，与发现并列。这是历史报告未满足的要求：只有覆盖率到达，且是针对其最弱分母计算的，并标注了不同分母的名称。实验室核算计划中的工具和 URL 操作、已执行的工作、错误和跳过；该分母不衡量漏洞覆盖率。第 05 章。

各章节

参考实现

core/ 下的历史代码是为了被阅读、运行和质疑而存在的。它是洁净室实现，并且刻意不作为实时测试器运行：性能分析、相关性评分、调度和工具调用验证是真实且可运行的，而所有会将数据包发送到网络上的内容都被扣留。运行 ls core/*.py 查看实际发布的内容，而不是相信此处写下的数字——这种声明在模块被添加的那一刻就会过时。后续章节依赖的控制项就在其中：写入路径是 core/store_protocol.py，严重性治理器是 core/severity_governor.py，范围守卫是 core/scope_guard.py，门禁检查是 core/gate_check.py，阶段机是 walkthrough/run.py。历史模型调用验证器被扣留。第 06 章对其进行了规范；第 07 章发布的是一个独立的确定性证据守卫，而非该验证器，也非人工验收流程。保持它们的工作分离：接地批评者检查引用包含性，治理器限制严重性，提升路径必须满足独立审查的证明策略。它们都不能替代人工审查和签署。

walkthrough/ 在已提交的夹具上驱动该阶段机，并将各章节引用的工件写入 walkthrough/artifacts/。使用 python3 -m walkthrough.run 重新生成它们，如果你不想触碰已提交的副本，该命令接受 --out 目录；tests/test_walkthrough_is_in_sync.py 将一次全新的内存运行与这些副本逐字节比较，因此未经重新运行而编辑的夹具会变红而非发布。该门禁无法捕获的是在两处都错误的工件，其自身的文档字符串也说明了这一点。

数字

每个章节中的每个数字都解析为 data/stats.json 中的一个键，或带有注释说明该数字是什么以及为什么它不是从目标获取的测量值。在第 00 章至第 05 章以及本 README 中，十三条注释命名了代码的常量或属性，三十五条覆盖了数字检查无法读取的拼写数量，五条命名了 HTTP 状态码，一条命名了此仓库自身两个已发布快照之间的比较。统计文件是带有已发布窗口的冻结快照，而非实时查询，第 05 章解释了为什么重新运行流水线无法复现它。

第 05 章报告了系统针对公开的故意易受攻击应用程序的 F1 分数，并将其与 OWASP ZAP 被动扫描分数并列。此仓库证明了算术运算并使四个聚合分数文件与 data/stats.json 保持同步；它不包含证明两个工具在受控正面比较中被评估所需的原始发现、地面真值条目、匹配器、目标标识符或运行标识符。将这对数据视为历史的、作者记录的数据点，而非公平基准。样本量、因此未报告的离散度，以及被排除的运行及其各自被排除的原因，都在该章节中。

各章节的生成副本，每个数字都解析为其实际值，每条代码引用都转换为指向 core/ 的链接，位于渲染树中供在 GitHub 上阅读；它由 scripts/render.py 生成，并由 tests/test_rendered_is_in_sync.py 与源保持同步。

如果你要发布该仓库，请遵循 PUBLICATION.md。将无历史的快照发布到新的公共仓库；不要更改开发仓库的可见性，也不要假设干净的工作树已清除其可达的 Git 历史。强制性的预提交 scripts/publication_gate.sh 拒绝发布，除非私有黑名单确实被合并、公共 Git 作者身份与批准值匹配，且暂存仓库没有先前的引用、对象或 reflog。

scripts/audit.sh 扫描仓库中的标识符，scripts/prose_check.sh 和 scripts/verify_claims.sh 扫描散文，tests/test_gates.sh 针对它们植入违规以证明它们仍然触发，测试套件将参考实现与各章节所述内容进行对照。一个章节在以下每一项都通过之前不算完成：

该套件中的 tests/test_chapter_claims.py 是最值得借鉴的。它包含针对参考实现和已发布统计数据的断言，每条断言都锚定到其支持的逐字句子，因此改变事实的编辑会失败测试而非悄然发布。

Theodoros Moutesidis.