一个用于自主攻击性LLM代理的确定性测试框架与操作手册,通过强制执行授权、范围和证据门控,确保渗透测试的可复现性与诚实性。
📖 在线阅读手册:从第一次运行 fixture 到构建一个具有明确限制的 agent,逐步跟随课程学习。

自主安全 / 构建者实战手册
阅读网站 · 开始课程 · 运行实验环境 · 接入你的模型 · 构建流程
一本实用手册,教你构建自主安全 agent,并对模型可以决定什么设定明确的限制。学习如何将观测转化为计划、仅允许被许可的操作、将发现与证据绑定,并对无法完成的工作进行说明。
模型始终是概率性的。宿主应用程序负责授权、允许的操作、证据记录和验收。重放冻结的输入和策略可以复现这些控制决策;但这并不能使实时目标或模型响应变得可重复。
你应当能够轻松阅读基本的 Python、JSON 和 HTTP。按照核心路线,从第一次运行一直走到组装完成的应用程序。调度课程会引导你了解一个简短的基线选择契约;自适应控制器在核心构建完成后是可选的。在此过程中,你将编辑起始文件并运行检查,这些检查会在你的代码正常工作之前一直失败。课程可离线运行,无需 API 密钥或目标连接。
阅读网站按顺序呈现课程,带有导航、图表和搜索功能。使用网站指南在本地构建或预览它。
从本仓库的本地副本开始:
python3 -m venv .venv
source .venv/bin/activate
python3 -m pip install -r requirements.txt
python3 -m harness.demo --out /tmp/harness-report.json
diff -u harness/report.json /tmp/harness-report.json
python3 -m pytest tests/test_harness.py
本次发布已在 CPython 3.14 上验证。更早的 Python 版本不属于发布证据的一部分;如果你使用更早的版本,请在依赖结果之前运行下面的完整门禁序列。
当报告与已提交的示例一致时,diff 不会输出任何内容。打开报告,从头部发现项所建议的严重级别追踪到其受管控的严重级别。然后检查被拒绝的 raise 以及合成标记被允许的 raise。这两项发现仍然需要人工审查。
阅读输入清单、实现和对抗性测试,并与示例报告对照。当你能够解释为什么某个操作被允许、为什么某个 raise 被拒绝,以及报告的覆盖率计数实际衡量的是什么时,你就完成了本简介。
默认的 harness 实验环境不发起网络请求,也不调用任何模型。其证明谓词是合成的,其主机和适配器均受信任,并且每一项发现都被标记为需要人工审查。该实验环境不实现个人的验收或报告签署工作流。逐字引用确立的是引用完整性,而非可利用性。更少的模型调用和更少的返工是设计目标,而不是由语料库衡量的节省量。
你的模型提供提案。应用程序保留策略和状态,检查每个提案,运行被允许的 fixture 操作并记录结果。本仓库为你提供应用程序和练习;模型连接由你提供。
your model -> JSON proposal -> application checks -> fixture tool -> evidence + report
|
reject or stop
先使用其模拟模型传输运行组装好的应用程序:
python3 -m examples.app_agent --out /tmp/agent-report.json --store /tmp/agent-memory.db
python3 -m pytest tests/test_app_agent_example.py -q
检查 /tmp/agent-report.json 中的提案状态和证据。然后按照 连接你自己的模型 使用本地模型或编写传输包装器。较早的 模型桥接 仍然是一个较小的连接练习,使用不同的提案格式。两个示例都将工具操作保持在固定装置上,包括当真实模型提供回复时。
该指南说明了需要替换的内容、要返回的 JSON、要保留的检查、预期的报告以及添加实时工具之前剩余的工作。
该图将实验室的控制与提案连接结合起来。模型桥接演练了操作准入和证据捕获;默认实验室单独演示了发现治理。两者都不是完整的实时安全代理。
点击任何图表即可全尺寸打开;在窄屏幕上你也可以横向滚动它。
这是学习顺序。在运行时,授权和门控先于调度。每节课都应为你留下一个小型组件、一个对抗性测试和一个你可以检查的工件。
| 构建步骤 | 课程 | 当前覆盖范围 |
|---|---|---|
| 运行并跟踪一次完整的固定装置运行 | 第 1 课 | 可运行、字节可复现的报告 |
| 约束代理:策略、记录、一个写入边界、强制阶段 | 第 2 课和第 3 课 | 可运行,带有记录的拒绝 |
| 通过验证和有界修复连接模型提案 | 第 4 课 | 可运行的假提供者;演示了敌意文本拒绝 |
| 选择并调度具有不同结果的工作 | 第 5 课 | 可运行;六状态账本 |
| 检索记忆并组装上下文而不丢失约束 | 第 6 课和第 7 课 | 可运行;组件分数和遗漏记录 |
| 验证证据并审查发现 | 第 8 课 | 可运行;错误拒绝保持可见 |
| 停止、恢复并负责任地完成 | 第 9 课 | 可运行;恢复从不虚构成功 |
| 围绕你的模型组装应用程序 | 第 16 课 | 可运行、配置驱动、门控完成 |
| 在核心构建之后研究自适应选择 | 可选控制器课程 | 可运行的控制器实验室,默认关闭学习 |
core/(扁平模块)和 walkthrough/ 下的早期组件保留了历史案例研究,包括已知缺陷;课程的教学包位于它们旁边,在 core/run/、core/memory/ 和 core/controller/ 下。使用案例研究来理解为什么存在某个控制以及之前出了什么问题,并使用证据登记册了解本书背后的研究做了什么和没有展示什么。