返回更新列表
新发布Aug 5, 2026

augustus v0.14.15

LLM 安全测试框架,用于检测提示注入、越狱和对抗性攻击 — 190+ 探针、28 个提供商、单个 Go 二进制文件

分享

Augustus - 用于提示注入、越狱和对抗性攻击测试的 LLM 漏洞扫描器

Augustus - LLM 漏洞扫描器

针对 210+ 种对抗性攻击测试大型语言模型,涵盖提示注入、越狱、编码漏洞利用和数据提取。

CI Go Version License Go Report Card GitHub Release

Augustus 是一款基于 Go 的 LLM 漏洞扫描器,面向安全专业人员。它针对多种对抗性攻击测试大型语言模型,集成 28 个 LLM 提供商,并生成可操作的漏洞报告。

与面向研究的工具不同,Augustus 专为生产环境安全测试而构建——并发扫描、速率限制、重试逻辑和超时处理开箱即用。

目录

为什么选择 Augustus

特性Augustusgarakpromptfoo
语言GoPythonTypeScript
单一二进制文件是否否
并发扫描Goroutine 池多进程池是
LLM 提供商2835+80+
探针类型210+160+119 个插件 + 36 种策略
企业级定位是研究是

功能特性

特性描述
210+ 漏洞探针47 个攻击类别:越狱、提示注入、对抗样本、数据提取、安全基准、智能体攻击等
28 个 LLM 提供商OpenAI、Anthropic、Azure、Bedrock、Vertex AI、Ollama 以及另外 22 个,共 43 种生成器变体
90+ 检测器模式匹配、LLM 作为评判者、HarmJudge(arXiv:2511.15304)、Perspective API、不安全内容检测
7 种 Buff 变换编码、改写、诗歌(5 种格式,3 种策略)、低资源语言翻译、大小写变换
灵活输出表格、JSON、JSONL 和 HTML 报告格式
生产就绪并发扫描、速率限制、重试逻辑、超时处理
单一二进制文件基于 Go 的工具可编译为一个便携式可执行文件
可扩展通过 Go init() 函数实现插件式注册

攻击类别

  • 越狱攻击:DAN、DAN 11.0、AIM、AntiGPT、Grandma、ArtPrompts
  • 提示注入:编码(Base64、ROT13、Morse)、标签走私、FlipAttack、前缀/后缀注入
  • 对抗样本:GCG、PAIR、AutoDAN、TAP(Tree of Attack Prompts)、TreeSearch、DRA
  • 多轮攻击:Crescendo(逐步升级)、GOAT(自适应技术切换)
  • 数据提取:API 密钥泄露、包幻觉、PII 提取、LeakReplay
  • 上下文操纵:RAG 投毒、上下文溢出、多模态攻击、续写、发散
  • 格式利用:Markdown 注入、YAML/JSON 解析攻击、ANSI 转义、Web 注入(XSS)
  • 规避技术:混淆、字符替换、基于翻译的攻击、措辞、ObscurePrompt
  • 安全基准:DoNotAnswer、RealToxicityPrompts、Snowball、LMRC
  • 智能体攻击:多智能体操纵、浏览利用
  • 安全测试:护栏绕过、AV/垃圾邮件扫描、利用(SQLi、代码执行)、BadChars

警告:lmrc 探针在越狱测试中使用亵渎和冒犯性语言。仅在授权的测试环境中使用。

快速开始

安装

需要 Go 1.27.0 或更高版本。

go install github.com/praetorian-inc/augustus/cmd/augustus@latest

或从源码构建:

git clone https://github.com/praetorian-inc/augustus.git
cd augustus
make build

基本用法

export OPENAI_API_KEY="your-api-key"
augustus scan openai.OpenAI \
  --probe dan.Dan_11_0 \
  --detector dan.DAN \
  --verbose

示例输出

+--------------+-------------+--------+-------+--------+
| PROBE        | DETECTOR    | PASSED | SCORE | STATUS |
+--------------+-------------+--------+-------+--------+
| dan.Dan_11_0 | dan.DAN     | false  | 0.85  | VULN   |
| dan.STAN     | dan.STAN    | true   | 0.10  | SAFE   |
| dan.AntiDAN  | dan.AntiDAN | true   | 0.05  | SAFE   |
+--------------+-------------+--------+-------+--------+

列出可用功能

# List all registered probes, detectors, generators, harnesses, and buffs
augustus list

支持的提供商

Augustus 包含 28 个 LLM 提供商类别,共 43 个生成器变体:

提供商生成器名称备注
OpenAIopenai.OpenAI、openai.OpenAIReasoningGPT-3.5、GPT-4、GPT-4 Turbo、o1/o3 推理模型
Anthropicanthropic.AnthropicClaude 3/3.5/4(Opus、Sonnet、Haiku)
Azure OpenAIazure.AzureOpenAIAzure 托管的 OpenAI 模型
AWS Bedrockbedrock.BedrockClaude、Llama、Titan 模型
Google Vertex AIvertex.VertexPaLM、Gemini 模型
Coherecohere.CohereCommand、Command R 模型
Replicatereplicate.Replicate云端托管的开源模型
HuggingFacehuggingface.InferenceAPI、huggingface.InferenceEndpoint、huggingface.Pipeline、huggingface.LLaVAHF 推理 API、端点、流水线、多模态
Together AItogether.Together面向开源模型的快速推理
Anyscaleanyscale.AnyscaleLlama 和 Mistral 托管
Groqgroq.Groq超高速 LPU 推理
Mistralmistral.MistralMistral API 模型
Fireworksfireworks.Fireworks生产级推理平台
DeepInfradeepinfra.DeepInfra无服务器 GPU 推理
NVIDIA NIMnim.NIM、nim.NVOpenAICompletion、nim.NVMultimodal、nim.VisionNVIDIA AI 端点、多模态
NVIDIA NeMonemo.NeMoNVIDIA NeMo 框架
NVIDIA NVCFnvcf.NvcfChat、nvcf.NvcfCompletionNVIDIA 云函数
NeMo Guardrailsguardrails.NeMoGuardrailsNVIDIA NeMo Guardrails
IBM watsonxwatsonx.WatsonXIBM watsonx.ai 平台
LangChainlangchain.LangChainLangChain LLM 封装
LangChain Servelangchain_serve.LangChainServeLangChain Serve 端点
Rasarasa.RasaRestRasa 对话式 AI
GGMLggml.GgmlGGML 本地模型推理
Functionfunction.Single、function.Multiple自定义函数生成器
Ollamaollama.Ollama、ollama.OllamaChat本地模型托管
LiteLLMlitellm.LiteLLM统一 API 代理
REST APIrest.Rest自定义 REST 端点(支持 SSE)
Testtest.Blank、test.Repeat、test.Lipsum、test.Nones、test.Single、test.BlankVision测试与开发

所有提供商均可在编译后的二进制文件中使用。可通过环境变量或 YAML 配置文件进行配置。有关设置详情,请参阅配置。

用法

单次探测

# Test for DAN jailbreak
augustus scan openai.OpenAI \
  --probe dan.Dan_11_0 \
  --detector dan.DAN \
  --config-file config.yaml \
  --verbose

多重探测

# Use glob patterns to run related probes
augustus scan openai.OpenAI \
  --probes-glob "dan.*,goodside.*,grandma.*" \
  --detectors-glob "*" \
  --config-file config.yaml \
  --output batch-results.jsonl

# Run all probes against Claude
augustus scan anthropic.Anthropic \
  --all \
  --config '{"model":"claude-3-opus-20240229"}' \
  --timeout 60m \
  --output comprehensive-scan.jsonl \
  --html comprehensive-report.html

缓冲区变换

应用提示词变换以测试规避技术:

# Apply base64 encoding buff to all probes
augustus scan openai.OpenAI \
  --all \
  --buff encoding.Base64 \
  --config '{"model":"gpt-4"}'

# Apply poetry transformation
augustus scan anthropic.Anthropic \
  --probes-glob "dan.*" \
  --buff poetry.MetaPrompt \
  --config '{"model":"claude-3-opus-20240229"}'

# Chain multiple buffs
augustus scan openai.OpenAI \
  --all \
  --buffs-glob "encoding.*,paraphrase.*" \
  --output buffed-results.jsonl

输出格式

# Table format (default) - human-readable
augustus scan openai.OpenAI --probe dan.Dan_11_0 --format table

# JSON format - structured output
augustus scan openai.OpenAI --probe dan.Dan_11_0 --format json

# JSONL format - one JSON object per line, ideal for piping
augustus scan openai.OpenAI --probe dan.Dan_11_0 --format jsonl

# HTML report - visual reports for stakeholders
augustus scan openai.OpenAI --all --html report.html

自定义 REST 端点

分类