또는 소스에서 빌드:```bash
git clone https://github.com/praetorian-inc/augustus.git
cd augustus
make build

### 예제 출력```
+--------------+-------------+--------+-------+--------+
| PROBE        | DETECTOR    | PASSED | SCORE | STATUS |
+--------------+-------------+--------+-------+--------+
| dan.Dan_11_0 | dan.DAN     | false  | 0.85  | VULN   |
| dan.STAN     | dan.STAN    | true   | 0.10  | SAFE   |
| dan.AntiDAN  | dan.AntiDAN | true   | 0.05  | SAFE   |
+--------------+-------------+--------+-------+--------+

## 지원 프로바이더

Augustus는 28개의 LLM 프로바이더 카테고리와 43개의 제너레이터 변형을 포함합니다:

| 프로바이더 | 제너레이터 이름 | 참고 |
|---|---|---|
| OpenAI | `openai.OpenAI`, `openai.OpenAIReasoning` | GPT-3.5, GPT-4, GPT-4 Turbo, o1/o3 추론 모델 |
| Anthropic | `anthropic.Anthropic` | Claude 3/3.5/4 (Opus, Sonnet, Haiku) |
| Azure OpenAI | `azure.AzureOpenAI` | Azure 호스팅 OpenAI 모델 |
| AWS Bedrock | `bedrock.Bedrock` | Claude, Llama, Titan 모델 |
| Google Vertex AI | `vertex.Vertex` | PaLM, Gemini 모델 |
| Cohere | `cohere.Cohere` | Command, Command R 모델 |
| Replicate | `replicate.Replicate` | 클라우드 호스팅 오픈 모델 |
| HuggingFace | `huggingface.InferenceAPI`, `huggingface.InferenceEndpoint`, `huggingface.Pipeline`, `huggingface.LLaVA` | HF 추론 API, 엔드포인트, 파이프라인, 멀티모달 |
| Together AI | `together.Together` | OSS 모델을 위한 빠른 추론 |
| Anyscale | `anyscale.Anyscale` | Llama 및 Mistral 호스팅 |
| Groq | `groq.Groq` | 초고속 LPU 추론 |
| Mistral | `mistral.Mistral` | Mistral API 모델 |
| Fireworks | `fireworks.Fireworks` | 프로덕션 추론 플랫폼 |
| DeepInfra | `deepinfra.DeepInfra` | 서버리스 GPU 추론 |
| NVIDIA NIM | `nim.NIM`, `nim.NVOpenAICompletion`, `nim.NVMultimodal`, `nim.Vision` | NVIDIA AI 엔드포인트, 멀티모달 |
| NVIDIA NeMo | `nemo.NeMo` | NVIDIA NeMo 프레임워크 |
| NVIDIA NVCF | `nvcf.NvcfChat`, `nvcf.NvcfCompletion` | NVIDIA Cloud 함수 |
| NeMo Guardrails | `guardrails.NeMoGuardrails` | NVIDIA NeMo 가드레일 |
| IBM watsonx | `watsonx.WatsonX` | IBM watsonx.ai 플랫폼 |
| LangChain | `langchain.LangChain` | LangChain LLM 래퍼 |
| LangChain Serve | `langchain_serve.LangChainServe` | LangChain Serve 엔드포인트 |
| Rasa | `rasa.RasaRest` | Rasa 대화형 AI |
| GGML | `ggml.Ggml` | GGML 로컬 모델 추론 |
| Function | `function.Single`, `function.Multiple` | 커스텀 함수 제너레이터 |
| Ollama | `ollama.Ollama`, `ollama.OllamaChat` | 로컬 모델 호스팅 |
| LiteLLM | `litellm.LiteLLM` | 통합 API 프록시 |
| REST API | `rest.Rest` | 커스텀 REST 엔드포인트 (SSE 지원) |
| Test | `test.Blank`, `test.Repeat`, `test.Lipsum`, `test.Nones`, `test.Single`, `test.BlankVision` | 테스트 및 개발 |

모든 프로바이더는 컴파일된 바이너리에서 사용할 수 있습니다. 환경 변수 또는 YAML 구성 파일을 통해 구성하세요. 설정 세부 사항은 [Configuration](#configuration)을 참조하십시오.

## 사용법

### 단일 프로브```bash
# Test for DAN jailbreak
augustus scan openai.OpenAI \
  --probe dan.Dan_11_0 \
  --detector dan.DAN \
  --config-file config.yaml \
  --verbose

### 버프 변환

프롬프트 변환을 적용하여 회피 기술을 테스트합니다:```bash
# Apply base64 encoding buff to all probes
augustus scan openai.OpenAI \
  --all \
  --buff encoding.Base64 \
  --config '{"model":"gpt-4"}'

# Apply poetry transformation
augustus scan anthropic.Anthropic \
  --probes-glob "dan.*" \
  --buff poetry.MetaPrompt \
  --config '{"model":"claude-3-opus-20240229"}'

# Chain multiple buffs
augustus scan openai.OpenAI \
  --all \
  --buffs-glob "encoding.*,paraphrase.*" \
  --output buffed-results.jsonl

### 커스텀 REST 엔드포인트```bash
# Test proprietary LLM endpoint (OpenAI-compatible API)
augustus scan rest.Rest \
  --probe dan.Dan_11_0 \
  --detector dan.DAN \
  --config '{
    "uri": "https://api.example.com/v1/chat/completions",
    "method": "POST",
    "headers": {"Authorization": "Bearer YOUR_API_KEY"},
    "req_template_json_object": {
      "model": "custom-model",
      "messages": [{"role": "user", "content": "$INPUT"}]
    },
    "response_json": true,
    "response_json_field": "$.choices[0].message.content"
  }'

# Test with proxy interception (Burp Suite, mitmproxy)
augustus scan rest.Rest \
  --probes-glob "goodside.*" \
  --config '{
    "uri": "https://internal-llm.corp/generate",
    "proxy": "http://127.0.0.1:8080",
    "headers": {"X-API-Key": "$KEY"},
    "api_key": "your-key-here",
    "req_template": "{\"prompt\":\"$INPUT\",\"max_tokens\":500}",
    "response_json": true,
    "response_json_field": "output"
  }'

## 작동 방식

Augustus는 파이프라인 아키텍처를 사용하여 LLM을 적대적 공격에 대해 테스트합니다:```mermaid
flowchart LR
    A[Probe Selection] --> B[Buff Transform]
    B --> C[Generator / LLM Call]
    C --> D[Detector Analysis]
    D --> E{Vulnerable?}
    E -->|Yes| F[Record Finding]
    E -->|No| G[Record Pass]

    subgraph Scanner
        B
        C
        D
        E
    end

#### GOAT (Generative Offensive Agent Tester)

GOAT는 7가지 적대적 기법과 공격-사고 체인(Chain-of-Attack-Thought) 추론을 사용하여, 성공 또는 실패 여부에 따라 전략을 동적으로 전환하는 공격적이고 적응적인 접근 방식을 사용합니다.

- **논문**: [Pavlova et al., 2024](https://arxiv.org/abs/2410.01606)
- **접근 방식**: 첫 턴부터 간접적인 프레이밍을 사용하여 목표를 지향하며, 대상에게 목표를 직접 언급하지 않음
- **3개 범주에 걸친 7가지 기법**:
  - *출력 조작(Output Manipulation)*: 거부 억제(Refusal Suppression), 응답 프라이밍(Response Priming)
  - *안전 응답 방해 요소(Safe Response Distractors)*: 이중 응답(Dual Response), 주제 분할(Topic Splitting), 반대 의도(Opposite Intent)
  - *가상 시나리오(Fictional Scenarios)*: 페르소나 변조(Persona Modification), 가상(Hypothetical)
- **공격-사고 체인(Chain-of-Attack-Thought)**: 각 턴마다 공격자는 관찰 → 생각 → 전략 → 응답 과정을 거쳐 메시지를 구성
- **기법 중첩(Technique stacking)**: 단일 턴에 여러 기법을 결합하여 더 강력한 효과를 낼 수 있음
- **강점**: 근본적으로 다른 접근 방식 간을 공격적으로 전환하여 더 적은 턴(보통 3~5턴)에 높은 성공률을 달성```bash
augustus scan rest.Rest \
  --probe goat.Goat \
  --config-file goat.yaml \
  --html report.html -v

#### 장난꾸러기 사용자

장난꾸러기 사용자는 자연스러운 대화를 통해 AI의 경계를 은근히 탐색하는 순수하고 호기심 많은 사람을 시뮬레이션합니다. 적대적 전략과 달리, 공격자 페르소나는 표면적으로 순수한 교류를 통해 금지된 주제로 점차 빠져드는 일반 사용자입니다.

- **영감**: [Tau-bench](https://github.com/sierra-research/tau-bench) 및 promptfoo의 장난꾸러기 사용자 전략
- **접근 방식**: 신뢰 형성 단계 → 경계 탐색 → 적극적 밀어붙이기
- **7가지 기술**: 순진한 호기심, 의도적인 오해, 사회적 증거, 점진적 표류, 감정적 호소, 가정된 허가, 재맥락화
- **목표별 플레이북**: 시스템 지침 추출, 비밀/플래그 찾기, 콘텐츠 정책 우회를 위한 내장 스크립트
- **기본 턴 수**: 5 (다른 전략보다 적음 — 미묘한 접근 방식은 빠르게 효과를 보거나 전혀 효과가 없음)
- **강점**: 명백한 적대적 패턴에 저항하도록 훈련된 모델에 효과적 — 캐주얼한 페르소나는 '공격 탐지' 휴리스틱을 우회함```bash
augustus scan rest.Rest \
  --probe mischievous.MischievousUser \
  --config-file mischievous.yaml \
  --html report.html -v

| 설정 | 기본값 | 설명 |
|---------|---------|-------------|
| `goal` | (필수) | 공격자가 달성하려는 목표 |
| `max_turns` | 10 | 중단 전 최대 대화 턴 수 |
| `success_threshold` | 0.8 | 조기 종료를 유발하는 판단 점수 (0.0~1.0) |
| `max_refusal_retries` | 10 | 대상이 거부할 경우 턴당 재시도 횟수 |
| `attack_max_attempts` | 5 | 공격자 LLM JSON 파싱 실패 시 재시도 횟수 |
| `use_secondary_judge` | true | 오탐을 잡기 위해 보조 판단자 활성화 |
| `max_backtracks` | 10 | 거부 시 턴 수준 롤백 (Hydra 전용) |
| `enable_fast_refusal` | true | LLM 판단자 호출 전 패턴 기반 거부 탐지 |
| `enable_scan_memory` | false | 테스트 간 학습 (프로브 간 전술 공유) |
| `stateful` | false | 상태 유지 대상에 대해 백트래킹 비활성화 |
| `exclude_target_output` | false | 공격자 피드백에서 대상 응답 숨기기 (프라이버시 모드) |
| `attacker_model` | (자동) | 컨텍스트 창 크기 계산을 위한 공격자 모델 이름 재정의 |

#### 다중 턴 문제 해결

| 증상 | 가능한 원인 | 해결 방법 |
|---------|-------------|-----|
| `no turns completed (attacker_parse_failures=N)` | 공격자 LLM이 유효하지 않은 JSON 반환 | 더 강력한 공격자 모델 사용 (GPT-4, Claude Opus). `attack_max_attempts` 증가. |
| `no turns completed (target_empty=N)` | 대상이 빈/null 응답 반환 | 대상 엔드포인트가 응답하는지 확인. REST 구성 템플릿 확인. |
| 모든 턴 점수 0.0 | 목표가 너무 모호하거나 공격자가 관여하지 않음 | `goal`을 더 구체적으로 지정. 다른 전략 시도. |
| 높은 점수지만 성공 없음 | `success_threshold`가 너무 높음 | `success_threshold`를 0.8에서 0.6~0.7로 낮춤 |
| 너무 오래 실행 / 비용 높음 | 너무 많은 턴과 재시도 | `max_turns` 줄이기 (5 시도). `enable_fast_refusal: true` 설정. |
| Hydra가 계속 백트래킹 | 대상이 모든 것을 거부 | `stateful: true` 시도 또는 Mischievous 전략으로 전환 |

## 아키텍처```
cmd/augustus/          CLI entrypoint (Kong-based)
pkg/
  attempt/            Probe execution lifecycle and result tracking
  buffs/              Buff interface for prompt transformations
  config/             Configuration loading (YAML/JSON) with profiles
  detectors/          Public detector interfaces and registry
  generators/         Public generator interfaces and registry
  harnesses/          Harness interface for execution strategies
  lib/http/           Shared HTTP client with proxy support
  lib/stego/          LSB steganography for multimodal attacks
  logging/            Structured slog-based logging
  metrics/            Prometheus metrics collection
  prefilter/          Aho-Corasick keyword pre-filtering
  probes/             Public probe interfaces and registry
  ratelimit/          Token bucket rate limiting
  registry/           Generic capability registration system
  results/            Result types and multi-format output
  retry/              Exponential backoff with jitter
  scanner/            Scanner orchestration with concurrency
  templates/          YAML probe template loader (Nuclei-style)
  types/              Canonical shared interfaces (Prober, Generator, Detector)
internal/
  probes/             210+ probe implementations (47 categories)
  generators/         28 LLM provider integrations (43 variants)
  detectors/          90+ detector implementations (35 categories)
  harnesses/          3 harness strategies (probewise, batch, agentwise)
  buffs/              Buff interface for prompt transformations
  attackengine/       Iterative adversarial attack engine (PAIR/TAP backend)
  multiturn/          Multi-turn conversational attack engine (Crescendo/GOAT/Hydra/Mischievous)
  ahocorasick/        Internal Aho-Corasick keyword matching
benchmarks/           Performance benchmarks
tests/                Integration and equivalence tests
research/             Research documentation and analysis
examples/             Example configurations
docs/                 Documentation

### 환경 변수```bash
# API Keys
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."
export COHERE_API_KEY="..."

# Debug mode
export AUGUSTUS_DEBUG=true

- 프록시 검사를 위해 TLS 검증이 자동으로 비활성화됨
- 최신 API를 위해 HTTP/2 지원 활성화됨
- Server-Sent Events (SSE) 응답이 자동으로 감지 및 파싱됨

### CLI Reference```
Usage: augustus scan <generator> [flags]

Arguments:
  <generator>                 Generator name (e.g., openai.OpenAI, anthropic.Anthropic)

Probe Selection (choose one):
  --probe, -p                 Probe name (repeatable)
  --probes-glob               Comma-separated glob patterns (e.g., "dan.*,goodside.*")
  --all                       Run all registered probes

Detector Selection:
  --detector                  Detector name (repeatable)
  --detectors-glob            Comma-separated glob patterns

Buff Selection:
  --buff, -b                  Buff names to apply (repeatable)
  --buffs-glob                Comma-separated buff glob patterns (e.g., "encoding.*")

Configuration:
  --config-file               Path to YAML config file
  --config, -c                JSON config for generator

Execution:
  --harness                   Harness name (default: probewise.Probewise)
  --timeout                   Overall scan timeout (default: 30m)
  --probe-timeout             Per-probe timeout (default: 5m)
  --concurrency               Max concurrent probes (default: 10, env: AUGUSTUS_CONCURRENCY)

Output:
  --format, -f                Output format: table, json, jsonl (default: table)
  --output, -o                JSONL output file path
  --html                      HTML report file path
  --verbose, -v               Verbose output

Global:
  --debug, -d                 Enable debug mode

**종료 코드:**

| 코드 | 의미 |
|------|---------|
| 0 | 성공 - 스캔 완료 |
| 1 | 스캔/런타임 오류 |
| 2 | 검증/사용법 오류 |

## 자주 묻는 질문 (FAQ)

### Augustus는 garak과 어떻게 비교되나요?

Augustus는 [garak](https://github.com/NVIDIA/garak) (NVIDIA의 Python 기반 LLM 취약점 스캐너)에서 영감을 받은 Go 네이티브 재구현입니다. 주요 차이점:
- **성능**: Go 바이너리 vs Python 인터프리터 — 더 빠른 실행 및 낮은 메모리 사용
- **배포**: 런타임 종속성이 없는 단일 바이너리 vs pip 설치가 필요한 Python 패키지
- **동시성**: Go 고루틴 풀 (프로브 간 병렬 처리) vs Python 멀티프로세싱 풀 (프로브 내 병렬 처리)
- **프로브 범위**: Augustus는 210개 이상의 프로브를 보유; garak은 160개 이상의 프로브를 보유하며 더 긴 연구 연혁과 출판된 논문(arXiv:2406.11036)이 있음
- **제공자 범위**: Augustus는 28개의 제공자를 보유; garak은 22개 제공자 모듈에 걸쳐 35개 이상의 생성기 변형을 보유

### API 키 없이 로컬 모델을 테스트할 수 있나요?

네! 로컬 모델 테스트를 위해 Ollama 통합을 사용하세요:```bash
# No API key needed
augustus scan ollama.OllamaChat \
  --probe dan.Dan_11_0 \
  --config '{"model":"llama3.2:3b"}'

### Is Augustus suitable for production environments?

네, Augustus는 프로덕션 사용을 위해 설계되었습니다:
- 구성 가능한 제한이 있는 동시 스캐닝
- API 할당량을 존중하는 속도 제한
- 장기 실행 프로브에 대한 타임아웃 처리
- 일시적 오류에 대한 재시도 로직
- 관찰 가능성을 위한 구조화된 로깅

## Troubleshooting

### Error: "API rate limit exceeded"

**원인**: 동시 요청 또는 분당 요청 수가 너무 많습니다.

**해결 방법**:
1. 동시성 줄이기: `--concurrency 5`
2. YAML 구성에서 공급자별 속도 제한 설정 사용:   ```yaml
   generators:
     openai.OpenAI:
       rate_limit: 10  # requests per minute

### Error: "invalid API key" or "authentication failed"

**원인**: API 자격 증명이 없거나 잘못되었습니다.

**해결 방법**:
1. 환경 변수가 설정되었는지 확인: `echo $OPENAI_API_KEY`
2. 설정 파일의 오타 확인
3. API 키에 필요한 권한이 있는지 확인
4. Ollama의 경우 서비스가 실행 중인지 확인: `ollama serve`

### Error: "probe not found" or "detector not found"

**원인**: 이름의 오타 또는 probe가 등록되지 않음.

**해결 방법**:```bash
# List all available probes and detectors
augustus list

# Use exact names from the list
augustus scan openai.OpenAI --probe dan.Dan_11_0  # Correct

### Benchmark Environment (DevPod)

LLM 벤치마킹을 위한 즉시 사용 가능한 클라우드 개발 환경이 [DevPod](https://devpod.sh/)를 통해 제공됩니다. 이 환경은 Augustus, Ollama, Go 및 모든 종속성이 사전 설치된 원격 컨테이너를 프로비저닝합니다.```bash
cd devpod

# CPU-only instance (~$0.08/hr) - cloud APIs only
make devpod-up-cpu

# GPU instance with NVIDIA T4 (~$0.53/hr) - local models up to 14B
make devpod-up-gpu

# GPU Pro instance with NVIDIA L4 (~$0.80/hr) - local models up to 32B
make devpod-up-gpu-pro

이 환경은 표준 [dev container](https://containers.dev/)로도 작동합니다. VS Code나 Cursor에서 저장소를 열고 `.devcontainer/`에서 CPU 또는 GPU 구성을 선택하세요.

## 보안

Augustus는 **승인된 보안 테스트 전용**으로 설계되었습니다.

- Augustus는 사용자가 지정한 LLM에 적대적 프롬프트를 전송합니다. 항상 권한이 있는지 확인하세요.
- 소유하지 않았거나 테스트에 대한 명시적 허가를 받지 않은 시스템을 절대 테스트하지 마세요.
- 일부 프로브는 설계상 공격적인 콘텐츠를 생성합니다 (안전 필터 테스트 목적).
- 결과에는 대상 LLM이 생성한 유해한 콘텐츠가 포함될 수 있습니다.

보안 문제는 [GitHub Issues](https://github.com/praetorian-inc/augustus/issues)를 통해 신고해 주세요.

## 지원

Augustus가 유용하다고 생각하신다면 다음을 고려해 주세요:

- GitHub에서 **별표**를 눌러 주세요
- 버그나 기능 요청을 위해 [이슈를 열어 주세요](https://github.com/praetorian-inc/augustus/issues)
- 새로운 프로브, 탐지기 또는 제공자 통합에 [기여해 주세요](https://github.com/praetorian-inc/augustus/blob/HEAD/CONTRIBUTING.md)

[![Star History Chart](https://assets.kitploit.com/production/public/readmes/placeholders/f0fc86cfe65f76d40e15aaec61704ec8220a56dc89d4be03c46f67cb31b9fa8c.svg)](https://star-history.com/#praetorian-inc/augustus&Date)

## 라이선스

[Apache 2.0](https://github.com/praetorian-inc/augustus/blob/HEAD/LICENSE) - Praetorian Security, Inc.

---

**제작: [Praetorian](https://www.praetorian.com/)** - 공격적 보안 솔루션