Or build from source:

```bash
git clone https://github.com/example/repo.git
cd repo
make build
``````bash
git clone https://github.com/praetorian-inc/augustus.git
cd augustus
make build

### 出力例```
+--------------+-------------+--------+-------+--------+
| PROBE        | DETECTOR    | PASSED | SCORE | STATUS |
+--------------+-------------+--------+-------+--------+
| dan.Dan_11_0 | dan.DAN     | false  | 0.85  | VULN   |
| dan.STAN     | dan.STAN    | true   | 0.10  | SAFE   |
| dan.AntiDAN  | dan.AntiDAN | true   | 0.05  | SAFE   |
+--------------+-------------+--------+-------+--------+

## サポートされているプロバイダー

Augustusには、43のジェネレーターバリアントを持つ28のLLMプロバイダーカテゴリが含まれています：

| プロバイダー           | ジェネレーター名         | 備考                          |
|--------------------|---------------------------|--------------------------------|
| OpenAI             | `openai.OpenAI`, `openai.OpenAIReasoning` | GPT-3.5、GPT-4、GPT-4 Turbo、o1/o3推論モデル |
| Anthropic          | `anthropic.Anthropic`     | Claude 3/3.5/4（Opus、Sonnet、Haiku） |
| Azure OpenAI       | `azure.AzureOpenAI`       | Azureホスト型OpenAIモデル     |
| AWS Bedrock        | `bedrock.Bedrock`         | Claude、Llama、Titanモデル    |
| Google Vertex AI   | `vertex.Vertex`           | PaLM、Geminiモデル            |
| Cohere             | `cohere.Cohere`           | Command、Command Rモデル      |
| Replicate          | `replicate.Replicate`     | クラウドホスト型オープンモデル       |
| HuggingFace        | `huggingface.InferenceAPI`, `huggingface.InferenceEndpoint`, `huggingface.Pipeline`, `huggingface.LLaVA` | HF Inference API、エンドポイント、パイプライン、マルチモーダル |
| Together AI        | `together.Together`       | OSSモデル向けの高速推論  |
| Anyscale           | `anyscale.Anyscale`       | LlamaおよびMistralホスティング      |
| Groq               | `groq.Groq`               | 超高速LPU推論       |
| Mistral            | `mistral.Mistral`         | Mistral APIモデル             |
| Fireworks          | `fireworks.Fireworks`     | 本番環境向け推論プラットフォーム  |
| DeepInfra          | `deepinfra.DeepInfra`     | サーバーレスGPU推論       |
| NVIDIA NIM         | `nim.NIM`, `nim.NVOpenAICompletion`, `nim.NVMultimodal`, `nim.Vision` | NVIDIA AIエンドポイント、マルチモーダル |
| NVIDIA NeMo        | `nemo.NeMo`               | NVIDIA NeMoフレームワーク          |
| NVIDIA NVCF        | `nvcf.NvcfChat`, `nvcf.NvcfCompletion` | NVIDIA Cloud Functions   |
| NeMo Guardrails    | `guardrails.NeMoGuardrails` | NVIDIA NeMo Guardrails       |
| IBM watsonx        | `watsonx.WatsonX`         | IBM watsonx.aiプラットフォーム        |
| LangChain          | `langchain.LangChain`     | LangChain LLMラッパー          |
| LangChain Serve    | `langchain_serve.LangChainServe` | LangChain Serveエンドポイント |
| Rasa               | `rasa.RasaRest`           | Rasa対話型AI         |
| GGML               | `ggml.Ggml`               | GGMLローカルモデル推論     |
| Function           | `function.Single`, `function.Multiple` | カスタム関数ジェネレーター |
| Ollama             | `ollama.Ollama`, `ollama.OllamaChat` | ローカルモデルホスティング    |
| LiteLLM            | `litellm.LiteLLM`         | 統合APIプロキシ              |
| REST API           | `rest.Rest`               | カスタムRESTエンドポイント（SSEサポート） |
| Test               | `test.Blank`, `test.Repeat`, `test.Lipsum`, `test.Nones`, `test.Single`, `test.BlankVision` | テストおよび開発用 |

すべてのプロバイダーはコンパイル済みバイナリで利用可能です。環境変数またはYAML設定ファイルで設定します。セットアップの詳細については[設定](#configuration)を参照してください。

## 使用方法

### 単一プローブ```bash
# Test for DAN jailbreak
augustus scan openai.OpenAI \
  --probe dan.Dan_11_0 \
  --detector dan.DAN \
  --config-file config.yaml \
  --verbose

### Buff Transformations

プロンプト変換を適用して、回避技術をテストします:```bash
# Apply base64 encoding buff to all probes
augustus scan openai.OpenAI \
  --all \
  --buff encoding.Base64 \
  --config '{"model":"gpt-4"}'

# Apply poetry transformation
augustus scan anthropic.Anthropic \
  --probes-glob "dan.*" \
  --buff poetry.MetaPrompt \
  --config '{"model":"claude-3-opus-20240229"}'

# Chain multiple buffs
augustus scan openai.OpenAI \
  --all \
  --buffs-glob "encoding.*,paraphrase.*" \
  --output buffed-results.jsonl

### カスタムRESTエンドポイント```bash
# Test proprietary LLM endpoint (OpenAI-compatible API)
augustus scan rest.Rest \
  --probe dan.Dan_11_0 \
  --detector dan.DAN \
  --config '{
    "uri": "https://api.example.com/v1/chat/completions",
    "method": "POST",
    "headers": {"Authorization": "Bearer YOUR_API_KEY"},
    "req_template_json_object": {
      "model": "custom-model",
      "messages": [{"role": "user", "content": "$INPUT"}]
    },
    "response_json": true,
    "response_json_field": "$.choices[0].message.content"
  }'

# Test with proxy interception (Burp Suite, mitmproxy)
augustus scan rest.Rest \
  --probes-glob "goodside.*" \
  --config '{
    "uri": "https://internal-llm.corp/generate",
    "proxy": "http://127.0.0.1:8080",
    "headers": {"X-API-Key": "$KEY"},
    "api_key": "your-key-here",
    "req_template": "{\"prompt\":\"$INPUT\",\"max_tokens\":500}",
    "response_json": true,
    "response_json_field": "output"
  }'

## 動作の仕組み

Augustusは、敵対的攻撃に対するLLMをテストするためにパイプラインアーキテクチャを使用します。```mermaid
flowchart LR
    A[Probe Selection] --> B[Buff Transform]
    B --> C[Generator / LLM Call]
    C --> D[Detector Analysis]
    D --> E{Vulnerable?}
    E -->|Yes| F[Record Finding]
    E -->|No| G[Record Pass]

    subgraph Scanner
        B
        C
        D
        E
    end

#### GOAT（Generative Offensive Agent Tester）

GOATは、7つの敵対的テクニックとChain-of-Attack-Thought推論を用いた攻撃的かつ適応的なアプローチを採用し、何が有効か失敗するかに基づいて戦略を動的に切り替えます。

- **論文**: [Pavlova et al., 2024](https://arxiv.org/abs/2410.01606)
- **アプローチ**: ターン1から間接的なフレーミングを用いて目的を狙い、ターゲットに対して目標を直接言及することはありません
- **3カテゴリにわたる7つのテクニック**:
  - *出力操作*: 拒否抑制、応答プライミング
  - *安全な応答のディストラクタ*: 二重応答、トピック分割、逆意図
  - *架空のシナリオ*: ペルソナ変更、仮説
- **Chain-of-Attack-Thought**: 各ターンで攻撃者はメッセージを作成する前に、観察 → 思考 → 戦略 → 応答の順に推論します
- **テクニックのスタッキング**: 1ターンで複数のテクニックを組み合わせて、より強力な効果を得ることができます
- **強み**: 根本的に異なるアプローチ間を積極的に切り替えることで、少ないターン数（通常3〜5回）で高い成功率を達成します```bash
augustus scan rest.Rest \
  --probe goat.Goat \
  --config-file goat.yaml \
  --html report.html -v

#### いたずら好きなユーザー

いたずら好きなユーザーは、無邪気で好奇心旺盛な人物を模倣し、自然な会話を通じて巧妙にAIの境界線を探ります。敵対的な戦略とは異なり、この攻撃者ペルソナは、一見無害な関わりを通じて禁止されたトピックへと徐々に流れ込むカジュアルなユーザーです。

- **着想元**: [Tau-bench](https://github.com/sierra-research/tau-bench) および promptfoo のいたずら好きなユーザー戦略
- **アプローチ**: 親密関係の構築段階 → 境界線の探り → 断定的な押し込み
- **7つのテクニック**: 素朴な好奇心、意図的な誤解、社会的証明、段階的な流れ、感情への訴え、暗黙の許可、再文脈化
- **目標別プレイブック**: システム指示の抽出、秘密/フラグの発見、コンテンツポリシーの回避のための組み込みスクリプト
- **デフォルトのターン数**: 5（他の戦略より少ない — この巧妙なアプローチは、すぐに効果が出るか、まったく効果がないかのどちらかです）
- **強み**: 明らかな敵対的パターンに抵抗するよう訓練されたモデルに対して効果的 — カジュアルなペルソナは「攻撃検出」ヒューリスティックを回避します```bash
augustus scan rest.Rest \
  --probe mischievous.MischievousUser \
  --config-file mischievous.yaml \
  --html report.html -v

| Setting | Default | Description |
|---------|---------|-------------|
| `goal` | (必須) | 攻撃者が達成しようとする目的 |
| `max_turns` | 10 | 停止するまでの最大会話ターン数 |
| `success_threshold` | 0.8 | 早期終了をトリガーする判定スコア (0.0〜1.0) |
| `max_refusal_retries` | 10 | ターゲットが拒否した際のターンごとの言い換え試行回数 |
| `attack_max_attempts` | 5 | 攻撃者LLMのJSON解析失敗時の再試行回数 |
| `use_secondary_judge` | true | 偽陰性を検出するためのセカンダリ判定を有効化 |
| `max_backtracks` | 10 | 拒否時のターンレベルのロールバック (Hydraのみ) |
| `enable_fast_refusal` | true | LLM判定呼び出し前のパターンベースの拒否検出 |
| `enable_scan_memory` | false | テストケース間の学習 (プローブ間で戦術を共有) |
| `stateful` | false | ステートフルなターゲット向けにバックトラッキングを無効化 |
| `exclude_target_output` | false | 攻撃者へのフィードバックからターゲット応答を隠す (プライバシーモード) |
| `attacker_model` | (自動) | コンテキストウィンドウサイズ計算用の攻撃者モデル名を上書き |

#### マルチターンのトラブルシューティング

| 症状 | 考えられる原因 | 修正方法 |
|---------|-------------|-----|
| `no turns completed (attacker_parse_failures=N)` | 攻撃者LLMが無効なJSONを返している | より強力な攻撃者モデル (GPT-4、Claude Opus) を使用する。`attack_max_attempts` を増やす。 |
| `no turns completed (target_empty=N)` | ターゲットが空またはnullの応答を返している | ターゲットエンドポイントが応答しているか確認する。REST設定テンプレートを検証する。 |
| 全ターンが0.0をスコアリング | 目標が曖昧すぎる、または攻撃者が関与していない | `goal` をより具体的にする。別の戦略を試す。 |
| スコアは高いが成功しない | `success_threshold` が高すぎる | `success_threshold` を0.8から0.6〜0.7に下げる |
| 実行が長すぎる/高コスト | ターン数と再試行が多すぎる | `max_turns` を減らす (5を試す)。`enable_fast_refusal: true` を設定する。 |
| Hydraがバックトラッキングを繰り返す | ターゲットがすべてを拒否する | `stateful: true` を試すか、Mischievous戦略に切り替える |

## アーキテクチャ```
cmd/augustus/          CLI entrypoint (Kong-based)
pkg/
  attempt/            Probe execution lifecycle and result tracking
  buffs/              Buff interface for prompt transformations
  config/             Configuration loading (YAML/JSON) with profiles
  detectors/          Public detector interfaces and registry
  generators/         Public generator interfaces and registry
  harnesses/          Harness interface for execution strategies
  lib/http/           Shared HTTP client with proxy support
  lib/stego/          LSB steganography for multimodal attacks
  logging/            Structured slog-based logging
  metrics/            Prometheus metrics collection
  prefilter/          Aho-Corasick keyword pre-filtering
  probes/             Public probe interfaces and registry
  ratelimit/          Token bucket rate limiting
  registry/           Generic capability registration system
  results/            Result types and multi-format output
  retry/              Exponential backoff with jitter
  scanner/            Scanner orchestration with concurrency
  templates/          YAML probe template loader (Nuclei-style)
  types/              Canonical shared interfaces (Prober, Generator, Detector)
internal/
  probes/             210+ probe implementations (47 categories)
  generators/         28 LLM provider integrations (43 variants)
  detectors/          90+ detector implementations (35 categories)
  harnesses/          3 harness strategies (probewise, batch, agentwise)
  buffs/              Buff interface for prompt transformations
  attackengine/       Iterative adversarial attack engine (PAIR/TAP backend)
  multiturn/          Multi-turn conversational attack engine (Crescendo/GOAT/Hydra/Mischievous)
  ahocorasick/        Internal Aho-Corasick keyword matching
benchmarks/           Performance benchmarks
tests/                Integration and equivalence tests
research/             Research documentation and analysis
examples/             Example configurations
docs/                 Documentation

### 環境変数```bash
# API Keys
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."
export COHERE_API_KEY="..."

# Debug mode
export AUGUSTUS_DEBUG=true

- プロキシ検査のためにTLS検証が自動的に無効化されます
- 最新のAPI向けにHTTP/2サポートが有効化されます
- Server-Sent Events（SSE）レスポンスが自動的に検出され解析されます

### CLIリファレンス```
Usage: augustus scan <generator> [flags]

Arguments:
  <generator>                 Generator name (e.g., openai.OpenAI, anthropic.Anthropic)

Probe Selection (choose one):
  --probe, -p                 Probe name (repeatable)
  --probes-glob               Comma-separated glob patterns (e.g., "dan.*,goodside.*")
  --all                       Run all registered probes

Detector Selection:
  --detector                  Detector name (repeatable)
  --detectors-glob            Comma-separated glob patterns

Buff Selection:
  --buff, -b                  Buff names to apply (repeatable)
  --buffs-glob                Comma-separated buff glob patterns (e.g., "encoding.*")

Configuration:
  --config-file               Path to YAML config file
  --config, -c                JSON config for generator

Execution:
  --harness                   Harness name (default: probewise.Probewise)
  --timeout                   Overall scan timeout (default: 30m)
  --probe-timeout             Per-probe timeout (default: 5m)
  --concurrency               Max concurrent probes (default: 10, env: AUGUSTUS_CONCURRENCY)

Output:
  --format, -f                Output format: table, json, jsonl (default: table)
  --output, -o                JSONL output file path
  --html                      HTML report file path
  --verbose, -v               Verbose output

Global:
  --debug, -d                 Enable debug mode

**終了コード:**

| コード | 意味 |
|------|---------|
| 0 | 成功 - スキャン完了 |
| 1 | スキャン/実行時エラー |
| 2 | 検証/使用法エラー |

## FAQ

### Augustusはgarakとどう違うのですか?

Augustusは、[garak](https://github.com/NVIDIA/garak)(NVIDIA製のPythonベースのLLM脆弱性スキャナー)に触発されたGoネイティブの再実装です。主な違いは以下の通りです:
- **パフォーマンス**: PythonインタープリターではなくGoバイナリ — 実行速度が速く、メモリ使用量が少ない
- **配布方法**: ランタイム依存関係のない単一バイナリ vs pip installによるPythonパッケージ
- **並行性**: Goのgoroutineプール(プローブ間の並列処理) vs Pythonのmultiprocessingプール(プローブ内の並列処理)
- **プローブのカバレッジ**: Augustusには210以上のプローブがあります。garakには160以上のプローブがあり、より長い研究実績と査読済み論文(arXiv:2406.11036)があります
- **プロバイダーのカバレッジ**: Augustusには28のプロバイダーがあります。garakには22のプロバイダーモジュールにわたる35以上のジェネレーターバリアントがあります

### APIキーなしでローカルモデルをテストできますか?

はい!ローカルモデルのテストにはOllama統合を使用できます:```bash
# No API key needed
augustus scan ollama.OllamaChat \
  --probe dan.Dan_11_0 \
  --config '{"model":"llama3.2:3b"}'

### Augustusは本番環境に適していますか？

はい、Augustusは本番環境での使用を想定して設計されており、以下の機能を備えています：
- 設定可能な制限付きの並行スキャン
- APIクォータを尊重するレート制限
- 長時間実行されるプローブのタイムアウト処理
- 一時的な障害に対するリトライロジック
- 可観測性のための構造化ロギング

## トラブルシューティング

### エラー：「APIレート制限を超過しました」

**原因**：同時リクエスト数または1分あたりのリクエスト数が多すぎます。

**解決策**：
1. 並行性を減らす：`--concurrency 5`
2. YAML設定でプロバイダー固有のレート制限設定を使用する：   ```yaml
   generators:
     openai.OpenAI:
       rate_limit: 10  # requests per minute

### エラー：「invalid API key」または「authentication failed」

**原因**: API認証情報が欠落しているか、無効です。

**解決策**:
1. 環境変数が設定されているか確認: `echo $OPENAI_API_KEY`
2. 設定ファイル内のタイプミスを確認
3. APIキーに必要な権限があることを確認
4. Ollamaの場合、サービスが実行中であることを確認: `ollama serve`

### エラー：「probe not found」または「detector not found」

**原因**: 名前のタイプミス、またはプローブが登録されていません。

**解決策**:```bash
# List all available probes and detectors
augustus list

# Use exact names from the list
augustus scan openai.OpenAI --probe dan.Dan_11_0  # Correct

### ベンチマーク環境（DevPod）

LLMのベンチマーク用にすぐ使えるクラウド開発環境が、[DevPod](https://devpod.sh/) を通じて利用可能です。Augustus、Ollama、Go、およびすべての依存関係がプリインストールされたリモートコンテナをプロビジョニングします。```bash
cd devpod

# CPU-only instance (~$0.08/hr) - cloud APIs only
make devpod-up-cpu

# GPU instance with NVIDIA T4 (~$0.53/hr) - local models up to 14B
make devpod-up-gpu

# GPU Pro instance with NVIDIA L4 (~$0.80/hr) - local models up to 32B
make devpod-up-gpu-pro

この環境は標準の[dev container](https://containers.dev/)としても動作します。VS CodeまたはCursorでリポジトリを開き、`.devcontainer/`からCPUまたはGPU構成を選択してください。

## セキュリティ

Augustusは**許可されたセキュリティテスト専用**に設計されています。

- Augustusは指定したLLMに敵対的プロンプトを送信します。必ず許可を得ていることを確認してください
- 所有していないシステムや明示的なテスト許可がないシステムをテストしないでください
- 一部のプローブは（セーフティフィルタをテストするために）意図的に不快なコンテンツを生成します
- 結果にはターゲットLLMが生成した有害なコンテンツが含まれる場合があります

セキュリティの問題は[GitHub Issues](https://github.com/praetorian-inc/augustus/issues)で報告してください。

## サポート

Augustusが役立つと感じたら、以下をご検討ください：

- GitHubで**スター**を付ける
- バグや機能リクエストについて[Issueを開く](https://github.com/praetorian-inc/augustus/issues)
- 新しいプローブ、検出器、プロバイダ統合を[貢献](https://github.com/praetorian-inc/augustus/blob/main/CONTRIBUTING.md)する

[![Star History Chart](https://api.star-history.com/svg?repos=praetorian-inc/augustus&type=Date)](https://star-history.com/#praetorian-inc/augustus&Date)

## ライセンス

[Apache 2.0](https://github.com/praetorian-inc/augustus/blob/main/LICENSE) - Praetorian Security, Inc.

---

**[Praetorian](https://www.praetorian.com/)製** - オフェンシブセキュリティソリューション