Или соберите из исходного кода:```bash
git clone https://github.com/praetorian-inc/augustus.git
cd augustus
make build

### Пример вывода```
+--------------+-------------+--------+-------+--------+
| PROBE        | DETECTOR    | PASSED | SCORE | STATUS |
+--------------+-------------+--------+-------+--------+
| dan.Dan_11_0 | dan.DAN     | false  | 0.85  | VULN   |
| dan.STAN     | dan.STAN    | true   | 0.10  | SAFE   |
| dan.AntiDAN  | dan.AntiDAN | true   | 0.05  | SAFE   |
+--------------+-------------+--------+-------+--------+

## Поддерживаемые провайдеры

Augustus включает 28 категорий провайдеров LLM с 43 вариантами генераторов:

| Провайдер          | Имя(имена) генератора    | Примечания                    |
|--------------------|---------------------------|--------------------------------|
| OpenAI             | `openai.OpenAI`, `openai.OpenAIReasoning` | GPT-3.5, GPT-4, GPT-4 Turbo, модели рассуждений o1/o3 |
| Anthropic          | `anthropic.Anthropic`     | Claude 3/3.5/4 (Opus, Sonnet, Haiku) |
| Azure OpenAI       | `azure.AzureOpenAI`       | Модели OpenAI, размещённые в Azure |
| AWS Bedrock        | `bedrock.Bedrock`         | Модели Claude, Llama, Titan    |
| Google Vertex AI   | `vertex.Vertex`           | Модели PaLM, Gemini            |
| Cohere             | `cohere.Cohere`           | Модели Command, Command R      |
| Replicate          | `replicate.Replicate`     | Облачные открытые модели       |
| HuggingFace        | `huggingface.InferenceAPI`, `huggingface.InferenceEndpoint`, `huggingface.Pipeline`, `huggingface.LLaVA` | API Inference, эндпоинты, пайплайны, мультимодальные модели HF |
| Together AI        | `together.Together`       | Быстрый вывод для OSS-моделей  |
| Anyscale           | `anyscale.Anyscale`       | Хостинг Llama и Mistral        |
| Groq               | `groq.Groq`               | Сверхбыстрый вывод LPU         |
| Mistral            | `mistral.Mistral`         | API модели Mistral             |
| Fireworks          | `fireworks.Fireworks`     | Платформа для продуктивного вывода |
| DeepInfra          | `deepinfra.DeepInfra`     | Бессерверный вывод GPU         |
| NVIDIA NIM         | `nim.NIM`, `nim.NVOpenAICompletion`, `nim.NVMultimodal`, `nim.Vision` | Эндпоинты NVIDIA AI, мультимодальные |
| NVIDIA NeMo        | `nemo.NeMo`               | Фреймворк NVIDIA NeMo          |
| NVIDIA NVCF        | `nvcf.NvcfChat`, `nvcf.NvcfCompletion` | Облачные функции NVIDIA        |
| NeMo Guardrails    | `guardrails.NeMoGuardrails` | Ограждения NVIDIA NeMo        |
| IBM watsonx        | `watsonx.WatsonX`         | Платформа IBM watsonx.ai       |
| LangChain          | `langchain.LangChain`     | Обёртка LLM LangChain          |
| LangChain Serve    | `langchain_serve.LangChainServe` | Эндпоинты LangChain Serve |
| Rasa               | `rasa.RasaRest`           | Диалоговый ИИ Rasa             |
| GGML               | `ggml.Ggml`               | Локальный вывод моделей GGML   |
| Function           | `function.Single`, `function.Multiple` | Пользовательские генераторы функций |
| Ollama             | `ollama.Ollama`, `ollama.OllamaChat` | Локальный хостинг моделей   |
| LiteLLM            | `litellm.LiteLLM`         | Унифицированный API-прокси     |
| REST API           | `rest.Rest`               | Пользовательские REST-эндпоинты (поддержка SSE) |
| Test               | `test.Blank`, `test.Repeat`, `test.Lipsum`, `test.Nones`, `test.Single`, `test.BlankVision` | Тестирование и разработка |

Все провайдеры доступны в скомпилированном бинарном файле. Настройка осуществляется через переменные окружения или YAML-файлы конфигурации. Подробнее о настройке см. [Конфигурация](#configuration).

## Использование

### Одиночный зонд```bash
# Test for DAN jailbreak
augustus scan openai.OpenAI \
  --probe dan.Dan_11_0 \
  --detector dan.DAN \
  --config-file config.yaml \
  --verbose

### Усиливающие преобразования

Применяйте преобразования промптов для тестирования техник обхода защиты:```bash
# Apply base64 encoding buff to all probes
augustus scan openai.OpenAI \
  --all \
  --buff encoding.Base64 \
  --config '{"model":"gpt-4"}'

# Apply poetry transformation
augustus scan anthropic.Anthropic \
  --probes-glob "dan.*" \
  --buff poetry.MetaPrompt \
  --config '{"model":"claude-3-opus-20240229"}'

# Chain multiple buffs
augustus scan openai.OpenAI \
  --all \
  --buffs-glob "encoding.*,paraphrase.*" \
  --output buffed-results.jsonl

### Пользовательские конечные точки REST```bash
# Test proprietary LLM endpoint (OpenAI-compatible API)
augustus scan rest.Rest \
  --probe dan.Dan_11_0 \
  --detector dan.DAN \
  --config '{
    "uri": "https://api.example.com/v1/chat/completions",
    "method": "POST",
    "headers": {"Authorization": "Bearer YOUR_API_KEY"},
    "req_template_json_object": {
      "model": "custom-model",
      "messages": [{"role": "user", "content": "$INPUT"}]
    },
    "response_json": true,
    "response_json_field": "$.choices[0].message.content"
  }'

# Test with proxy interception (Burp Suite, mitmproxy)
augustus scan rest.Rest \
  --probes-glob "goodside.*" \
  --config '{
    "uri": "https://internal-llm.corp/generate",
    "proxy": "http://127.0.0.1:8080",
    "headers": {"X-API-Key": "$KEY"},
    "api_key": "your-key-here",
    "req_template": "{\"prompt\":\"$INPUT\",\"max_tokens\":500}",
    "response_json": true,
    "response_json_field": "output"
  }'

## Как это работает

Augustus использует конвейерную архитектуру для тестирования LLM на состязательные атаки:```mermaid
flowchart LR
    A[Probe Selection] --> B[Buff Transform]
    B --> C[Generator / LLM Call]
    C --> D[Detector Analysis]
    D --> E{Vulnerable?}
    E -->|Yes| F[Record Finding]
    E -->|No| G[Record Pass]

    subgraph Scanner
        B
        C
        D
        E
    end

#### GOAT (Generative Offensive Agent Tester)

GOAT использует агрессивный, адаптивный подход с 7 состязательными техниками и рассуждением Chain-of-Attack-Thought для динамического переключения стратегий в зависимости от того, что срабатывает или терпит неудачу.

- **Статья**: [Pavlova et al., 2024](https://arxiv.org/abs/2410.01606)
- **Подход**: Нацеливается на объектив с первого хода, используя косвенную формулировку, никогда не упоминает цель напрямую адресату
- **7 техник** в 3 категориях:
  - *Манипуляция выводом*: Подавление отказа, Прайминг ответа
  - *Отвлекающие факторы безопасного ответа*: Двойной ответ, Разделение темы, Противоположное намерение
  - *Вымышленные сценарии*: Модификация личности, Гипотетический
- **Chain-of-Attack-Thought**: Каждый ход атакующий рассуждает через Наблюдение → Мысль → Стратегию → Ответ перед тем, как сформулировать сообщение
- **Стекинг техник**: Несколько техник могут быть объединены в одном ходу для усиления эффекта
- **Сила**: Достигает высокого процента успеха за меньшее количество ходов (обычно 3-5) за счет агрессивного переключения между принципиально разными подходами```bash
augustus scan rest.Rest \
  --probe goat.Goat \
  --config-file goat.yaml \
  --html report.html -v

#### Озорной пользователь

Озорной пользователь имитирует невинного любопытного человека, который тонко проверяет границы ИИ с помощью естественного разговора. В отличие от состязательных стратегий, личность атакующего — это обычный пользователь, который через невинное взаимодействие постепенно уходит в запретные темы.

- **Вдохновлён**: [Tau-bench](https://github.com/sierra-research/tau-bench) и стратегией mischievous-user из promptfoo
- **Подход**: Фаза установления доверия → зондирование границ → настойчивое давление
- **7 методов**: Наивное любопытство, умышленное непонимание, социальное доказательство, постепенное смещение, эмоциональный призыв, предполагаемое разрешение, реконтекстуализация
- **Сценарии под конкретные цели**: Встроенные скрипты для извлечения системных инструкций, поиска секретов/флагов и обхода политики контента
- **Раундов по умолчанию**: 5 (меньше, чем у других стратегий — тонкий подход либо срабатывает быстро, либо не срабатывает вовсе)
- **Сильная сторона**: Эффективен против моделей, обученных сопротивляться очевидным шаблонам атак — неформальная персона обходит эвристики «обнаружения атак»```bash
augustus scan rest.Rest \
  --probe mischievous.MischievousUser \
  --config-file mischievous.yaml \
  --html report.html -v

| Параметр | По умолчанию | Описание |
|---------|-------------|---------|
| `goal` | (обязательно) | Цель, которую пытается достичь атакующий |
| `max_turns` | 10 | Максимальное количество шагов диалога до остановки |
| `success_threshold` | 0.8 | Оценка судьи (0.0–1.0), при которой происходит досрочный выход |
| `max_refusal_retries` | 10 | Попытки переформулировки за один шаг при отказе цели |
| `attack_max_attempts` | 5 | Повторные попытки при ошибках парсинга JSON у LLM атакующего |
| `use_secondary_judge` | true | Включить вторичного судью для выявления ложноотрицательных результатов |
| `max_backtracks` | 10 | Откаты на уровне шагов при отказе (только Hydra) |
| `enable_fast_refusal` | true | Обнаружение отказа на основе шаблонов до вызова LLM-судьи |
| `enable_scan_memory` | false | Межтестовое обучение (обмен тактиками между пробами) |
| `stateful` | false | Отключение откатов для целей с сохранением состояния |
| `exclude_target_output` | false | Скрывать ответы цели от обратной связи атакующего (режим конфиденциальности) |
| `attacker_model` | (авто) | Переопределить имя модели атакующего для определения размера контекстного окна |

#### Устранение неполадок многошаговых атак

| Симптом | Вероятная причина | Исправление |
|---------|------------------|-------------|
| `no turns completed (attacker_parse_failures=N)` | LLM атакующего возвращает невалидный JSON | Используйте более мощную модель атакующего (GPT-4, Claude Opus). Увеличьте `attack_max_attempts`. |
| `no turns completed (target_empty=N)` | Цель возвращает пустые/null ответы | Проверьте, отвечает ли конечная точка цели. Проверьте шаблон конфигурации REST. |
| Все шаги имеют оценку 0.0 | Цель слишком размыта или атакующий не вовлекается | Сделайте `goal` более конкретной. Попробуйте другую стратегию. |
| Высокие оценки, но нет успеха | `success_threshold` слишком высок | Понизьте `success_threshold` с 0.8 до 0.6–0.7 |
| Слишком долго / дорого | Слишком много шагов и повторных попыток | Уменьшите `max_turns` (попробуйте 5). Установите `enable_fast_refusal: true`. |
| Hydra постоянно делает откаты | Цель отвергает всё | Попробуйте `stateful: true` или переключитесь на стратегию Mischievous |

## Архитектура```
cmd/augustus/          CLI entrypoint (Kong-based)
pkg/
  attempt/            Probe execution lifecycle and result tracking
  buffs/              Buff interface for prompt transformations
  config/             Configuration loading (YAML/JSON) with profiles
  detectors/          Public detector interfaces and registry
  generators/         Public generator interfaces and registry
  harnesses/          Harness interface for execution strategies
  lib/http/           Shared HTTP client with proxy support
  lib/stego/          LSB steganography for multimodal attacks
  logging/            Structured slog-based logging
  metrics/            Prometheus metrics collection
  prefilter/          Aho-Corasick keyword pre-filtering
  probes/             Public probe interfaces and registry
  ratelimit/          Token bucket rate limiting
  registry/           Generic capability registration system
  results/            Result types and multi-format output
  retry/              Exponential backoff with jitter
  scanner/            Scanner orchestration with concurrency
  templates/          YAML probe template loader (Nuclei-style)
  types/              Canonical shared interfaces (Prober, Generator, Detector)
internal/
  probes/             210+ probe implementations (47 categories)
  generators/         28 LLM provider integrations (43 variants)
  detectors/          90+ detector implementations (35 categories)
  harnesses/          3 harness strategies (probewise, batch, agentwise)
  buffs/              Buff interface for prompt transformations
  attackengine/       Iterative adversarial attack engine (PAIR/TAP backend)
  multiturn/          Multi-turn conversational attack engine (Crescendo/GOAT/Hydra/Mischievous)
  ahocorasick/        Internal Aho-Corasick keyword matching
benchmarks/           Performance benchmarks
tests/                Integration and equivalence tests
research/             Research documentation and analysis
examples/             Example configurations
docs/                 Documentation

### Переменные окружения```bash
# API Keys
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."
export COHERE_API_KEY="..."

# Debug mode
export AUGUSTUS_DEBUG=true

- Проверка TLS автоматически отключена для инспекции прокси
- Поддержка HTTP/2 включена для современных API
- Ответы Server-Sent Events (SSE) автоматически обнаруживаются и разбираются

### Справочник CLI```
Usage: augustus scan <generator> [flags]

Arguments:
  <generator>                 Generator name (e.g., openai.OpenAI, anthropic.Anthropic)

Probe Selection (choose one):
  --probe, -p                 Probe name (repeatable)
  --probes-glob               Comma-separated glob patterns (e.g., "dan.*,goodside.*")
  --all                       Run all registered probes

Detector Selection:
  --detector                  Detector name (repeatable)
  --detectors-glob            Comma-separated glob patterns

Buff Selection:
  --buff, -b                  Buff names to apply (repeatable)
  --buffs-glob                Comma-separated buff glob patterns (e.g., "encoding.*")

Configuration:
  --config-file               Path to YAML config file
  --config, -c                JSON config for generator

Execution:
  --harness                   Harness name (default: probewise.Probewise)
  --timeout                   Overall scan timeout (default: 30m)
  --probe-timeout             Per-probe timeout (default: 5m)
  --concurrency               Max concurrent probes (default: 10, env: AUGUSTUS_CONCURRENCY)

Output:
  --format, -f                Output format: table, json, jsonl (default: table)
  --output, -o                JSONL output file path
  --html                      HTML report file path
  --verbose, -v               Verbose output

Global:
  --debug, -d                 Enable debug mode

**Коды выхода:**

| Код | Значение |
|------|---------|
| 0 | Успех - сканирование завершено |
| 1 | Ошибка сканирования/выполнения |
| 2 | Ошибка проверки/использования |

## Часто задаваемые вопросы

### Как Augustus сравнивается с garak?

Augustus — это реализация на Go, вдохновлённая [garak](https://github.com/NVIDIA/garak) (сканером уязвимостей LLM от NVIDIA на Python). Основные различия:
- **Производительность**: бинарный файл Go против интерпретатора Python — более быстрое выполнение и меньшее потребление памяти
- **Распространение**: один бинарный файл без зависимостей во время выполнения против пакета Python с pip install
- **Параллелизм**: пулы горутин Go (параллелизм между пробами) против пулов multiprocessing Python (параллелизм внутри пробы)
- **Охват проб**: Augustus содержит более 210 проб; garak — более 160 проб с более длительной исследовательской историей и опубликованной статьёй (arXiv:2406.11036)
- **Охват провайдеров**: Augustus поддерживает 28 провайдеров; garak — более 35 вариантов генераторов в 22 модулях провайдеров

### Можно ли тестировать локальные модели без ключей API?

Да! Используйте интеграцию с Ollama для тестирования локальных моделей:```bash
# No API key needed
augustus scan ollama.OllamaChat \
  --probe dan.Dan_11_0 \
  --config '{"model":"llama3.2:3b"}'

### Подходит ли Augustus для производственных сред?

Да, Augustus предназначен для использования в производственных средах:
- Параллельное сканирование с настраиваемыми лимитами
- Ограничение скорости для соблюдения квот API
- Обработка тайм-аутов для длительных проверок
- Логика повторных попыток при временных сбоях
- Структурированное логирование для наблюдаемости

## Устранение неполадок

### Ошибка: "API rate limit exceeded"

**Причина**: Слишком много параллельных запросов или запросов в минуту.

**Решения**:
1. Уменьшите параллельность: `--concurrency 5`
2. Используйте настройки ограничения скорости, специфичные для провайдера, в YAML-конфигурации:   ```yaml
   generators:
     openai.OpenAI:
       rate_limit: 10  # requests per minute

### Error: "invalid API key" or "authentication failed"

**Cause**: Отсутствуют или недействительны учетные данные API.

**Solutions**:
1. Проверьте, что установлена переменная окружения: `echo $OPENAI_API_KEY`
2. Проверьте опечатки в файле конфигурации
3. Убедитесь, что ключ API имеет необходимые разрешения
4. Для Ollama убедитесь, что служба запущена: `ollama serve`

### Error: "probe not found" or "detector not found"

**Cause**: Опечатка в имени или зонд не зарегистрирован.

**Solution**:```bash
# List all available probes and detectors
augustus list

# Use exact names from the list
augustus scan openai.OpenAI --probe dan.Dan_11_0  # Correct

### Среда бенчмаркинга (DevPod)

Готовая облачная среда разработки для бенчмаркинга LLM доступна через [DevPod](https://devpod.sh/). Она предоставляет удаленный контейнер с предустановленными Augustus, Ollama, Go и всеми зависимостями.```bash
cd devpod

# CPU-only instance (~$0.08/hr) - cloud APIs only
make devpod-up-cpu

# GPU instance with NVIDIA T4 (~$0.53/hr) - local models up to 14B
make devpod-up-gpu

# GPU Pro instance with NVIDIA L4 (~$0.80/hr) - local models up to 32B
make devpod-up-gpu-pro

Среда также работает как стандартный [dev container](https://containers.dev/) — откройте репозиторий в VS Code или Cursor и выберите конфигурацию CPU или GPU из `.devcontainer/`.

## Безопасность

Augustus предназначен **только для авторизованного тестирования безопасности**.

- Augustus отправляет состязательные промпты выбранным вами LLM — всегда убедитесь, что у вас есть разрешение
- Никогда не тестируйте системы, которыми вы не владеете или на тестирование которых у вас нет явного разрешения
- Некоторые зонды по определению генерируют оскорбительный контент (для тестирования фильтров безопасности)
- Результаты могут содержать вредоносный контент, созданный целевыми LLM

Сообщайте о проблемах безопасности через [GitHub Issues](https://github.com/praetorian-inc/augustus/issues).

## Поддержка

Если вы находите Augustus полезным, пожалуйста, рассмотрите:

- Поставьте ему **звезду** на GitHub
- [Открыть issue](https://github.com/praetorian-inc/augustus/issues) для сообщений об ошибках или запросов функций
- [Участвуйте в разработке](https://github.com/praetorian-inc/augustus/blob/HEAD/CONTRIBUTING.md): добавляйте новые зонды, детекторы или интеграции с провайдерами

[![Star History Chart](https://assets.kitploit.com/production/public/readmes/placeholders/f0fc86cfe65f76d40e15aaec61704ec8220a56dc89d4be03c46f67cb31b9fa8c.svg)](https://star-history.com/#praetorian-inc/augustus&Date)

## Лицензия

[Apache 2.0](https://github.com/praetorian-inc/augustus/blob/HEAD/LICENSE) - Praetorian Security, Inc.

---

**Создано компанией [Praetorian](https://www.praetorian.com/)** - Offensive Security Solutions