augustus v0.14.11
LLM security testing framework для обнаружения инъекций промптов, джейлбрейков и состязательных атак — 190+ проб, 28 провайдеров, один Go бинарник
Augustus - LLM vulnerability scanner for prompt injection, jailbreak, and adversarial attack testing
Augustus - Сканер уязвимостей LLM
Тестируйте большие языковые модели на устойчивость к 210+ атакующим сценариям, охватывающим prompt injection, джейлбрейки, эксплойты кодирования и извлечение данных.
Augustus — это сканер уязвимостей LLM на базе Go, предназначенный для специалистов по безопасности. Он тестирует большие языковые модели на устойчивость к широкому спектру атакующих сценариев, интегрируется с 28 LLM-провайдерами и формирует практические отчеты об уязвимостях.
В отличие от исследовательских инструментов, Augustus создан для производственного тестирования безопасности — параллельное сканирование, ограничение скорости, логика повторов и обработка таймаутов встроены из коробки.
Содержание
- Почему Augustus
- Возможности
- Быстрый старт
- Поддерживаемые провайдеры
- Использование
- Как это работает
- Архитектура
- Конфигурация
- FAQ
- Устранение неполадок
- Участие в разработке
- Безопасность
- Поддержка
- Лицензия
Почему Augustus
| Возможность | Augustus | garak | promptfoo |
|---|---|---|---|
| Язык | Go | Python | TypeScript |
| Один бинарный файл | Да | Нет | Нет |
| Параллельное сканирование | Пул горутин | Пул многопроцессорности | Да |
| LLM-провайдеры | 28 | 35+ | 80+ |
| Типы зондов | 210+ | 160+ | 119 плагинов + 36 стратегий |
| Ориентация на предприятия | Да | Исследования | Да |
Возможности
| Возможность | Описание |
|---|---|
| 210+ зондов уязвимостей | 47 категорий атак: джейлбрейки, prompt injection, состязательные примеры, извлечение данных, бенчмарки безопасности, атаки на агентов и многое другое |
| 28 LLM-провайдеров | OpenAI, Anthropic, Azure, Bedrock, Vertex AI, Ollama и еще 22 с 43 вариантами генераторов |
| 90+ детекторов | Сопоставление с шаблонами, LLM-как-судья, HarmJudge (arXiv:2511.15304), Perspective API, обнаружение небезопасного контента |
| 7 преобразований Buff | Кодирование, перефразирование, поэзия (5 форматов, 3 стратегии), перевод на низкоресурсные языки, преобразования регистра |
| Гибкий вывод | Форматы отчетов: таблица, JSON, JSONL и HTML |
| Готовность к производству | Параллельное сканирование, ограничение скорости, логика повторов, обработка таймаутов |
| Один бинарный файл | Инструмент на Go компилируется в один переносимый исполняемый файл |
| Расширяемость | Регистрация по принципу плагинов через функции init() в Go |
Категории атак
- Джейлбрейк-атаки: DAN, DAN 11.0, AIM, AntiGPT, Grandma, ArtPrompts
- Prompt injection: Кодирование (Base64, ROT13, азбука Морзе), контрабанда тегов, FlipAttack, инъекции префиксов/суффиксов
- Состязательные примеры: GCG, PAIR, AutoDAN, TAP (Tree of Attack Prompts), TreeSearch, DRA
- Многоходовые атаки: Crescendo (постепенная эскалация), GOAT (адаптивное переключение техник)
- Извлечение данных: утечка API-ключей, галлюцинации пакетов, извлечение PII, LeakReplay
- Манипуляция контекстом: отравление RAG, переполнение контекста, мультимодальные атаки, продолжение, расхождение
- Эксплойты форматов: инъекция Markdown, атаки на парсинг YAML/JSON, ANSI-escape, веб-инъекции (XSS)
- Техники обхода: обфускация, замена символов, атаки на основе перевода, перефразирование, ObscurePrompt
- Бенчмарки безопасности: DoNotAnswer, RealToxicityPrompts, Snowball, LMRC
- Атаки на агентов: манипуляция мультиагентами, эксплойты браузера
- Тестирование безопасности: обход защитных барьеров, сканирование AV/спама, эксплуатация (SQLi, выполнение кода), BadChars
Предупреждение: зонд
lmrcиспользует нецензурную и оскорбительную лексику в рамках тестирования джейлбрейков. Используйте только в авторизованных тестовых средах.
Быстрый старт
Установка
Требуется Go 1.27.0 или новее.```bash go install github.com/praetorian-inc/augustus/cmd/augustus@latest
Или соберите из исходного кода:```bash
git clone https://github.com/praetorian-inc/augustus.git
cd augustus
make build
Основное использование```bash
export OPENAI_API_KEY="your-api-key"
augustus scan openai.OpenAI
--probe dan.Dan_11_0
--detector dan.DAN
--verbose
### Пример вывода```
+--------------+-------------+--------+-------+--------+
| PROBE | DETECTOR | PASSED | SCORE | STATUS |
+--------------+-------------+--------+-------+--------+
| dan.Dan_11_0 | dan.DAN | false | 0.85 | VULN |
| dan.STAN | dan.STAN | true | 0.10 | SAFE |
| dan.AntiDAN | dan.AntiDAN | true | 0.05 | SAFE |
+--------------+-------------+--------+-------+--------+
Список доступных возможностей```bash
List all registered probes, detectors, generators, harnesses, and buffs
augustus list
## Поддерживаемые провайдеры
Augustus включает 28 категорий LLM-провайдеров с 43 вариантами генераторов: