LLM Совет — Валидация находок VAPT

Слепой рецензируемый пайплайн, который проверяет находку пентеста до того, как она попадёт к клиенту. Независимые эксперты-линзы оценивают находку, проводят слепое рецензирование друг друга, а Председатель синтезирует одно проверенное заключение — стоит ли её сообщать и корректно ли выставлена степень серьёзности?

Два способа запуска:

Этот репозиторий является источником истины. Править здесь, коммитить через git. База знаний проекта Claude — это зеркало только для чтения — перезагружайте изменённые файлы, когда они существенно меняются. Не синхронизируйте в обе стороны.

Структура репозитория

llm-council-vapt/
├── README.md                      # этот файл
├── requirements.txt               # зависимости Python
├── .env.template                  # имена ключей, без значений
├── .gitignore                     # игнорирует .env (ключи никогда не коммитятся)
├── skills/
│   └── llm-council/
│       └── SKILL.md               # навык (8 участников, протоколы, режимы)
├── scripts/
│   └── council_direct.py          # параллельный кросс-вендорный движок
└── docs/
    └── project_system_prompt.md   # вставьте в настройки проекта Claude

Установка

# 1. клонировать / разместить репозиторий
git clone <ваш-url-репозитория> llm-council-vapt
cd llm-council-vapt

# 2. сделать навык обнаруживаемым для Claude Code (симлинк, чтобы правки оставались актуальными)
mkdir -p ~/.claude/skills
ln -s ~/llm-council-vapt/skills/llm-council ~/.claude/skills/llm-council

# 3. ключи
cp .env.template .env
nano .env        # вставьте три ключа, сохраните

Отредактируйте .env и добавьте свои ключи API Anthropic, OpenAI и Google.

Вариант A — venv (рекомендуется)

Изолирует зависимости от системного Python.

python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Вариант B — установка в систему

pip install -r requirements.txt

Примечание (Kali / системы на базе Debian): PEP 668 по умолчанию блокирует pip install в систему. Если вы получите ошибку externally-managed-environment, используйте вариант A или принудительно выполните:

root@kitploit:~

pip install -r requirements.txt --break-system-packages

Проверка установки

python scripts/council_direct.py --help
ls -l ~/.claude/skills/llm-council/SKILL.md   # должно разрешаться через симлинк

Если обе команды выполняются чисто, всё настроено.

Использование

Полный справочник команд (все флаги, все режимы, все примеры) см. в docs/USAGE.md.

В чате (режим ручного председателя)

Просто введите команду — никаких ключей, никаких скриптов:

/llm-council -q -u                 # быстро, загрузить файл
/llm-council medium validation -p  # среднее, вставить содержимое
/llm-council -f -u -v2 -s high     # полное, загрузить, версия 2, проверить High

Флаги: режим -q|-m|-f (или quick|medium|full validation), ввод -u (загрузить) / -p (вставить), версия -vN, серьёзность -s low|medium|high|critical.

На вашей машине (параллельный кросс-вендорный режим)

python3 scripts/council_direct.py \
    --mode full \
    --finding ./finding.md \
    --severity high \
    --version 2 \
    --finding-id <YOUR-FINDING-ID> \
    --project <PREFIX> > council_run.json

--finding принимает путь к файлу или необработанный текст. Скрипт выводит JSON (оценки + слепые рейтинги + агрегированные данные + любые ошибки). Затем попросите Claude Code прочитать council_run.json и выполнить Этап 3 совета (синтез Председателя) для получения окончательного вердикта.

Режимы → участники

quick  (-q) → Red-teamer · CVSS Auditor · Evidence Auditor                 (3)
medium (-m) → + Attack Chain Analyst · Remediation Critic                  (5)
full   (-f) → + Threat Intel Analyst · False Negative Hunter ·
              Business Impact Translator                                    (8)

Quick = быстрая проверка достоверности во время тестирования. Medium = находки, которые вы намерены сообщить. Full = шлюз перед сдачей отчёта; по умолчанию для любых High/Critical.

ID моделей

Проверены по официальным документам провайдеров (июнь 2026). Не вечнозелёные — обновляйте MODELS в начале scripts/council_direct.py, когда провайдеры выпускают новые флагманы.

Замечания по безопасности

• .env игнорируется git. Настоящие ключи никогда не попадают в коммит. Проверьте с помощью git status перед первым git add — .env не должно появляться.
• Ключи считываются из окружения во время выполнения через python-dotenv. Они никогда не записываются в логи или выходной JSON.
• Совет проверяет утверждения из отчёта на основе предоставленных вами доказательств — он не тестирует живые эндпоинты. Базовая истина остаётся за вашей работой с curl / nmap / Burp.

Форматы ввода

Скрипт читает текстовые находки напрямую: .md, .txt, .json, .csv, .yaml или необработанный текст, переданный встроенно. Бинарные/документные форматы (.pdf, .docx, .xlsx и т.д.) не поддерживаются — скрипт обнаруживает их и завершается с сообщением, предлагая преобразовать в .md/.txt. Поскольку находки пишутся в Markdown, это обычно не проблема.

Анализ связанных находок (цепочек)

В полном/среднем режиме Аналитик цепочки атак может учитывать родственные находки:

• --findings-dir <путь> — каталог для сканирования (по умолчанию каталог самого файла находки).
• --project <префикс> — необязательный тег для фильтрации по префиксу имени файла, чтобы определить, какие родственники считаются связанными. Если опущен, учитываются все читаемые текстовые родственники. Тег указывается при запуске; ни имена клиентов, ни префиксы не зашиты в код.

Храните реальные файлы находок вне этого репозитория (где угодно на вашей машине). Указывайте --findings-dir на это расположение при каждом запуске.

Известные пробелы (отслеживаются, ещё не реализованы)

1. Шаблон отчёта о ложноположительных результатах — специальный шаблон вывода для находок, которые совет отклоняет, отдельный от стандартного формата вердикта.

Автор

Создано Holiday