LLM Council — Validação de Achados de VAPT

Um pipeline de revisão cega por pares que valida um achado de teste de penetração antes que ele chegue a um cliente. Lentes de especialistas independentes avaliam o achado, revisam-se cegamente entre si, e um Chairman sintetiza um veredito verificado — vale a pena reportá-lo e a severidade está calibrada?

Duas formas de executá-lo:

Este repositório é a fonte da verdade. Edite aqui, commit com git. A base de conhecimento do Projeto Claude é um espelho somente leitura — re-upload dos arquivos alterados quando houver mudanças materiais. Não sincronize nos dois sentidos.

Estrutura do repositório

llm-council-vapt/
├── README.md                      # this file
├── requirements.txt               # python deps
├── .env.template                  # key names, no values
├── .gitignore                     # ignores .env (keys never committed)
├── skills/
│   └── llm-council/
│       └── SKILL.md               # the skill (8 members, protocols, modes)
├── scripts/
│   └── council_direct.py          # parallel cross-vendor engine
└── docs/
    └── project_system_prompt.md   # paste into Claude Project settings

Instalação

# 1. clone / place the repo
git clone <your-repo-url> llm-council-vapt
cd llm-council-vapt

# 2. make the skill discoverable by Claude Code (symlink, so edits stay live)
mkdir -p ~/.claude/skills
ln -s ~/llm-council-vapt/skills/llm-council ~/.claude/skills/llm-council

# 3. keys
cp .env.template .env
nano .env        # paste the three keys, save

Edite o .env e adicione suas chaves de API da Anthropic, OpenAI e Google.

Opção A — venv (recomendado)

Mantém as dependências isoladas do seu Python do sistema.

python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Opção B — instalação em todo o sistema

pip install -r requirements.txt

Nota (sistemas Kali / Debian): O PEP 668 bloqueia pip install em todo o sistema por padrão. Se você encontrar externally-managed-environment, use a Opção A ou force:

root@kitploit:~

pip install -r requirements.txt --break-system-packages

Verificar instalação

python scripts/council_direct.py --help
ls -l ~/.claude/skills/llm-council/SKILL.md   # should resolve via the symlink

Se ambos rodarem limpos, você está pronto.

Uso

Veja docs/USAGE.md para a referência completa de comandos (todas as flags, todos os modos, todos os exemplos).

No chat (modo Chairman manual)

Basta digitar um comando — sem chaves, sem scripts:

/llm-council -q -u                 # quick, upload file
/llm-council medium validation -p  # medium, paste content
/llm-council -f -u -v2 -s high     # full, upload, version 2, validate High claim

Flags: modo -q|-m|-f (ou quick|medium|full validation), entrada -u (upload) / -p (colar), versão -vN, severidade -s low|medium|high|critical.

Na sua máquina (modo paralelo cross-vendor)

python3 scripts/council_direct.py \
    --mode full \
    --finding ./finding.md \
    --severity high \
    --version 2 \
    --finding-id <YOUR-FINDING-ID> \
    --project <PREFIX> > council_run.json

--finding aceita um caminho de arquivo ou texto bruto. O script imprime JSON (avaliações + rankings cegos + agregado + quaisquer falhas). Em seguida, peça ao Claude Code para ler council_run.json e executar o Estágio 3 do conselho (síntese do Chairman) para produzir o veredito final.

Modos → membros

rápido  (-q) → Red-teamer · Auditor CVSS · Auditor de Evidências                 (3)
médio   (-m) → + Analista de Cadeia de Ataque · Crítico de Remediação              (5)
completo (-f) → + Analista de Inteligência de Ameaças · Caçador de Falsos Negativos ·
              Tradutor de Impacto de Negócios                                       (8)

Rápido = verificação de sanidade rápida durante o engajamento. Médio = achados que você pretende reportar. Completo = porta de pré-entrega; padrão para qualquer High/Critical.

IDs de Modelos

Verificado contra documentação oficial dos provedores (junho de 2026). Não perene — atualize MODELS no topo de scripts/council_direct.py quando os provedores lançarem novos carros-chefe.

Notas de segurança

• .env está no gitignore. Chaves reais nunca são commitadas. Verifique com git status antes do seu primeiro git add — .env não deve aparecer.
• As chaves são lidas em tempo de execução do ambiente via python-dotenv. Elas nunca são escritas em logs ou no JSON de saída.
• O conselho valida alegações do relatório contra as evidências fornecidas — ele não testa endpoints ativos. A verdade fundamental permanece com seu trabalho de curl / nmap / Burp.

Formatos de entrada

O script lê achados baseados em texto diretamente: .md, .txt, .json, .csv, .yaml ou texto bruto passado inline. Formatos binários/documentos (.pdf, .docx, .xlsx, etc.) não são suportados — o script os detecta e sai com uma mensagem informando para converter para .md/.txt primeiro. Como os achados são escritos em markdown, isso normalmente não é um problema.

Análise de achados relacionados (cadeia)

No modo completo/médio, o Analista de Cadeia de Ataque pode considerar achados irmãos:

• --findings-dir <caminho> — diretório para escanear (padrão é o próprio diretório do arquivo de achado).
• --project <prefixo> — tag opcional de prefixo de nome de arquivo para filtrar quais irmãos contam como relacionados. Se omitido, todos os irmãos de texto legíveis são considerados. A tag é fornecida em tempo de execução; nenhum nome de cliente ou prefixo está embutido no código.

Mantenha seus arquivos de achado reais fora deste repositório (em qualquer lugar da sua máquina). Aponte --findings-dir para esse local a cada execução.

Lacunas conhecidas (rastreadas, ainda não implementadas)

1. Modelo de relatório de falso positivo — um modelo de saída dedicado para achados que o conselho rejeita, separado do formato de veredito padrão.

Autor

Construído por Holiday