LLM Council — Validation des constats de test d'intrusion

Un pipeline d'évaluation par les pairs en aveugle qui valide un constat de test d'intrusion avant qu'il n'atteigne le client. Des experts indépendants évaluent le constat, s'évaluent mutuellement en aveugle, et un Président synthétise un verdict vérifié unique : vaut-il la peine d'être signalé, et la sévérité est-elle calibrée ?

Deux façons de l'exécuter :

Ce dépôt est la source de vérité. Modifiez ici, commitez avec git. La base de connaissances du projet Claude est un miroir en lecture seule — re-téléchargez les fichiers modifiés lorsqu'ils changent substantiellement. Ne faites pas de synchronisation bidirectionnelle.

Structure du dépôt

llm-council-vapt/
├── README.md                      # this file
├── requirements.txt               # python deps
├── .env.template                  # key names, no values
├── .gitignore                     # ignores .env (keys never committed)
├── skills/
│   └── llm-council/
│       └── SKILL.md               # the skill (8 members, protocols, modes)
├── scripts/
│   └── council_direct.py          # parallel cross-vendor engine
└── docs/
    └── project_system_prompt.md   # paste into Claude Project settings

Installation

# 1. clone / place the repo
git clone <your-repo-url> llm-council-vapt
cd llm-council-vapt

# 2. make the skill discoverable by Claude Code (symlink, so edits stay live)
mkdir -p ~/.claude/skills
ln -s ~/llm-council-vapt/skills/llm-council ~/.claude/skills/llm-council

# 3. keys
cp .env.template .env
nano .env        # paste the three keys, save

Modifiez .env et ajoutez vos clés API Anthropic, OpenAI et Google.

Option A — venv (recommandée)

Maintient les dépendances isolées de votre Python système.

python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Option B — installation système

pip install -r requirements.txt

Remarque (systèmes Kali / basés sur Debian) : PEP 668 bloque l'installation système de pip install par défaut. Si vous rencontrez externally-managed-environment, utilisez l'option A ou forcez :

root@kitploit:~

pip install -r requirements.txt --break-system-packages

Vérifier l'installation

python scripts/council_direct.py --help
ls -l ~/.claude/skills/llm-council/SKILL.md   # should resolve via the symlink

Si les deux s'exécutent correctement, vous êtes prêt.

Utilisation

Consultez docs/USAGE.md pour la référence complète des commandes (tous les flags, tous les modes, tous les exemples).

En chat (mode Président manuel)

Tapez simplement une commande — pas de clés, pas de scripts :

/llm-council -q -u                 # quick, upload file
/llm-council medium validation -p  # medium, paste content
/llm-council -f -u -v2 -s high     # full, upload, version 2, validate High claim

Flags : mode -q|-m|-f (ou quick|medium|full validation), entrée -u (upload) / -p (coller), version -vN, sévérité -s low|medium|high|critical.

Sur votre machine (mode parallèle multi-fournisseur)

python3 scripts/council_direct.py \
    --mode full \
    --finding ./finding.md \
    --severity high \
    --version 2 \
    --finding-id <YOUR-FINDING-ID> \
    --project <PREFIX> > council_run.json

--finding accepte un chemin de fichier ou du texte brut. Le script affiche du JSON (évaluations + classements en aveugle + agrégat + éventuelles erreurs). Demandez ensuite à Claude Code de lire council_run.json et d'exécuter l'étape 3 du conseil (synthèse du Président) pour produire le verdict final.

Modes → membres

quick  (-q) → Red-teamer · Auditeur CVSS · Auditeur de preuves                 (3)
medium (-m) → + Analyste de chaîne d'attaque · Critique de remédiation          (5)
full   (-f) → + Analyste de renseignement sur les menaces · Chasseur de faux négatifs ·
              Traducteur d'impact métier                                        (8)

Quick = vérification rapide de santé en cours d'engagement. Medium = constats que vous avez l'intention de signaler. Full = passerelle pré-livraison ; par défaut pour tout Haut/Critique.

Identifiants de modèles

Vérifiés par rapport à la documentation officielle des fournisseurs (juin 2026). Pas à jour en permanence — mettez à jour MODELS en haut de scripts/council_direct.py lorsque les fournisseurs publient de nouveaux vaisseaux amiraux.

Notes de sécurité

• .env est dans gitignore. Les vraies clés ne sont jamais commitées. Vérifiez avec git status avant votre premier git add — .env ne doit pas apparaître.
• Les clés sont lues à l'exécution depuis l'environnement via python-dotenv. Elles ne sont jamais écrites dans les logs ou le JSON de sortie.
• Le conseil valide les affirmations du rapport par rapport aux preuves que vous fournissez — il ne teste pas les endpoints en direct. La vérité terrain reste avec votre travail curl / nmap / Burp.

Formats d'entrée

Le script lit directement les constats en texte : .md, .txt, .json, .csv, .yaml, ou du texte brut passé en ligne. Les formats binaires/documents (.pdf, .docx, .xlsx, etc.) ne sont pas supportés — le script les détecte et se termine avec un message vous demandant de les convertir d'abord en .md/.txt. Comme les constats sont rédigés en markdown, cela n'est normalement pas un problème.

Analyse des constats liés (chaîne)

En mode complet/moyen, l'Analyste de chaîne d'attaque peut considérer les constats frères :

• --findings-dir <chemin> — répertoire à scanner (par défaut, le propre répertoire du fichier de constat).
• --project <préfixe> — tag optionnel de préfixe de nom de fichier pour filtrer les frères considérés comme liés. Si omis, tous les frères en texte lisible sont considérés. Le tag est fourni à l'exécution ; aucun nom de client ou préfixe n'est intégré dans le code.

Gardez vos vrais fichiers de constat en dehors de ce dépôt (n'importe où sur votre machine). Pointez --findings-dir vers cet emplacement à chaque exécution.

Lacunes connues (suivies, pas encore construites)

1. Modèle de rapport pour faux positifs — un modèle de sortie dédié pour les constats rejetés par le conseil, séparé du format de verdict standard.

Auteur

Construit par Holiday