LLM Council — Validierung von VAPT-Funden

Eine blinde Peer-Review-Pipeline, die ein Pentest-Ergebnis validiert, bevor es den Kunden erreicht. Unabhängige Expertenlinsen bewerten das Ergebnis, überprüfen sich gegenseitig blind, und ein Vorsitzender erstellt ein einziges geprüftes Urteil – ist es berichtenswert und ist die Schwere kalibriert?

Zwei Möglichkeiten zur Ausführung:

Dieses Repo ist die Quelle der Wahrheit. Hier bearbeiten, mit git committen. Die Wissensdatenbank des Claude-Projekts ist ein schreibgeschützter Spiegel – laden Sie geänderte Dateien erneut hoch, wenn sie sich wesentlich ändern. Kein Zwei-Wege-Synchronisieren.

Repo-Struktur

llm-council-vapt/
├── README.md                      # this file
├── requirements.txt               # python deps
├── .env.template                  # key names, no values
├── .gitignore                     # ignores .env (keys never committed)
├── skills/
│   └── llm-council/
│       └── SKILL.md               # the skill (8 members, protocols, modes)
├── scripts/
│   └── council_direct.py          # parallel cross-vendor engine
└── docs/
    └── project_system_prompt.md   # paste into Claude Project settings

Installation

# 1. clone / place the repo
git clone <your-repo-url> llm-council-vapt
cd llm-council-vapt

# 2. make the skill discoverable by Claude Code (symlink, so edits stay live)
mkdir -p ~/.claude/skills
ln -s ~/llm-council-vapt/skills/llm-council ~/.claude/skills/llm-council

# 3. keys
cp .env.template .env
nano .env        # paste the three keys, save

Bearbeiten Sie .env und fügen Sie Ihre Anthropic-, OpenAI- und Google-API-Schlüssel hinzu.

Option A — venv (empfohlen)

Hält Abhängigkeiten von Ihrem System-Python isoliert.

python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Option B — systemweite Installation

pip install -r requirements.txt

Hinweis (Kali / Debian-basierte Systeme): PEP 668 blockiert standardmäßig systemweite pip install-Befehle. Wenn Sie auf externally-managed-environment stoßen, verwenden Sie Option A oder erzwingen Sie es:

root@kitploit:~

pip install -r requirements.txt --break-system-packages

Installation überprüfen

python scripts/council_direct.py --help
ls -l ~/.claude/skills/llm-council/SKILL.md   # sollte über den Symlink auflösen

Wenn beide sauber laufen, sind Sie bereit.

Verwendung

Siehe docs/USAGE.md für die vollständige Befehlsreferenz (jedes Flag, jeder Modus, alle Beispiele).

Im Chat (manueller Vorsitzenden-Modus)

Geben Sie einfach einen Befehl ein – keine Schlüssel, keine Skripte:

/llm-council -q -u                 # quick, upload file
/llm-council medium validation -p  # medium, paste content
/llm-council -f -u -v2 -s high     # full, upload, version 2, validate High claim

Flags: Modus -q|-m|-f (oder quick|medium|full validation), Eingabe -u (upload) / -p (paste), Version -vN, Schweregrad -s low|medium|high|critical.

Auf Ihrem Rechner (paralleler anbieterübergreifender Modus)

python3 scripts/council_direct.py \
    --mode full \
    --finding ./finding.md \
    --severity high \
    --version 2 \
    --finding-id <YOUR-FINDING-ID> \
    --project <PREFIX> > council_run.json

--finding akzeptiert einen Dateipfad oder Rohtext. Das Skript gibt JSON aus (Bewertungen + blinde Ranglisten + Aggregat + etwaige Fehler). Bitten Sie dann Claude Code, council_run.json zu lesen und die Stage 3 (Vorsitzenden-Synthese) des Councils auszuführen, um das endgültige Urteil zu erstellen.

Modi → Mitglieder

quick  (-q) → Red-Teamer · CVSS-Auditor · Beweisprüfer                     (3)
medium (-m) → + Angriffskettenanalyst · Sanierungskritiker                  (5)
full   (-f) → + Bedrohungsintelligenz-Analyst · False-Negative-Jäger ·
              Geschäftsauswirkungs-Übersetzer                                (8)

Quick = schneller Sanity-Check während des Engagements. Medium = Ergebnisse, die Sie melden möchten. Full = Tor vor der Auslieferung; Standard für alle hohen/kritischen Ergebnisse.

Modell-IDs

Verifiziert anhand der offiziellen Anbieterdokumentation (Juni 2026). Nicht dauerhaft aktuell – aktualisieren Sie MODELS oben in scripts/council_direct.py, wenn Anbieter neue Flaggschiffe ausliefern.

Sicherheitshinweise

• .env ist gitignored. Echte Schlüssel werden nie committet. Überprüfen Sie mit git status vor Ihrem ersten git add – .env darf nicht erscheinen.
• Schlüssel werden zur Laufzeit aus der Umgebung über python-dotenv gelesen. Sie werden niemals in Logs oder das ausgegebene JSON geschrieben.
• Das Council validiert Berichtsbehauptungen anhand der von Ihnen gelieferten Beweise – es testet keine Live-Endpunkte. Die Grundwahrheit bleibt bei Ihrer curl-/nmap-/Burp-Arbeit.

Eingabeformate

Das Skript liest textbasierte Ergebnisse direkt: .md, .txt, .json, .csv, .yaml oder inline übergebenen Rohtext. Binär-/Dokumentformate (.pdf, .docx, .xlsx, usw.) werden nicht unterstützt – das Skript erkennt sie und beendet sich mit einer Meldung, die Sie auffordert, zuerst in .md/.txt zu konvertieren. Da Ergebnisse in Markdown verfasst werden, ist dies normalerweise kein Problem.

Analyse verwandter Ergebnisse (Ketten)

Im Full-/Medium-Modus kann der Angriffskettenanalyst verwandte Ergebnisse berücksichtigen:

• --findings-dir <path> – zu durchsuchendes Verzeichnis (standardmäßig das Verzeichnis der Ergebnisdatei).
• --project <prefix> – optionaler Dateinamen-Präfix-Tag, um zu filtern, welche verwandten Ergebnisse als relevant gelten. Wenn weggelassen, werden alle lesbaren Text-Geschwister berücksichtigt. Der Tag wird zur Laufzeit angegeben; keine Kundennamen oder Präfixe sind in den Code eingebacken.

Halten Sie Ihre echten Ergebnisdateien außerhalb dieses Repos (überall auf Ihrem Rechner). Geben Sie --findings-dir bei jedem Durchlauf auf diesen Speicherort an.

Bekannte Lücken (erfasst, noch nicht umgesetzt)

1. False-Positive-Berichtsvorlage – eine dedizierte Ausgabevorlage für Ergebnisse, die das Council ablehnt, getrennt vom Standard-Urteilsformat.

Autor

Erstellt von Holiday