Syd – Offline-Penetrationstest-Assistent

Syd ist ein luftdichter Penetrationstest-Assistent, der Scan-Ergebnisse mittels lokaler LLMs und Retrieval-Augmented Generation analysiert. Er läuft vollständig auf Ihrem Laptop, ohne dass eine Internetverbindung oder API-Schlüssel erforderlich sind.

Überblick

Syd analysiert technische Scan-Ergebnisse (Nmap, BloodHound, Volatility) und beantwortet Fragen in einfachem Englisch. Anstatt hunderte Seiten Ergebnisse manuell durchzugehen, können Sie gezielte Fragen stellen und evidenzbasierte Antworten erhalten, die auf Ihren tatsächlichen Scandaten basieren.

Unterstützte Tools:

• Nmap (XML-Exporte)
• BloodHound (JSON-Exporte)
• Volatility 3 (Plugin-Ausgabe)

Hauptmerkmale:

• Vollständig offline nutzbar
• Keine Cloud-Abhängigkeiten oder API-Schlüssel
• Faktenextraktionsarchitektur verhindert Halluzinationen
• Läuft auf handelsüblicher Laptop-Hardware
• Evidenzbasierte Antworten, gestützt durch Scandaten

Architektur

Syd verwendet eine dreistufige Pipeline:

1. Faktenextraktion – Deterministisches Parsen von Scandateien in strukturierte Daten
2. Wissensabruf – RAG-basierte Suche in relevanter technischer Dokumentation
3. Antwortgenerierung – LLM erzeugt Antworten unter Verwendung extrahierter Fakten und abgerufenem Wissen

Die Faktenextraktionsstufe verwendet Regex und strukturiertes Parsen (kein LLM). Dies stellt eine 100% genaue Datenextraktion sicher. Das LLM generiert nur natürliche Sprach-erklärungen basierend auf verifizierten Fakten.

Eine Validierung prüft jede generierte Antwort auf die extrahierten Fakten. Wenn das LLM Daten erwähnt, die nicht in Ihrem Scan vorhanden sind (PIDs, IP-Adressen, Hostnamen usw.), wird die Antwort abgelehnt.

Anforderungen

Hardware:

• Mindestens 16 GB RAM (24 GB empfohlen)
• 10 GB freier Speicherplatz
• Multi-Core-CPU

Software:

• Python 3.8 oder höher
• pip

Getestete Konfiguration:

• AMD Ryzen AI 9 365 (10 Kerne)
• 24 GB RAM
• Windows 11
• Abfrageantwortzeit: 2–5 Sekunden

Installation

Automatisierte Einrichtung (empfohlen)

Führen Sie einen Befehl aus und alles wird automatisch erledigt:

python setup.py

Dieses Skript wird:

1. Alle Python-Abhängigkeiten installieren
2. Das Modell Qwen 2.5 14B herunterladen (9,7 GB)
3. Die Installation überprüfen

Benötigte Zeit: 15–30 Minuten (hauptsächlich Download)

Kein HuggingFace-Konto erforderlich. FAISS-Indizes sind im Repository enthalten.

Manuelle Installation

Falls setup.py fehlschlägt, installieren Sie manuell:

1. Abhängigkeiten installieren:

pip install -r requirements.txt

2. Modell von HuggingFace herunterladen:

   • Gehen Sie zu: https://huggingface.co/Qwen/Qwen2.5-14B-Instruct-GGUF
   • Laden Sie alle 3 Teile herunter: qwen2.5-14b-instruct-q5_k_m-00001/2/3-of-00003.gguf
   • Führen Sie sie zusammen: rag_engine/models/qwen2.5-14b-instruct-q5_k_m.gguf

3. Syd ausführen:

python syd.py

Siehe INSTALL.md für detaillierte Fehlerbehebung.

Nutzung

Nmap-Analyse

1. Nmap-XML-Datei laden oder XML-Ausgabe einfügen
2. Auf Faktenextraktion warten (normalerweise 5–15 Sekunden)
3. Fragen stellen:
   • „Welche Dienste laufen auf hohen Ports?“
   • „Welche Hosts haben SMB-Signing deaktiviert?“
   • „Zeige mir alle Webserver“
   • „Welche Schwachstellen wurden gefunden?“

BloodHound-Analyse

1. BloodHound-JSON-Export laden (von SharpHound)
2. Fragen stellen:
   • „Was ist der kürzeste Pfad zu Domain Admin?“
   • „Welche Konten sind Kerberoastable?“
   • „Zeige mir Probleme mit unconstrained Delegation“
   • „Welche ACL-Missbrauchspfade gibt es?“

Volatility-Analyse

1. Volatility-3-Plugin-Ausgabe einfügen
2. Fragen stellen:
   • „Was ist der verdächtigste Prozess?“
   • „Liste alle Netzwerkverbindungen auf“
   • „Gibt es Hinweise auf Process Injection?“
   • „Welche Prozesse haben PAGE_EXECUTE_READWRITE-Regionen?“

Genauigkeit

Getestet mit echten Pentest-Daten:

• Nmap: 96,7 % (29/30 Testfragen)
• Volatility: 90 % (9/10 Testfragen)
• BloodHound: 85–90 % (Verfeinerung in Arbeit)

Die Validierungsschicht verhindert Halluzinationen. Antworten, die auf nicht vorhandene Daten verweisen, werden blockiert.

Projektstruktur

Syd_V3/
├── syd.py                          # Hauptanwendung
├── nmap_fact_extractor.py          # Nmap-Parser
├── bloodhound_fact_extractor.py    # BloodHound-Parser
├── volatility_fact_extractor.py    # Volatility-Parser
├── bloodhound_analyzer.py          # BloodHound-Analyse-Logik
├── volatility_analyzer.py          # Volatility-Analyse-Logik
├── knowledge_bases/                # Technische Dokumentation
│   ├── bloodhound/
│   └── volatility/
├── rag_engine/
│   ├── models/                     # LLM-Modelle (GGUF-Format)
│   └── embeddings/                 # FAISS-Indizes
└── chunk_and_embed_*.py            # Indexierungs-Skripte für Wissensbasis

Technische Details

LLM: Qwen 2.5 14B (Q5_K_M-Quantisierung) Embeddings: all-MiniLM-L6-v2 (sentence-transformers) Vektordatenbank: FAISS (CPU-optimiert) GUI: tkinter (plattformübergreifend)

Temperatur: 0,05–0,1 (niedrig, um Halluzinationen zu reduzieren) Wiederholungsstrafe: 2,8–3,2 (Schleifenbildung verhindern) Kontextfenster: 4096–8192 Token

Bekannte Einschränkungen

• BloodHound-JSON muss das standardmäßige SharpHound-Format sein
• Nmap-XML muss vollständig sein (nicht abgeschnitten)
• Große Scans (1000+ Hosts) können 30–60 Sekunden zum Parsen benötigen
• Volatility-Netzwerkrichtungsanalyse: 85 % Genauigkeit (wird verbessert)

Konzipiert für typische Pentest-Szenarien (10–500 Hosts). Unternehmenseitige Scans erfordern möglicherweise eine Aufteilung.

Fehlerbehebung

Modell nicht gefunden:

• Überprüfen Sie, ob die Modelldatei in rag_engine/models/ existiert
• Prüfen Sie, ob der Dateiname exakt übereinstimmt: qwen2.5-14b-instruct-q5_k_m.gguf

FAISS-Index nicht gefunden:

• Führen Sie python chunk_and_embed_*.py-Skripte aus
• Prüfen Sie auf .faiss- und .pkl-Dateien in rag_engine/embeddings/customers/

Nicht genügend Arbeitsspeicher:

• Schließen Sie andere Anwendungen
• Mindestens 16 GB RAM erforderlich
• Verwenden Sie bei Speicherknappheit nur das Nmap-Modul

Langsame Leistung:

• Erster Ladevorgang dauert 10–20 Sekunden (Modellinitialisierung)
• Nachfolgende Abfragen: 2–5 Sekunden
• Überprüfen Sie die CPU-Auslastung – das Modell ist CPU-intensiv
• Stellen Sie sicher, dass der Laptop am Netzstrom hängt (Energieverwaltung beeinflusst die Leistung)

Support

Community-Support:

• GitHub Issues: Fehler melden und Funktionen anfragen
• GitHub Discussions: Fragen stellen und Erfahrungen austauschen

Professioneller Support: Wenn Sie sich in einer luftdichten Umgebung befinden und Probleme bei der Einrichtung haben, biete ich gegen eine geringe Gebühr vorkonfigurierte USB-Installationen an. Alles inklusive und getestet.

Kontakt: [email protected]

Ressourcen:

• YouTube: https://www.youtube.com/@paularmstrong8306 (Tutorials und Demos)
• Website: https://sydsec.co.uk
• E-Mail: [email protected]

Mitwirken

Besonders interessiert an:

• Randfällen, bei denen Faktenextraktoren versagen
• Fragen, bei denen die Validierung zu streng/locker ist
• Leistungsproblemen auf unterschiedlicher Hardware

Siehe CONTRIBUTING.md für Richtlinien.

Lizenz

MIT-Lizenz – Siehe LICENSE-Datei

Danksagungen

Erstellt mit:

• llama.cpp (effiziente CPU-Inferenz)
• FAISS (schnelle Vektorsuche)
• sentence-transformers (Embeddings)
• Qwen 2.5 (instruktionsbefolgendes LLM)

Entwickelt und getestet mit echten Penetrationstest-Daten.

Autor: Paul Armstrong (@Sydsec) Website: https://sydsec.co.uk YouTube: https://www.youtube.com/@paularmstrong8306