TDO Standalone Extraktor

Ein leistungsstarkes, eigenständiges Kommandozeilen-Tool zur Extraktion von Cyber Threat Intelligence (CTI) aus Dokumenten unter Verwendung großer Sprachmodelle mit erweiterten strukturierten Ausgabefunktionen.

🚀 Funktionen

Multi-Format-Dokumentunterstützung: PDF, DOCX, TXT und Markdown-Dateien
Erweiterte LLM-Integration: Google Gemini Modelle mit strukturierter Ausgabe und automatischer Fallback-Parsing
Umfassendes CTI-Schema: 12 Entitätstypen und 24 Beziehungstypen mit umfangreichen Eigenschaften
Generierung von Erkennungsmöglichkeiten: Erstellt handlungsorientierte Bedrohungserkennungsregeln mit Belegnachweisen
Angriffsablauf-Synthese: Generiert evidenzbasierte MITRE ATT&CK-Ablaufdiagramme
Zuverlässigkeit strukturierter Ausgaben: Pydantic-Schemata mit 100% JSON-Parsing-Erfolgsrate
Parallele Verarbeitung: Verarbeitet mehrere Dateien gleichzeitig mit Fortschrittsverfolgung
Portabel & Eigenständig: Minimale Abhängigkeiten mit umgebungsbasierter Konfiguration

📋 Schnellstart

1. Installation

# Klonen oder herunterladen des standalone-tdo Ordners
cd standalone-tdo

# Virtuelle Umgebung erstellen (empfohlen)
python -m venv .venv
source .venv/bin/activate  # Unter Windows: .venv\Scripts\activate

# Abhängigkeiten installieren
pip install -r requirements.txt

2. Konfiguration

Das Tool verwendet Umgebungsvariablen, die aus einer .env-Datei geladen werden:

# Beispielkonfiguration kopieren
cp env.example .env

# .env mit Ihren Einstellungen bearbeiten
# Erforderliche Variablen:
GEMINI_API_KEY=Ihr-Google-AI-API-Key-hier
GEMINI_MODEL=gemini-2.5-flash

Einen Gemini-API-Key erhalten:

Besuchen Sie Google AI Studio
Erstellen Sie einen neuen API-Key
Kopieren Sie den Key in Ihre .env-Datei

Verfügbare Modelle:

gemini-2.5-flash-preview-05-20 (empfohlen – schnell und kosteneffizient)
gemini-2.5-pro-preview-06-05 (leistungsstärker, langsamer)

3. Grundlegende Nutzung

# Einzelne Datei mit allen Funktionen verarbeiten
python tdo_bulk.py report.pdf --flow --opps

# Mehrere Dateien verarbeiten
python tdo_bulk.py file1.pdf file2.docx file3.txt

# Alle Dateien in einem Verzeichnis mit parallelen Arbeitern verarbeiten
python tdo_bulk.py reports/ -j 4

# Umfassende Analyse mit Bewertung generieren
python tdo_bulk.py report.pdf --flow --opps --eval-opps

🎯 Befehlszeilenreferenz

usage: tdo_bulk.py [options] FILE [FILE ...]

Positionsargumente:
  FILE                  Eine oder mehrere zu verarbeitende Dateien oder Verzeichnisse

Kernoptionen:
  -o, --output DIR      Ausgabeverzeichnis (Standard: ./extracted_data)
  --csv FILE            Zusammenfassung als CSV exportieren
  -j, --jobs N          Anzahl paralleler Arbeiter (Standard: 1)
  --retries N           LLM-Wiederholungsanzahl (Standard: 2)
  --backoff SEC         Exponentielle Backoff-Basis (Standard: 1.5)

Analysefunktionen:
  --flow                Attack-Flow JSON generieren
  --opps                Bedrohungserkennungsmöglichkeiten generieren
  --eval-opps           Qualität der Erkennungsmöglichkeiten bewerten
  --debug-opps          Debug-Informationen für die Generierung von Möglichkeiten anzeigen

Ausgabekontrolle:
  -q, --quiet           Minimale Konsolenausgabe
  -v, --verbose         Debug-Level-Logging
  -h, --help            Hilfemeldung anzeigen und beenden

Beispielbefehle

# Grundlegende CTI-Extraktion
python tdo_bulk.py threat_report.pdf

# Vollständige Analyse mit allen Funktionen
python tdo_bulk.py apt_report.pdf --flow --opps --eval-opps

# Batch-Verarbeitung mit parallelen Arbeitern
python tdo_bulk.py reports_folder/ -j 8 --flow --opps

# Ergebnisse als CSV exportieren
python tdo_bulk.py *.pdf --csv results.csv

# Leiser Modus für Automatisierung
python tdo_bulk.py reports/ -q -o /var/soc/cti --opps

📊 Ausgabedateien

Für jede verarbeitete Datei generiert das Tool:

Primäre Ausgaben

{filename}_extracted.json: Strukturierte CTI-Daten mit umfassendem Schema
{filename}_{timestamp}.md: Lesbarer Markdown-Bericht mit allen Analysen

Optionale Ausgaben (mit Flags)

Attack Flow JSON: Evidenzbasierte MITRE ATT&CK-Ablaufstruktur (mit --flow)
Erkennungsmöglichkeiten: Handlungsorientierte Erkennungsregeln mit Belegen (mit --opps)

🔍 CTI-Schema-Übersicht

Entitätstypen (12 Typen)

Entitätstyp	Beschreibung	Wichtige Eigenschaften
ThreatActor	Cyber-Bedrohungsgruppen	`aliases`, `primary_motivation`, `first_seen`
Tool	Legitime Software	`family`, `capabilities`, `kill_chain_phases`
Malware	Schadsoftware	`family`, `capabilities`, `first_seen`, `last_seen`
Technique	MITRE ATT&CK-Techniken	`id` (T1234), `description`, `kill_chain_phases`
Tactic	MITRE ATT&CK-Taktiken	`id` (TA0001), `description`
Infrastructure	IPs, Domains, URLs	`type`, `tags`, `first_seen`, `last_seen`
Indicator	Datei-Hashes, Muster	`value`, `pattern`, `valid_from`, `valid_until`
Vulnerability	CVE-Einträge	`id`, `cvss_score`, `affected_software`
Campaign	Benannte Angriffskampagnen	`objective`, `status`, `first_seen`
Identity	Zielorganisationen	`type`, `description`
CourseOfAction	Abwehrmaßnahmen, Patches	`type`, `description`
Source	Dokumentenherkunft	`filename`, `document_title`, `file_size_mb`

Beziehungstypen (24 Typen)

Attributions- & Akteursbeziehungen:

USES_TOOL, USES_TECHNIQUE, CONDUCTS, ATTRIBUTED_TO, TARGETS

Technische Beziehungen:

TOOL_IMPLEMENTS_TECHNIQUE, HOSTS_ON, COMMUNICATES_WITH, VARIANT_OF
DROPS, DOWNLOADS, INDICATES, OBSERVED_ON, EXPLOITS

Erweiterte Beziehungen:

MITIGATES, DETECTS, IS_SUBTECHNIQUE_OF, FLOW_CONTAINS_STEP
FLOW_USED_BY_ACTOR, OBSERVES, SOURCED_FROM

Alle Beziehungen unterstützen Eigenschaften wie confidence, source, first_seen, last_seen.

💡 Erkennungsmöglichkeiten

Das Tool generiert evidenzbasierte Erkennungsmöglichkeiten mit:

Kernfunktionen

Technikzuordnung: Verknüpfung mit spezifischen MITRE ATT&CK-Techniken
Beobachtbare Artefakte: Spezifische Indikatoren zur Erkennung
Verhaltensmuster: Sequenzen und Muster zur Überwachung
Belegzitate: Direkte Zitate aus Quellberichten
Konfidenzwerte: Zuverlässigkeitsbewertung (0.0-1.0)
Qualitätsbewertung: Automatisierte Bewertung mit Kriterienaufschlüsselung

Beispielausgabe

{
  "id": "opp-001",
  "name": "Erkennung von PowerShell-Prozessinjektion",
  "technique_id": "T1055",
  "artefacts": ["powershell.exe mit WriteProcessMemory-Aufrufen"],
  "behaviours": ["Prozessinjektion in legitime Prozesse"],
  "rationale": "APT-Gruppen verwenden häufig PowerShell zur Prozessinjektion",
  "confidence": 0.8,
  "source": "PowerShell für Prozessinjektion verwendet (T1055)",
  "evidence": [
    "• PowerShell führt WriteProcessMemory-Aufrufe aus (Zeile 45)",
    "• Beziehung: ThreatActor USES_TECHNIQUE T1055"
  ]
}

🔗 Angriffsablauf-Synthese

Erweiterte Angriffsabläufe bieten:

Evidenzbasierte Reihenfolge: Schritte, die durch zeitliche und kausale Belege gestützt werden
Entitätsreferenzierung: Jeder Schritt verweist auf extrahierte CTI-Entitäten
Explizite Begründung: Rechtfertigung der Schrittfolge mit Zitaten
Umfassende Abdeckung: Bis zu 25 Schritte, die den gesamten Angriffslebenszyklus abdecken

standalone_tdo

Beliebteste