blevene/standalone_tdoExtrait des renseignements structurés sur les menaces cybernétiques (CTI) à partir de documents PDF, DOCX et TXT en utilisant des LLM. Génère des flux d'attaque MITRE ATT&CK, des opportunités de détection et des graphes complets de relations entre entités.
Un outil en ligne de commande puissant et autonome pour extraire du renseignement sur les cybermenaces (CTI) à partir de documents à l'aide de grands modèles de langage avec des capacités de sortie structurée avancées.
# Clone or download the standalone-tdo folder
cd standalone-tdo
# Create virtual environment (recommended)
python -m venv .venv
source .venv/bin/activate # On Windows: .venv\Scripts\activate
# Install dependencies
pip install -r requirements.txt
The tool uses environment variables loaded from a .env file for configuration:
# Copy the example configuration
cp env.example .env
# Edit .env with your settings
# Required variables:
GEMINI_API_KEY=your-google-ai-api-key-here
GEMINI_MODEL=gemini-2.5-flash
Obtenir une clé API Gemini :
.envModèles disponibles :
gemini-2.5-flash-preview-05-20 (recommandé – rapide et économique)gemini-2.5-pro-preview-06-05 (plus puissant, plus lent)# Process a single file with all features
python tdo_bulk.py report.pdf --flow --opps
# Process multiple files
python tdo_bulk.py file1.pdf file2.docx file3.txt
# Process all files in a directory with parallel workers
python tdo_bulk.py reports/ -j 4
# Generate comprehensive analysis with evaluation
python tdo_bulk.py report.pdf --flow --opps --eval-opps
usage: tdo_bulk.py [options] FILE [FILE ...]
Positional Arguments:
FILE One or more files or directories to process
Core Options:
-o, --output DIR Output directory (default: ./extracted_data)
--csv FILE Export summary to CSV file
-j, --jobs N Number of parallel workers (default: 1)
--retries N LLM retry count (default: 2)
--backoff SEC Exponential back-off base (default: 1.5)
Analysis Features:
--flow Generate Attack-Flow JSON
--opps Generate Threat Detection Opportunities
--eval-opps Evaluate detection opportunities quality
--debug-opps Show debug information for opportunity generation
Output Control:
-q, --quiet Minimal console output
-v, --verbose Debug-level logging
-h, --help Show help message and exit
# Basic CTI extraction
python tdo_bulk.py threat_report.pdf
# Full analysis with all features
python tdo_bulk.py apt_report.pdf --flow --opps --eval-opps
# Batch processing with parallel workers
python tdo_bulk.py reports_folder/ -j 8 --flow --opps
# Export results to CSV
python tdo_bulk.py *.pdf --csv results.csv
# Quiet mode for automation
python tdo_bulk.py reports/ -q -o /var/soc/cti --opps
Pour chaque fichier traité, l'outil génère :
{filename}_extracted.json : Données CTI structurées avec schéma complet{filename}_{timestamp}.md : Rapport Markdown lisible avec toutes les analyses--flow)--opps)| Type d'entité | Description | Propriétés clés |
|---|---|---|
| ThreatActor | Groupes de cybermenaces | aliases, primary_motivation, first_seen |
| Tool | Logiciel légitime | family, capabilities, kill_chain_phases |
| Malware | Logiciel malveillant | family, capabilities, first_seen, last_seen |
| Technique | Techniques MITRE ATT&CK | id (T1234), description, kill_chain_phases |
| Tactic | Tactiques MITRE ATT&CK | id (TA0001), description |
| Infrastructure | IP, domaines, URL | type, tags, first_seen, last_seen |
| Indicator | Hachages de fichiers, motifs | value, pattern, valid_from, valid_until |
| Vulnerability | Entrées CVE | id, cvss_score, affected_software |
| Campaign | Campagnes d'attaque nommées | objective, status, first_seen |
| Identity | Organisations cibles | type, description |
| CourseOfAction | Atténuations, correctifs | type, description |
| Source | Provenance du document | filename, document_title, file_size_mb |
Relations d'attribution et d'acteur :
USES_TOOL, USES_TECHNIQUE, CONDUCTS, ATTRIBUTED_TO, TARGETSRelations techniques :
TOOL_IMPLEMENTS_TECHNIQUE, HOSTS_ON, COMMUNICATES_WITH, VARIANT_OFDROPS, DOWNLOADS, INDICATES, OBSERVED_ON, EXPLOITSRelations avancées :
MITIGATES, DETECTS, IS_SUBTECHNIQUE_OF, FLOW_CONTAINS_STEPFLOW_USED_BY_ACTOR, OBSERVES, SOURCED_FROMToutes les relations prennent en charge des propriétés comme confidence, source, first_seen, last_seen.
L'outil génère des opportunités de détection fondées sur des preuves avec :
{
"id": "opp-001",
"name": "Detect PowerShell Process Injection",
"technique_id": "T1055",
"artefacts": ["powershell.exe with WriteProcessMemory calls"],
"behaviours": ["Process injection into legitimate processes"],
"rationale": "APT groups commonly use PowerShell for process injection",
"confidence": 0.8,
"source": "PowerShell used for process injection (T1055)",
"evidence": [
"• PowerShell executes WriteProcessMemory calls (line 45)",
"• Relationship: ThreatActor USES_TECHNIQUE T1055"
]
}
Les flux d'attaque améliorés fournissent :