exfil-scan

Analyse les sorties des LLM et les contenus générés par l'IA à la recherche de signaux d'exfiltration de données avant qu'ils n'atteignent les utilisateurs, les journaux ou les systèmes en aval.

1) Pourquoi exfil-scan existe

Les applications LLM modernes traitent couramment des invites sensibles, des documents internes, des réponses API et des données utilisateur. Cela crée une nouvelle frontière de sécurité : la couche de sortie.

La famille d'attaques EchoLeak (dont CVE-2025-32711) a démontré comment des charges utiles cachées ou obscurcies peuvent être intégrées dans du texte généré et utilisées pour exfiltrer des données via des outils, des liens ou des chaînes d'analyse.

Les scanners traditionnels se concentrent sur les fichiers, les dépendances et le trafic d'exécution. Ils n'inspectent pas les sorties générées par le modèle de manière dédiée.

exfil-scan fournit un « antivirus pour réponses LLM » :

• inspecte le texte brut, le JSON, le markdown et les journaux
• identifie six classes de motifs d'exfiltration suspects
• signale les résultats avec leur sévérité et leur emplacement
• s'intègre proprement dans les workflows CI/CD et les flux de développement locaux

2) Ce qu'il détecte

3) Points forts

• Trois profils de sensibilité : low, medium, high
• Prise en charge du remplacement de la configuration YAML
• Entrée depuis stdin, un fichier unique ou un répertoire
• Sortie en text, json, markdown ou html
• Codes de sortie stables pour l'automatisation
• API Python propre pour l'intégration dans d'autres outils

4) Installation

Installation depuis les sources

git clone https://github.com/your-org/exfil-scan.git
cd exfil-scan
pip install -e .

Installation pip standard (lorsqu'il sera publié)

pip install exfil-scan

Installation de développement

pip install -e ".[dev]"
pytest

5) Démarrage rapide

Analyser une sortie LLM via pipe

echo 'api_key: sk-ABCDEFGHIJKLMNOPQRSTUVWXYZ123456' | exfil-scan

Analyser un fichier unique

exfil-scan --input output.txt

Analyser un répertoire de manière récursive

exfil-scan --directory ./model-logs --recursive

6) Référence des options CLI

Remarques :

• Utilisez soit --input, soit --directory, pas les deux.
• Si aucun chemin n'est fourni, l'outil lit depuis stdin.
• Si des résultats sont trouvés, le processus se termine avec le code 1.

7) Exemples d'utilisation par format de sortie

Sortie en texte brut

exfil-scan --input suspicious.txt --format text

Style attendu :

exfil-scan report
=================
Scanned targets: 1
Total findings: 2

1. [HIGH] metadata_leaks/known_token_format:openai_key
   Location: suspicious.txt:1:10
   Description: Matched known credential/token format (openai_key).

Sortie JSON

exfil-scan --input suspicious.txt --format json

Forme attendue :

{
  "finding_count": 2,
  "scanned_targets": ["suspicious.txt"],
  "findings": [
    {
      "category": "metadata_leaks",
      "rule": "known_token_format:openai_key",
      "severity": "HIGH",
      "description": "Matched known credential/token format (openai_key).",
      "location": "suspicious.txt:1:10",
      "snippet": "..."
    }
  ]
}

Sortie HTML

exfil-scan --directory ./outputs --recursive --format html --output report.html

Comportement attendu :

• Génère une page HTML autonome avec un tableau des résultats
• Échappe le contenu pour un rendu sûr
• Inclut la sévérité, la catégorie, la règle, l'emplacement et la description

Sortie Markdown

exfil-scan --input suspicious.txt --format markdown --output report.md

Style attendu :

# exfil-scan Report

- Scanned targets: 1
- Total findings: 2

8) Configuration et sensibilité

Le dépôt est fourni avec default-config.yaml. Vous pouvez passer votre propre fichier avec --config.

Réglage de la sensibilité :

• low : moins de faux positifs, seuils plus élevés
• medium : valeurs par défaut équilibrées
• high : détecte des motifs plus subtils

Remplacement de la sensibilité via le CLI :

exfil-scan --input out.txt --sensitivity high

9) Modèles personnalisés et réglage des politiques

Vous pouvez ajouter vos propres formats de jetons et clés de métadonnées :

sensitivity: medium
rules:
  metadata_keys:
    - api_key
    - db_password
    - internal_token
  token_patterns:
    custom_jwt: "\\beyJ[A-Za-z0-9_\\-]{10,}\\.[A-Za-z0-9_\\-]{10,}\\.[A-Za-z0-9_\\-]{10,}\\b"
    corp_secret: "\\bcorp_[A-Za-z0-9]{24,}\\b"

Exécutez ensuite :

exfil-scan --input response.log --config ./my-config.yaml

10) Vue d'ensemble de l'architecture

Responsabilités des modules :

• exfil_scan/cli.py : analyse des arguments, sélection de l'entrée, rendu de la sortie, gestion des codes de sortie
• exfil_scan/config.py : valeurs par défaut, chargement YAML, fusion récursive, normalisation des profils
• exfil_scan/scanner.py : six moteurs de détection, classes de données des résultats, formatage des rapports
• tests/test_scan.py : tests de régression sur la détection et les formats de sortie

Flux d'exécution :

1. Le CLI analyse les arguments.
2. La configuration charge les valeurs par défaut et les remplacements optionnels.
3. Le scanner lit le texte depuis stdin/le fichier/le répertoire.
4. Chaque catégorie activée s'exécute indépendamment.
5. Les résultats sont triés par sévérité puis rendus.
6. Le code de sortie communique succès/échec/erreur pour l'automatisation.

11) Codes de sortie

Cela rend l'intégration CI directe :

exfil-scan --directory ./artifacts --recursive --format json --output exfil-report.json

Si une détection est trouvée, votre tâche peut échouer rapidement grâce au code de sortie 1.

12) Tests

Exécutez les tests :

pytest

La couverture comprend :

• les six catégories de détection
• le formatage des rapports dans les quatre modes de sortie
• des assertions au niveau des règles pour un comportement stable

13) Notes de sécurité

exfil-scan est un scanner heuristique. Il est conçu pour réduire les risques et faire remonter les sorties suspectes, pas pour prouver la sécurité d'un contenu.

Modèle de déploiement recommandé :

1. Exécutez le scanner en CI sur les invites de test et les sorties des jeux de données d'exemple (fixtures)
2. Exécutez le scanner comme garde-fou de production sur les réponses générées
3. Acheminez les résultats vers le tri des analystes et la télémétrie
4. Ajustez en continu les seuils de configuration en fonction de l'examen des faux positifs

14) Licence

Ce projet est sous licence MIT. Voir LICENSE pour les conditions complètes.

15) Contribution

Les contributions sont les bienvenues. Lors de l'ouverture d'une PR, incluez :

• des étapes de reproduction claires
• le comportement attendu et réel
• des tests pour la nouvelle logique de détection
• des mises à jour de la documentation lors de l'introduction de nouvelles règles