CVE-Factory : Mise à l'échelle de tâches agentiques de niveau expert pour les vulnérabilités de sécurité du code

CVE-Factory est un système Multi-Agent pour la reproduction de CVE entièrement automatisée, de bout en bout. À partir des enregistrements CVE, le système recherche automatiquement les détails, génère des cas de test, construit des environnements Docker et valide que chaque vulnérabilité peut être à la fois exploitée et corrigée. Le pipeline transforme les métadonnées CVE en environnements de vulnérabilité reproductibles et testables, sans intervention manuelle.

⚠️ Avertissement de sécurité : Ce système construit et exécute des conteneurs Docker contenant des logiciels vulnérables. Vous DEVEZ utiliser l'environnement Docker-in-Docker (DinD) pour isoler les conteneurs CVE de votre système hôte. N'exécutez jamais CVE-Factory directement sur le démon Docker de votre hôte.

📢 Actualités

[2026-03-27] Ajout de 3,181 nouveaux environnements de tâches CVE (Hugging Face), Abacus-cve-v1.1 avec 18.8k traces d'entraînement, et des benchmarks LiveCVEBench-verified & PatchEval-verified. Ajout de 4 nouveaux agents (Judger, Changer, Comparer, Expert), de 3 compétences (cve-test-generator, cheat-detect, cheat-detect-evaluate), et passage du contrôle d'accès aux outils d'une liste blanche (allowlist) à une liste noire (denylist). Voir Notes de mise à jour pour plus de détails.

✨ Points forts

🤖 Automatisation de bout en bout

Fournissez des enregistrements CVE, obtenez un environnement complet de reproduction de CVE. Conformément à la norme Terminal Bench, chaque package de tâches généré comprend :

Configuration de l'environnement : Dockerfile et docker-compose.yaml hébergeant l'application vulnérable
Configuration de la tâche : task.yaml contenant des descriptions d'instructions structurées (sans identité CVE)
Correctif de référence : solution.sh pour corriger la vulnérabilité
Point d'entrée d'évaluation : run-tests.sh pour lancer l'évaluation

Conçue spécifiquement pour les tâches de sécurité, notre logique de test est divisée en :

test_func.py : Tests fonctionnels garantissant que les fonctionnalités de base fonctionnent avant et après le correctif
test_vuln.py : Tests d'exploitation vérifiant que la vulnérabilité existe avant le correctif et est résolue après

Aucune recherche manuelle, aucun codage manuel — entièrement automatisé, des métadonnées CVE brutes à la reproduction validée.

Structure des artefacts générés :

CVE-2025-XXXX/
├── task.yaml              # Structured Task Metadata
├── Dockerfile          # Vulnerable Environment Setup
├── docker-compose.yaml # Service Orchestration   
├── task-deps/  
├── solution.sh            # Verified Patch
└── test/
    ├── test_func.py       # Functionality Check
    ├── test_vuln.py       # Vulnerability Exploit Check
    └── run-tests.sh           # One-click Evaluation Script

📊 Taux de réussite élevé prouvé

Lors d'une évaluation à grande échelle de 554 CVE de 2025, CVE-Factory a reproduit avec succès 499 cas, atteignant un taux de réussite de 90.1%. En outre, un examen rigoureux par des experts de 471 cas réussis a confirmé que 312 tâches (66.2%) avaient été reproduites de manière complète et précise !

Comparé à des experts en sécurité disposant d'informations initiales identiques, notre système a atteint un taux de réussite de vérification de ~95% dans la construction des environnements et des solutions — démontrant une capacité de niveau expert en matière de reproduction automatisée de vulnérabilités.

📂 Jeu de données ouvert : Nous publions 1,000+ environnements de tâches CVE dans le répertoire cve_tasks/ :

trainset/ (887 tâches) : Utilisé pour l'entraînement de Abacus-cve. Les 4,000+ traces d'agents distillées sur Hugging Face 🤗 sont générées à partir de ces tâches en utilisant Claude Opus 4.5 avec un harnais Mini SWE-Agent.

trainset-2/ : Tâches supplémentaires relativement plus simples. Non incluses dans les données d'entraînement.

NOUVEAU : 3,181 tâches supplémentaires disponibles sur cve_tasks_3k_compressed sur Hugging Face (archive compressée en raison des limites de taille), avec 18.8k traces d'agents pour l'entraînement de Abacus-cve-v1.1.

🚀 Résultats d'entraînement

Le fine-tuning sur les traces CVE-Factory produit des améliorations spectaculaires sur les benchmarks de sécurité. Qwen3-32B atteint une amélioration de ~6.8× sur LiveCVEBench, de ~4.2× sur PatchEval (5.66% → 23.58%), et montre même des gains significatifs sur Terminal-Bench (12.50% → 28.75%) — démontrant une forte généralisation inter-tâches.

Modèle	LiveCVEBench	PatchEval	Terminal-Bench	Moy.
Qwen3-32B (base)	5.29	5.66	12.50	7.82
Abacus-cve (Notre)	35.79	23.58	28.75	29.37

Qwen3-Coder-30B	10.58	9.91	13.75	11.41
Qwen3-Coder-480B	19.58	19.34	36.25	25.06
MiniMax-M2	24.87	19.34	37.50	27.24
Claude Sonnet 4	20.11	22.64	33.75	25.50
Claude Sonnet 4.5	34.39	28.77	45.00	36.05
Claude Opus 4.5	41.27	32.08	48.75	40.70

Avec seulement 4k traces, Abacus-cve (32B) surpasse Qwen3-Coder-480B, MiniMax-M2 et Claude Sonnet 4, se rapprochant du niveau de Claude Sonnet 4.5 sur les tâches de sécurité.

NOUVEAU : Abacus-cve-v1.1 entraîné sur 18.8k traces obtient des gains supplémentaires (+3.83 sur LiveCVEBench, +2.38 sur PatchEval). Voir cve_train_v1.1 pour les données d'entraînement étendues.

CVE-Factory

Populaires