Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
BenchProctor — Corpus de référence SAST ouvert : 2 938 418 cas équilibrés, 11 langages, 21 cibles de frameworks, 242 catégories émises et 231 identifiants CWE distincts. Évaluez la sortie SARIF 2.1.0 avec le TPR, le FPR et le J de Youden. | Kitploit
Outils/GitHubGitHub/theauditortool/benchproctor
Analyse StatiqueScanners de Vulnérabilités WebAnalyse des VulnérabilitésAnalyse de CodeApprentissage et Éducation
GitHubtheauditortool/benchproctor

BenchProctor

Corpus de référence SAST ouvert : 2 938 418 cas équilibrés, 11 langages, 21 cibles de frameworks, 242 catégories émises et 231 identifiants CWE distincts. Évaluez la sortie SARIF 2.1.0 avec le TPR, le FPR et le J de Youden.

Voir le dépôtSite web
133il y a 1 jourPas encore vérifié
Partager

BenchProctor

Vérité de référence pour la SAST. Un benchmark ouvert avec une vérité de référence lisible par machine et des scoreurs SARIF déterministes, pour mesurer avec quelle précision un outil d'analyse statique identifie les vraies vulnérabilités dans le code du benchmark et à quelle fréquence il signale du code sûr.

benchproctor.com · blog · Apache-2.0

Statut de la version

La version 2026.11.16 est la version actuelle. Il s'agit d'une version sélectionnée :

  • 2 142 cas autonomes dans 11 langages couvrant 21 frameworks cibles, exactement 1 071 vulnérables et 1 071 sûrs ;
  • 60 applications multi-services dans cinq langages, contenant 860 flux étiquetés.

Les versions reprennent sous cette forme sélectionnée. Chaque version est un petit tirage frais : difficulté facile et moyenne uniquement, sur une liste fixe de frameworks et de classes de faiblesses. Le corpus plus vaste dont elle est tirée n'est pas publié. Voir Ce que cette version ne contient pas.

La version 2026.07.22 est retirée. Un audit a révélé des défauts d'étiquetage et de réalisme dans les familles à partir desquelles elle a été construite. Ne rapportez pas de scores contre celle-ci. Voir Corrections et contestations de la vérité de référence.

Un outil SAST n'est digne de confiance qu'à hauteur de ses performances mesurées, et mesurer ces performances nécessite une vérité de référence. BenchProctor fournit des cas étiquetés vulnerable ou safe, afin que vous puissiez scorer une sortie SARIF 2.1.0 compatible et calculer son taux de vrais positifs, son taux de faux positifs et le J de Youden.

Démarrage rapide

# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java

# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif

# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
  ./benchproctor-java/spring/expectedresults-2026.11.16.csv

# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J

Le scorer récupère le CWE de chaque constatation à partir du ruleId SARIF, des properties ou tags du résultat ou de la règle (par exemple external/cwe/cwe-089), ou des taxa CWE. Cela prend en charge de nombreux encodages SARIF courants sans configuration. Si votre outil n'émet aucun CWE, ajoutez --match-mode filename (tout constat sur un fichier vulnérable compte ; cela récompense le sur-signalement, donc préférez la valeur par défaut). Le même score_sarif.py est fourni dans chaque bundle autonome. Les applications ont leur propre scorer ; voir Applications.

Pourquoi un autre benchmark

De nombreux benchmarks SAST publics existants présentent une ou plusieurs de ces limitations structurelles :

  • Cas fixes et immuables. Un ensemble statique de cas rédigés par des humains peut encourager, au fil du temps, un réglage spécifique au benchmark, rendant les résultats moins révélateurs de la généralisation à du code inédit.
  • Étiquettes encodées dans les noms de fichiers. Lorsqu'un test se trouve à l'emplacement sqli/Test01729_true_positive.java, un scanner peut obtenir un bon score en faisant correspondre le chemin plutôt qu'en analysant le code.
  • Couverture structurelle limitée. De nombreuses suites se concentrent sur un seul langage et sur des constatations dans un fichier unique, sans tester un flux qui traverse une frontière de service.

BenchProctor réduit la mémorisation de cas exacts et la fuite d'étiquettes par construction, couvre 11 langages et ajoute des applications multi-services dont les flux traversent une frontière de processus.

Contenu de cette version

Version2026.11.16
Cas autonomes2 142 : 1 071 vulnérables et 1 071 sûrs
Langages11 : Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++
Cibles de frameworks21 (voir le tableau ci-dessous)
Classes de faiblesses22, mappées à 22 identifiants CWE distincts
Échantillonnage3 cas vulnérables + 3 cas sûrs pour chaque paire framework et classe : 357 paires
Applications60 applications à deux services sur 4 graphes de services, en TypeScript, JavaScript, Python, Java et C++
Flux d'applications860 flux étiquetés : 234 vulnérables et 626 sûrs
Difficultéfacile et moyenne

Chaque paire framework et classe est exactement équilibrée. Selon le J de Youden, un outil qui signale tout obtient un score de 0, car ses taux de vrais positifs et de faux positifs sont tous deux de 100 %. Certains cas utilisent des fichiers d'exécution partagés ou des fichiers compagnons requis par leur langage ou framework ; ces fichiers ne sont pas notés séparément.

Ce que cette version ne contient pas

Il s'agit d'une version sélectionnée, et elle est délibérément restreinte. Elle ne contient pas :

  • Des cas construits autour d'une protection inefficace. Dans cette version, un cas vulnérable n'a aucune protection, et un cas sûr en a une qui fonctionne. Un outil qui considère la présence d'une protection quelconque comme preuve de sûreté n'est pas pénalisé ici.
  • Les motifs de propagation les plus profonds. Les flux utilisent uniquement une propagation directe et de profondeur moyenne.
  • Des frameworks, classes de faiblesses et formes d'applications au-delà des listes de cette page.

Interprétez un score sur cette version comme une vérification du plancher sur des classes largement connues, et non comme une évaluation complète.

Comment elle est construite

  • Combinatoire, et non écrite à la main. Chaque classe modélise un comportement pertinent pour la sécurité à l'aide des composants applicables de quatre axes : où l'entrée non fiable pénètre (source), comment elle circule (propagateur), ce qui la neutraliserait (assainisseur ou garde-fou), et l'opération dangereuse qu'elle atteint (puits). Un cas vulnérable omet le garde-fou ; son homologue sûr en applique un efficace. Chaque cas émis est contraint à un chemin valide et analysable en utilisant de véritables API de langage et de framework.
  • Synthétique par conception. Le corpus isole intentionnellement les propriétés de sécurité pertinentes pour la notation. Les cas individuels utilisent de vraies API mais ne sont pas destinés à représenter des fonctionnalités de production complètes.
  • Anti-fuite par construction. Les fichiers émis ne contiennent aucun commentaire, aucune balise CWE, aucun nom de catégorie ni identifiant porteur d'étiquette. Les identifiants de fichiers sont mélangés, de sorte que les noms de fichiers n'encodent ni la classe ni l'étiquette d'un cas. Les clés de réponse CSV sont la seule source publiée d'étiquettes.
  • Rotation des graines. Chaque version est tirée avec sa propre graine. Une nouvelle version conserve les mêmes langages, frameworks, classes, échantillonnage et difficulté, et émet des combinaisons et identifiants différents. Cela limite l'utilité de la mémorisation des fichiers exacts et des noms de fichiers et est conçu pour soutenir la comparabilité des scores entre versions. La généralisation structurelle entre versions reste possible et est attendue.

Langages et frameworks

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 La boîte à outils OSINT ultime : graphe d'enquête, notation de confiance, familles d'alias, carte, chronologie et rapports. 49 modules, plus de 400 sites, aucune clé API requise.

    491
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Application d'exécution en un clic GhostLock (CVE-2026-43499)

    462
  • 3

    opencti

    opencti-platform/opencti

    Plateforme ouverte de renseignement sur les cybermenaces

    345
  • 4

    ARTEX

    baarai/artex

    Plateforme autonome de tests d'intrusion multi-agents basée sur des LLM, avec agents planificateur/ouvrier, graphes d'actifs et d'exploration, enregistrement du trafic MITM et retest des vulnérabilités.

    340
  • 5

    redforge

    cybersecurity91/redforge

    Boîte à outils red team côté navigateur avec 102 outils hors ligne pour la reconnaissance, la génération de payloads, les attaques par identifiants, la cryptographie, l'encodage et le reporting d'engagement.

    306
  • 6

    estorides

    grisuno/estorides

    Agrège plus de 99 sources OSINT gratuites en parallèle, résout les entités dans un graphe de connaissances et exporte en STIX 2.1, MISP ou GraphML avec une analyse assistée par LLM.

    292

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →