Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
BenchProctor — Offener SAST-Benchmark-Korpus: 2.938.418 ausgewogene Fälle, 11 Sprachen, 21 Framework-Ziele, 242 ausgegebene Kategorien und 231 verschiedene CWE-IDs. Bewerte die SARIF-2.1.0-Ausgabe mit TPR, FPR und Youden's J. | Kitploit
Tools/GitHubGitHub/theauditortool/benchproctor
Statische AnalyseWeb-SchwachstellenscannerSchwachstellenanalyseCode-AnalyseLernen & Bildung
GitHubtheauditortool/benchproctor

BenchProctor

Offener SAST-Benchmark-Korpus: 2.938.418 ausgewogene Fälle, 11 Sprachen, 21 Framework-Ziele, 242 ausgegebene Kategorien und 231 verschiedene CWE-IDs. Bewerte die SARIF-2.1.0-Ausgabe mit TPR, FPR und Youden's J.

Repository anzeigenWebseite
133vor 1 TagNoch nicht geprüft
Teilen

BenchProctor

Ground Truth für SAST. Ein offener Benchmark mit maschinenlesbarer Ground Truth und deterministischen SARIF-Scorern, um zu messen, wie genau ein statisches Analysetool echte Schwachstellen in Benchmark-Code identifiziert und wie oft es sicheren Code fälschlich markiert.

benchproctor.com · Blog · Apache-2.0

Release-Status

Release 2026.11.16 ist das aktuelle Release. Es ist ein kuratiertes Release:

  • 2.142 eigenständige Fälle in 11 Sprachen über 21 Framework-Ziele hinweg, exakt 1.071 verwundbar und 1.071 sicher;
  • 60 Multi-Service-Anwendungen in fünf Sprachen mit 860 gelabelten Flows.

Releases werden in dieser kuratierten Form fortgesetzt. Jedes Release ist eine kleine, frische Stichprobe: nur einfache und mittlere Schwierigkeit, auf einer festen Liste von Frameworks und Schwachstellenklassen. Der größere Korpus, aus dem sie gezogen wird, wird nicht veröffentlicht. Siehe Was dieses Release nicht enthält.

Release 2026.07.22 ist zurückgezogen. Eine Prüfung ergab Label- und Realismus-Defekte in den Familien, aus denen es aufgebaut war. Melden Sie keine Scores dagegen. Siehe Korrekturen und Streitfälle zur Ground Truth.

Ein SAST-Tool ist nur so vertrauenswürdig wie seine gemessene Leistung, und diese Leistung zu messen erfordert Ground Truth. BenchProctor stellt Fälle bereit, die als vulnerable oder safe gelabelt sind, sodass Sie kompatible SARIF-2.1.0-Ausgaben bewerten und deren True-Positive-Rate, False-Positive-Rate und Youden's J berechnen können.

Schnellstart

# 1. extract one language bundle
unzip Benchmarks/standalone/benchproctor-java-2026.11.16.zip -d benchproctor-java

# 2. scan one framework's testcode and export SARIF 2.1.0
your-tool scan ./benchproctor-java/spring/testcode --format sarif -o results.sarif

# 3. score against its answer key (standard-library Python, zero dependencies)
python ./benchproctor-java/score_sarif.py results.sarif \
  ./benchproctor-java/spring/expectedresults-2026.11.16.csv

# 4. read category-averaged and flat-aggregate TPR, FPR, and Youden's J

Der Scorer ermittelt für jeden Fund die CWE aus der SARIF-ruleId, den properties oder tags des Ergebnisses oder der Regel (zum Beispiel external/cwe/cwe-089) oder aus CWE-taxa. Dies unterstützt viele gängige SARIF-Kodierungen ohne Konfiguration. Wenn Ihr Tool keine CWE ausgibt, fügen Sie --match-mode filename hinzu (jeder Fund in einer verwundbaren Datei zählt; dies belohnt Übermarkierung, daher ist der Standard vorzuziehen). Dasselbe score_sarif.py ist in jedem Standalone-Bundle enthalten. Die Anwendungen haben ihren eigenen Scorer; siehe Applications.

Warum ein weiterer Benchmark

Viele bestehende öffentliche SAST-Benchmarks weisen eine oder mehrere dieser strukturellen Einschränkungen auf:

  • Feste und unveränderliche Fälle. Ein statischer Satz von handgeschriebenen Fällen kann mit der Zeit eine benchmarkspezifische Optimierung begünstigen, wodurch die Ergebnisse weniger aussagekräftig für die Generalisierung auf unbekannten Code sind.
  • Labels in Dateinamen kodiert. Wenn ein Test unter sqli/Test01729_true_positive.java liegt, kann ein Scanner gut abschneiden, indem er den Pfad abgleicht, statt den Code zu analysieren.
  • Begrenzte strukturelle Abdeckung. Viele Suiten konzentrieren sich auf eine Sprache und Funde in einzelnen Dateien, ohne einen Datenfluss zu testen, der eine Dienstgrenze überschreitet.

BenchProctor reduziert das Auswendiglernen exakter Fälle und Label-Leckage durch Konstruktion, deckt 11 Sprachen ab und ergänzt Multi-Service-Anwendungen, deren Datenflüsse eine Prozessgrenze überschreiten.

Was in diesem Release enthalten ist

Release2026.11.16
Standalone-Fälle2.142: 1.071 verwundbar und 1.071 sicher
Sprachen11: Java, Python, Go, Rust, TypeScript, JavaScript, PHP, Ruby, Bash, C, C++
Framework-Ziele21 (siehe die Tabelle unten)
Schwachstellenklassen22, abgebildet auf 22 verschiedene CWE-IDs
Stichprobenziehung3 verwundbare + 3 sichere Fälle für jedes Framework- und Klassenpaar: 357 Paare
Anwendungen60 Zwei-Service-Anwendungen über 4 Service-Graphen, in TypeScript, JavaScript, Python, Java und C++
Anwendungsflüsse860 gelabelte Flüsse: 234 verwundbar und 626 sicher
Schwierigkeiteinfach und mittel

Jedes Framework- und Klassenpaar ist exakt ausbalanciert. Unter Youden's J erzielt ein Tool, das alles markiert, einen Wert von 0, da seine Richtig-Positiv- und Falsch-Positiv-Raten beide 100 % betragen. Einige Fälle verwenden gemeinsame Laufzeit- oder Begleitdateien, die von ihrer Sprache oder ihrem Framework benötigt werden; diese Dateien werden nicht separat bewertet.

Was dieses Release nicht enthält

Dies ist ein kuratiertes Release, und es ist bewusst eng gefasst. Es enthält nicht:

  • Fälle, die um eine unwirksame Schutzmaßnahme herum aufgebaut sind. In diesem Release hat ein verwundbarer Fall keine Schutzmaßnahme, und ein sicherer Fall hat eine, die funktioniert. Ein Tool, das das Vorhandensein irgendeiner Schutzmaßnahme als Beweis für Sicherheit behandelt, wird hier nicht bestraft.
  • Die tiefsten Propagationsmuster. Flüsse verwenden nur direkte und mitteltiefe Propagation.
  • Frameworks, Schwachstellenklassen und Anwendungsformen jenseits der Listen auf dieser Seite.

Lesen Sie eine Bewertung zu diesem Release als eine Mindestprüfung für allgemein bekannte Klassen, nicht als vollständige Bewertung.

Wie es aufgebaut ist

  • Kombinatorisch, nicht handgeschrieben. Jede Klasse modelliert sicherheitsrelevantes Verhalten anhand der anwendbaren Komponenten von vier Achsen: wo nicht vertrauenswürdige Eingaben eintreten (Source), wie sie sich fortbewegen (Propagator), was sie neutralisieren würde (Sanitizer oder Schutzmaßnahme) und die gefährliche Operation, die sie erreicht (Sink). Ein verwundbarer Fall lässt die Schutzmaßnahme weg; sein sicherer Gegenpart wendet eine wirksame an. Jeder ausgegebene Fall ist auf einen gültigen, analysierbaren Pfad beschränkt, wobei echte Sprach- und Framework-APIs verwendet werden.
  • Synthetisch by Design. Das Korpus isoliert bewusst bewertungsrelevante Sicherheitseigenschaften. Einzelne Fälle verwenden echte APIs, sind aber nicht als vollständige Produktionsfunktionen gedacht.
  • Anti-Leakage durch Konstruktion. Ausgegebene Dateien enthalten keine Kommentare, keine CWE-Tags, keine Kategorienamen oder labeltragende Bezeichner. Datei-IDs werden gemischt, sodass Dateinamen weder die Klasse noch das Label eines Falls kodieren. Die CSV-Antwortschlüssel sind die einzige veröffentlichte Quelle für Labels.
  • Seed-Rotation. Jede Version wird mit ihrem eigenen Seed gezogen. Eine neue Version behält dieselben Sprachen, Frameworks, Klassen, Sampling- und Schwierigkeitsgrade bei und gibt andere Kombinationen und Bezeichner aus. Dies begrenzt den Nutzen des Auswendiglernens exakter Dateien und Dateinamen und ist darauf ausgelegt, die Vergleichbarkeit der Ergebnisse über Versionen hinweg zu unterstützen. Strukturelle Generalisierung über Versionen hinweg bleibt möglich und wird erwartet.

Sprachen & Frameworks

Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    487
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    459
  • 3

    opencti

    opencti-platform/opencti

    Offene Plattform für Cyber-Bedrohungsinformationen

    352
  • 4

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    335
  • 5

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools für Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    304
  • 6

    estorides

    grisuno/estorides

    Aggregiert 99+ kostenlose OSINT-Quellen parallel, löst Entitäten in einen Knowledge Graph auf und exportiert STIX 2.1, MISP oder GraphML mit LLM-gestützter Analyse.

    290

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →