Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
FuzzingBrain-Bench — Ein Benchmark für LLM-gesteuerte Fehlererkennung: 77 Herausforderungen in 43 Open-Source-Projekten (C/C++/Java). | Kitploit
Tools/GitHubGitHub/fuzzingbrain/fuzzingbrain-bench
Dynamische Analyse (Sandboxing)SchwachstellenanalyseFuzzingLernen & BildungKI-SicherheitLabs & Praxis
GitHubfuzzingbrain/fuzzingbrain-bench

FuzzingBrain-Bench

Ein Benchmark für LLM-gesteuerte Fehlererkennung: 77 Herausforderungen in 43 Open-Source-Projekten (C/C++/Java).

Teilen
Repository anzeigenWebseite
93101vor 15 TagenNoch nicht geprüft

FuzzingBrain Bench

Ein Benchmark für LLM-gesteuerte Schwachstellenreproduktion bei 77 echten Zero-Day-Bugs in 43 Open-Source-Projekten (C / C++ / Java).

Jede Challenge gibt dem Agenten nur den Fuzz-Harness (das Ziel) und den Projektquellcode in der verwundbaren Revision — keinen Patch, keinen Fix-Commit, keine Zielzeile. Der Agent muss eine Eingabe finden, die unter dem Sanitizer erneut einen Fehler auslöst. Jede Bewertung ist deterministisch (kein LLM-as-Judge) und erfolgt im Image und offline: Der Kandidat läuft durch den offiziellen, mit Sanitizer instrumentierten Harness, der in den Challenge-Container eingebaut ist, und der Lauf wird anhand der unterschiedlichen Abstürze bewertet, die der Agent ausgelöst hat. Nichts verlässt die Maschine und kein Dienst muss laufen.

ChallengesProjekteSprachenBewerter
77 End-to-End43C · C++ · Javadeterministisch — im Image, offline

Nichts in den Images oder diesem Repository verrät, worin ein Bug besteht — die Challenges werden durch neutrale Aliasnamen benannt (<project>-NN, z. B. avro-03), und der Lösungsschlüssel (PoC, erwarteter Fehler, fester Build) ist in keinem von beiden enthalten: Er verbleibt beim Maintainer. Alle 77 durchsuchen: tools/sealed/CHALLENGES.md.


Schnellstart

1. Einrichtung

git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench

python3 -m venv .venv && source .venv/bin/activate   # recommended (and required on
                                                     # Debian/Ubuntu, PEP 668)
pip install -e .                              # needs Python ≥ 3.10 and Docker

# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF

fb-bench list                                 # the 77 challenges (by alias)
fb-bench models                               # supported models + which keys are loaded

(./.env wird automatisch gelesen; ein einfaches export ANTHROPIC_API_KEY=... funktioniert ebenfalls.)

Führen Sie in jeder neuen Shell erneut source .venv/bin/activate aus. Oder überspringen Sie die venv mit pip install --break-system-packages -e . (nicht empfohlen).

fb-bench run lädt das öffentliche Challenge-Image herunter, steuert die Agent-Schleife auf dem Host (durch Aufruf Ihrer Modell-API) und bewertet jeden Kandidaten innerhalb dieses Images — kein Netzwerk, nichts zu erreichen. Es werden nur Docker + Ihr Modellschlüssel benötigt, und ein Lauf bewertet die verschiedenen Abstürze, die der Agent gefunden hat — die Identität eines Absturzes ist sein Sanitizer-Fehlertyp plus seine obersten Stack-Frames, sodass derselbe Fehler, der zwanzig Mal auftritt, nur einmal zählt.

Das Standard---arm api benötigt nichts über das oben Genannte hinaus. Die Backends --arm codex und --arm claudecode benötigen zusätzliche Hersteller-CLIs — optional, die separat installiert werden (niemals Teil von pip install -e .); siehe §4.

2. Eine Challenge mit einem Modell ausführen

# Claude family  (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5

# GPT family
fb-bench run avro-03 --model gpt-5.5

# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview

# DeepSeek family  (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash

Modelle: claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 · gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash · deepseek-v4-pro · deepseek-v4-flash (jede Katalog-ID funktioniert über --model; siehe fb-bench models).

3. Viele ausführen — derselbe Befehl, einer oder viele

fb-bench run nimmt einen Bug oder viele, ein Modell oder viele. Ein einzelner Lauf ist nur eine Matrix der Größe eins, daher gibt es keinen separaten "Sweep"-Befehl:

# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100

# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4

# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe

# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only

<bugs> ist ein Alias, eine durch Kommas getrennte Liste oder all; --model ist eine ID, eine durch Kommas getrennte Liste, default-lineup oder all. Die Ergebnisse landen in output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, destilliertes traj.md); am Ende wird eine Rangliste ausgegeben. --output akzeptiert einen bloßen Namen (verschachtelt unter output/) oder einen Pfad (wird unverändert verwendet). Jeder Lauf erhält seinen eigenen Ordner: Lässt man --output weg, landet er in output/run_<timestamp>; gibt man einen bereits existierenden Ordner an, verzweigt ein frischer Lauf zu <name>_<timestamp>, anstatt in ihn fortzusetzen — sodass zwei Läufe niemals Ergebnisse teilen (--report-only ist der einzige Leser, der einen Ordner direkt öffnet).

4. Agent-Modi — gleicher run, wähle das Backend mit --arm

Die drei Agent-Backends teilen sich einen Einstiegspunkt. --arm wählt aus, welches die Challenge steuert; alles andere (<bugs>, --jobs, --samples, --output, der Ordner pro Lauf, die Rangliste) ist über alle Arme hinweg identisch.

fb-bench run avro-03 --model gpt-5.5            # --arm api (default): provider model
fb-bench run avro-03 --arm codex               # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub   # Claude Code CLI
fb-bench run all     --arm codex --jobs 4      # whole corpus, batched
  • --arm codex steuert OpenAI's codex exec über den Bench-MCP-Server. --model legt das Codex-Modell fest (Standard gpt-5.5), gepinnt über seine config.toml.
  • --arm claudecode steuert die Claude Code CLI. --model wählt das Claude- Modell (sonnet/opus/haiku).

Beide Vendor-Arms akzeptieren --auth {api,sub}: api = der Provider-API-Schlüssel (OPENAI_API_KEY / ANTHROPIC_API_KEY, pay-go, kein Throttling), sub = eine Subscription-Anmeldung (codex: ein ChatGPT-Plus/Pro/Business/Edu/Enterprise-Plan; claudecode: claude.ai OAuth). Standard ist auto — bevorzuge api, wenn der API-Schlüssel vorhanden ist, andernfalls falle auf sub zurück.

Optional — installiere die Vendor-CLI für den Arm, den du verwendest

Dies sind optionale Extras und werden nicht durch pip install -e . installiert. Der Standard---arm api benötigt sie nie. Installiere nur die CLI, deren Arm du ausführen möchtest (beide benötigen Node):

# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
#   --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
#   --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
#   ChatGPT account can't use the codex models):
codex login                                  # sign in with your ChatGPT plan

# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
#   --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
#   --auth sub: one-time claude.ai OAuth login
claude

Die Aufgabe ist immer blind

Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    591
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    481
  • 3

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    389
  • 4

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools für Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    332
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Das System der Handlung für KI-native Cybersicherheit – wo Absicht zu gesteuerter Ausführung wird, Beweise zu operativem Gedächtnis werden und jeder Einsatz den nächsten verbessert.

    255
  • 6

    antifox

    antifox-ai/antifox

    KI-Multi-Agenten-Plattform für autonome Penetrationstests, die Recon, Angriffsflächen-Erkennung, Exploit-Validierung und evidenzbasierte Berichtserstellung durchführt.

    247

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →