Skip to content
KitploitKITPLOIT
OutilsExploitsBlog
Log in
Soumettre
OutilsExploitsBlog
Soumettre

Outils de Hacking, PenTest et Cybersécurité pour votre Arsenal de Sécurité !

Kitploit est un répertoire d'outils de hacking, de cybersécurité et de pentesting. Découvrez les dernières mises à jour des projets pour trouver des vulnérabilités, analyser des systèmes, automatiser les tests et renforcer votre sécurité.

FluxContactConfidentialité© 2026 Kitploit

Répertoire d'outils

Catégories

Voir toutes les catégories
Loading categories
FuzzingBrain-Bench — Un benchmark pour la découverte de bugs pilotée par LLM : 77 défis répartis sur 43 projets open source (C/C++/Java). | Kitploit
Outils/GitHubGitHub/fuzzingbrain/fuzzingbrain-bench
Analyse Dynamique (Sandboxing)Analyse des VulnérabilitésFuzzingApprentissage et ÉducationSécurité de l'IALabs et Pratique
GitHubfuzzingbrain/fuzzingbrain-bench

FuzzingBrain-Bench

Un benchmark pour la découverte de bugs pilotée par LLM : 77 défis répartis sur 43 projets open source (C/C++/Java).

Voir le dépôtSite web
93101il y a 15 joursPas encore vérifié
Partager

FuzzingBrain Bench

Un benchmark pour la reproduction de vulnérabilités pilotée par LLM sur 77 véritables bugs zero-day à travers 43 projets open-source (C / C++ / Java).

Chaque défi ne fournit à l'agent que le fuzz harness (la cible) et le code source du projet à la révision vulnérable — pas de patch, pas de commit de correction, pas de ligne cible. L'agent doit découvrir une entrée qui redéclenche un défaut sous le sanitizer. Chaque note est déterministe (pas de LLM-as-judge) et s'effectue dans l'image et hors ligne : le candidat s'exécute via le harness officiel instrumenté par sanitizer intégré au conteneur du défi, et l'exécution est notée selon les crashes distincts déclenchés par l'agent. Rien ne quitte la machine et aucun service n'a besoin d'être actif.

DéfisProjetsLangagesÉvaluateur
77 de bout en bout43C · C++ · Javadéterministe — dans l'image, hors ligne

Rien dans les images ni dans ce dépôt ne révèle ce qu'est un bug — les défis sont nommés par alias neutre (<project>-NN, par ex. avro-03), et la clé de réponse (PoC, défaut attendu, build corrigé) n'y figure pas : elle reste chez le mainteneur. Parcourir les 77 : tools/sealed/CHALLENGES.md.


Démarrage rapide

1. Installation

git clone https://github.com/fuzzingbrain/FuzzingBrain-Bench
cd FuzzingBrain-Bench

python3 -m venv .venv && source .venv/bin/activate   # recommended (and required on
                                                     # Debian/Ubuntu, PEP 668)
pip install -e .                              # needs Python ≥ 3.10 and Docker

# put your model key(s) in ./.env — auto-loaded on every run, no need to export
cat > .env <<'EOF'
ANTHROPIC_API_KEY=sk-ant-...
OPENAI_API_KEY=sk-...
GEMINI_API_KEY=...
DEEPSEEK_API_KEY=sk-...
EOF

fb-bench list                                 # the 77 challenges (by alias)
fb-bench models                               # supported models + which keys are loaded

(./.env est lu automatiquement ; un simple export ANTHROPIC_API_KEY=... fonctionne aussi.)

Réexécutez source .venv/bin/activate dans chaque nouveau shell. Ou passez le venv avec pip install --break-system-packages -e . (non recommandé).

fb-bench run récupère l'image de défi publique, pilote la boucle de l'agent sur l'hôte (en appelant l'API de votre modèle), et note chaque candidat à l'intérieur de cette image — aucun réseau, rien à joindre. Seuls Docker + votre clé de modèle sont requis, et une exécution note les plantages distincts que l'agent a trouvés — l'identité d'un plantage est son type de faute de sanitizer plus ses frames de pile supérieures, donc la même faute rencontrée vingt fois ne compte qu'une fois.

Le --arm api par défaut ne nécessite rien de plus que ce qui précède. Les backends --arm codex et --arm claudecode nécessitent des CLI de fournisseur supplémentaires — facultatifs, installés séparément (jamais inclus dans pip install -e .) ; voir §4.

2. Exécuter un défi avec un modèle

# Claude family  (haiku is cheapest/fastest; swap in opus/sonnet for harder runs)
fb-bench run avro-03 --model claude-haiku-4-5

# GPT family
fb-bench run avro-03 --model gpt-5.5

# Gemini family
fb-bench run avro-03 --model gemini-3.1-pro-preview

# DeepSeek family  (OpenAI-compatible endpoint; needs DEEPSEEK_API_KEY)
fb-bench run avro-03 --model deepseek-v4-flash

Modèles : claude-haiku-4-5 · claude-sonnet-4-6 · claude-opus-4-8 · gpt-5.5 · gpt-5.4 · gpt-5 · gemini-3.1-pro-preview · gemini-2.5-flash · deepseek-v4-pro · deepseek-v4-flash (n'importe quel id de catalogue fonctionne via --model ; voir fb-bench models).

3. Exécuter plusieurs fois — même commande, un ou plusieurs

fb-bench run prend un bug ou plusieurs, un modèle ou plusieurs. Une exécution unique n'est qu'une matrice de taille un, il n'y a donc pas de commande « sweep » distincte :

# recommended full run: one model over the whole corpus, named output, PoCs
# preserved (the default) for later inspection. The agent keeps hunting past its
# first crash unless you pass --stop-on-crash
fb-bench run all --model claude-haiku-4-5 --output run1 --max-turns 100

# the curated cross-model roster, all challenges, 4 cells in parallel
fb-bench run all --model default-lineup --output sweep1 --jobs 4

# a couple of bugs, 3 samples each
fb-bench run avro-03,jq-01 --model gpt-5.5 --samples 3 --output probe

# just re-print the leaderboard from an existing run
fb-bench run all --model claude-haiku-4-5 --output run1 --report-only

<bugs> est un alias, une liste séparée par des virgules, ou all ; --model est un id, une liste séparée par des virgules, default-lineup, ou all. Les résultats sont enregistrés dans output/<name>/<bug>/<model>/seed-N/ (score.json, episode.jsonl, transcript.jsonl, cost.json, traj.md distillé) ; un classement est affiché à la fin. --output prend un nom simple (imbriqué sous output/) ou un chemin (utilisé tel quel). Chaque exécution obtient son propre dossier : omettez --output et il atterrit dans output/run_<timestamp> ; nommez un dossier qui existe déjà et une nouvelle exécution bifurque vers <name>_<timestamp> plutôt que de reprendre dans celui-ci — ainsi deux exécutions ne partagent jamais de résultats (--report-only est le seul lecteur, ouvrant un dossier sur place).

4. Modes d'agent — même run, choisissez le backend avec --arm

Les trois backends d'agent partagent une seule entrée. --arm sélectionne celui qui pilote le défi ; tout le reste (<bugs>, --jobs, --samples, --output, le dossier par exécution, le classement) est identique entre les arms.

fb-bench run avro-03 --model gpt-5.5            # --arm api (default): provider model
fb-bench run avro-03 --arm codex               # OpenAI codex CLI (default gpt-5.5)
fb-bench run avro-03 --arm claudecode --model sonnet --auth sub   # Claude Code CLI
fb-bench run all     --arm codex --jobs 4      # whole corpus, batched
  • --arm codex pilote codex exec d'OpenAI via le serveur MCP du banc d'essai. --model définit le modèle codex (par défaut gpt-5.5), épinglé via son config.toml.
  • --arm claudecode pilote la CLI Claude Code. --model sélectionne le modèle claude (sonnet/opus/haiku).

Les deux bras fournisseurs acceptent --auth {api,sub} : api = la clé API du fournisseur (OPENAI_API_KEY / ANTHROPIC_API_KEY, paiement à l'usage, sans limitation), sub = une connexion par abonnement (codex : un forfait ChatGPT Plus/Pro/Business/Edu/Enterprise ; claudecode : OAuth claude.ai). La valeur par défaut est auto — préférer api lorsque la clé API est présente, sinon revenir à sub.

Facultatif — installer la CLI du fournisseur pour le bras utilisé

Ce sont des extras facultatifs et ils ne sont pas installés par pip install -e .. Le --arm api par défaut n'en a jamais besoin. N'installez que la CLI dont vous prévoyez d'utiliser le bras (les deux nécessitent Node) :

# --arm codex → OpenAI Codex CLI. Authenticate once, matching the --auth you use:
npm install -g @openai/codex
#   --auth api (default when OPENAI_API_KEY is set):
printenv OPENAI_API_KEY | codex login --with-api-key
#   --auth sub (needs a ChatGPT Plus/Pro/Business/Edu/Enterprise plan; a free
#   ChatGPT account can't use the codex models):
codex login                                  # sign in with your ChatGPT plan

# --arm claudecode → Claude Code CLI.
npm install -g @anthropic-ai/claude-code
#   --auth api (default when ANTHROPIC_API_KEY is set): nothing to do
#   --auth sub: one-time claude.ai OAuth login
claude

La tâche est toujours à l'aveugle

Télécharger l’outil

Populaires

Voir tout →

Découvrez les outils les plus utilisés par notre communauté.

Pas encore de données de popularité.

Explorer tous les outils

Parcourez notre collection d'outils

Voir tous les outils →