Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
CyBiasBench — Benchmarking von Bias in LLM-Agenten für Cyberangriffsszenarien | Kitploit
Tools/GitHubGitHub/harry24k/cybiasbench
SchwachstellenanalyseWebanwendungs-ExploitationPenetrationstestsMaschinelles LernenPapers & ForschungLernen & BildungKuratierte RessourcenKI-SicherheitLabs & Praxis
GitHubharry24k/cybiasbench

CyBiasBench

5vor 25 TagenNoch nicht geprüft

Benchmarking von Bias in LLM-Agenten für Cyberangriffsszenarien

Repository anzeigen
Teilen

CyBiasBench

Ein Benchmark für Verhaltensverzerrung bei LLM-Offensive-Security-Agenten. Jeder Datensatz fasst die Sitzung eines Agenten gegen eine absichtlich verwundbare Zielanwendung zusammen und erfasst nicht nur, ob Angriffe erfolgreich waren, sondern auch wie der Agent Angriffsfamilien auswählte, sequenzierte und an ihnen festhielt.

Status: öffentliche Veröffentlichung begleitend zum NeurIPS 2026 Evaluations & Datasets Track Paper. Paper: https://arxiv.org/abs/2605.07830. Interaktives Ergebnis-Dashboard: https://trustworthyai.co.kr/CyBiasBench/. Datensatz auf Hugging Face: https://huggingface.co/datasets/taeng0204/CyBiasBench.

Was enthalten ist

  • 5 Agenten — claude, codex, gemini, kimi, glm
  • 3 verwundbare Zielanwendungen — juice-shop, mlflow, vuln-shop
  • Zwei Einstellungen:
    • Bias-Beobachtung (freie Wahl): 4 Prompt-Bedingungen × 3 Wiederholungen = 180 Sitzungen. Die Bedingungen kombinieren Prompt-Anleitung (guided / unguided) mit Ausgabestruktur (structured / unstructured).
    • Bias-Injektion (angeforderte Familie): 10 Angriffsfamilien × 3 Wiederholungen = 450 Sitzungen. Jede Sitzung wird aufgefordert, sich auf eine bestimmte Familie zu konzentrieren (SQLi, CMDi, SSRF, IDOR, …).
  • 11 Spalten pro Zeile in der Bias-Beobachtungseinstellung (Anzahlen, Sitzungs- ASR, Entropie, am häufigsten gewählte Familie, Selection CR1, Gesamt-Token). 13 Spalten pro Zeile in der Bias-Injektionseinstellung (Compliance, ASR der angeforderten Familie, gleiche Anzahlen).
  • Begleitende Langform-Tabellen mit Aufschlüsselungen pro (Sitzung, Angriffsfamilie).
  • Bereinigte Traces auf Anfrageebene (Schema aus Tabelle 5 des Papers): 19.116 Zeilen (Beobachtung) + 258.019 Zeilen (Injektion) von HTTP-Anfragen mit Angriffs- familien-Labels, Klassifikator-Regelbezeichnern, CAPEC-/CWE-Zuordnungen und Erfolgsflags sowie Anfragereihenfolge pro Sitzung. Bodies, Header, absolute Zeitstempel und feingranulare Zeitmessungen werden entfernt.

Das Paper analysiert 10 Angriffsfamilien (sqli, xss, cmdi, path_traversal, auth_bypass, idor, ssrf, csrf, file_upload, info_disclosure), ausgewählt mittels CAPEC- + CWE- + OWASP-WSTG-Analyse als die Familien, die am direktesten gegen die drei Zielanwendungen testbar sind. Der Klassifikator auf Trace-Ebene erbt ein elftes Label (deserialization) aus der OWASP-CRS-Regelfamilie 944; es ist nie ein angefordertes Ziel und macht <0,1 % der Trace-Zeilen aus. Siehe schema/glossary.md §"Attack-family scope" für vollständige Details.

Gesamtveröffentlichung: 630 aggregierte Datensätze + 277.135 Trace-Zeilen ≈ 48 MB.

Interpretation und Grenzen

Diese Messungen beschreiben fünf Snapshots eingesetzter Agenten auf drei Web-Zielen, nicht stabile Modell-Rankings. Die Zuteilung spiegelt das Modell, den System-Prompt, die CLI, die Tools und die Zielinteraktion wider. Verfügbarkeit von Schwachstellen, Auffindbarkeit, Ausführungsschwierigkeit und Anfragekosten beeinflussen ebenfalls die Familienanteile; das Design identifiziert keine intrinsische Präferenz und trennt diese Faktoren nicht kausal.

Die Analyse des Sitzungs-Bootstrappings unter den ursprünglichen automatischen Labels findet keine Verbesserung des aggregierten mittleren Sitzungs-ASR unter Steuerung. Sie belegt keine zuverlässige Verringerung für jeden Agenten. Alternative Einheiten zur Anfragezählung bewahren die Trennung zwischen Agenten, während sie deren Größenordnung verändern. Der Entscheidungswert bei größerem Maßstab, die Überlegenheit gegenüber einfachen Diversitäts-Heuristiken und die Generalisierung auf ungesehene Ziele bleiben offen. Siehe HOW_TO_REPRODUCE.md für die reproduzierbaren Analysen.

Schnellstart

git clone https://github.com/Harry24k/CyBiasBench.git
cd CyBiasBench
pip install -e .          # loader: pandas + pyarrow
pip install -e '.[jsd]'   # add matplotlib + scipy + numpy for re-analysis

python -c "
from cybiasbench import load_bias_observation, load_bias_injection
obs = load_bias_observation()
inj = load_bias_injection()
print(obs.wide.shape, inj.wide.shape)               # (180, 11) (450, 13)
print(obs.wide.groupby('agent').session_asr.mean()) # mean session ASR per agent
"

Oder laden Sie CSV / Parquet direkt:

import pandas as pd
obs = pd.read_parquet("data/bias_observation_records.parquet")

Das gleiche Release ist auch auf Hugging Face verfügbar. Mit installiertem datasets (pip install datasets):

from datasets import load_dataset
obs = load_dataset("taeng0204/CyBiasBench", "bias_observation_records",
                   split="test", revision="v1.0.0")

Jede der sechs Tabellen ist eine separate Konfiguration. Der test-Split enthält die vollständige Tabelle; er bezeichnet keine zurückgehaltene Partition.

Reproduktion: siehe HOW_TO_REPRODUCE.md für die zweistufige Reproduktionsanleitung (R1 Re-Analyse aus den veröffentlichten Traces; R3 vollständiges Re-Experiment über benchmark/).

Layout

Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    546
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    377
  • 4

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools für Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    324
  • 5

    estorides

    grisuno/estorides

    Aggregiert 99+ kostenlose OSINT-Quellen parallel, löst Entitäten in einen Knowledge Graph auf und exportiert STIX 2.1, MISP oder GraphML mit LLM-gestützter Analyse.

    269
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Das System der Handlung für KI-native Cybersicherheit – wo Absicht zu gesteuerter Ausführung wird, Beweise zu operativem Gedächtnis werden und jeder Einsatz den nächsten verbessert.

    252

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →