Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
SMT — Jenseits des Prompts: Jailbreaking von funktionsaufrufenden LLMs mittels simulierter Moderationsspuren | Kitploit
Tools/GitHubGitHub/liujlong27/smt
SchwachstellenanalysePapers & ForschungLernen & BildungRed TeamingKI-SicherheitAdversarial-Angriff
GitHubliujlong27/smt

SMT

Jenseits des Prompts: Jailbreaking von funktionsaufrufenden LLMs mittels simulierter Moderationsspuren

Repository anzeigen
7148vor 1 MonatNoch nicht geprüft
Teilen

Beyond the Prompt: Jailbreaking von Function-Calling-LLMs mittels simulierter Moderation Traces

arXiv Zenodo DOI

Einführung

Dieses Repository enthält die offizielle Implementierung unseres Papers:

Beyond the Prompt: Jailbreaking von Function-Calling-LLMs mittels simulierter Moderation Traces

Wenn Sie dieses Repository für Ihre Forschung nützlich finden, ziehen Sie bitte in Betracht, unser Paper zu zitieren. Fragen, Fehlerberichte und Reproduzierbarkeitsprobleme sind über GitHub Issues willkommen.

Überblick

framework

Repository-Struktur

.
├── install.sh                      # Installation script for setting up the environment and dependencies
├── main.py                         # Main evaluation entry point
├── demo.ipynb                      # Minimal working example
├── requirements.txt                # Python dependencies
├── data/
│   ├── SafeBench-Tiny.txt          # Default benchmark
│   └── JailbreakBench.txt          # Optional benchmark
├── figures/
│   ├── pipline.jpg                 # Framework overview
│   ├── main_res1.jpg               # Main result figure
│   └── main_res2.jpg               # Main result figure
├── utils/
│   ├── config.example.json         # Example API configuration
│   ├── eval_h_cot.py               # External evaluation utility
│   ├── fake_tool_call_noharmful.json
│   ├── moderation_generator.py
│   └── moderation_validator.py
└── output/                         # Checkpoints and evaluation results

Erste Schritte

1. Umgebung erstellen

Wir stellen ein Installationsskript bereit, das automatisch die Python-Umgebung einrichtet und alle erforderlichen Abhängigkeiten installiert.

chmod +x install.sh
./install.sh

Nach Abschluss der Installation aktivieren Sie die virtuelle Umgebung:

source .venv/bin/activate

Alternativ können Sie die Umgebung manuell mit Conda erstellen:

conda create -n SMT python=3.12
conda activate SMT
pip install -r requirements.txt

2. API-Zugriff konfigurieren

Erstellen Sie utils/config.json aus der Beispieldatei:

cp utils/config.example.json utils/config.json

Eine minimale Konfigurationsdatei sollte diesem Format folgen:

{
  "llm_api": {
    "base_url": "https://your-api-endpoint/v1",
    "api_key": "YOUR_API_KEY"
  },
  "local": {
    "base_url": "http://localhost:1234/v1",
    "api_key": "YOUR_LOCAL_API_KEY"
  }
}

Die beiden Einträge entsprechen:

  • llm_api: der standardmäßige OpenAI-kompatible API-Endpunkt für kommerzielle Modelle.
  • local: ein lokaler OpenAI-kompatibler Inferenz-Endpunkt, der für ausgewählte lokale Modelle verwendet wird.

3. Ein Benchmark und Zielmodell auswählen

Öffnen Sie main.py und ändern Sie die Experimentkonfiguration am Anfang der Datei:

DATA_FILE = "SafeBench-Tiny.txt"
# DATA_FILE = "JailbreakBench.txt"

TARGET_MODELS = [
    "gpt-4o-2024-11-20",
    # "gpt-5.4-2026-03-05",
    # "qwen3-max-2026-01-23",
    # "gemini-3-flash-preview",
    # "deepseek-v4-flash",
    # "claude-sonnet-4-5-20250929", 
]

Verwenden Sie Modellbezeichner, die für den in utils/config.json konfigurierten API-Endpunkt gültig sind.

4. Evaluierungsparameter konfigurieren

Die Standardparameter sind in main.py definiert:

MAX_THREADS = 1
MAX_ROUNDS = 3
TURNS_NUM = 3
RESET = False

Ihre Bedeutungen sind:

ParameterBeschreibung
MAX_THREADSMaximale Anzahl gleichzeitiger Worker pro Zielmodell
MAX_ROUNDSMaximale Anzahl äußerer Wiederholungsrunden
TURNS_NUMMaximale Anzahl mehrstufiger Interaktionsversuche pro Sample
RESETOb ein vorhandener Checkpoint vor der Evaluierung verworfen wird

Festlegen:

RESET = True

um einen neuen Lauf für das ausgewählte Modell zu starten. Belassen Sie es bei False, um von einem vorhandenen Checkpoint fortzusetzen.

5. Die Evaluierung ausführen

python main.py

Für jedes Zielmodell führt das Skript automatisch Folgendes aus:

  1. Lädt den ausgewählten Benchmark aus data/.
  2. Führt SMT gegen alle ausstehenden Samples aus.
  3. Speichert den Zwischenfortschritt nach jedem Sample.
  4. Setzt unterbrochene Experimente aus gespeicherten Checkpoints fort.
  5. Meldet aggregierte Metriken nach der Auswertung.

Ausgabeformat

Die Ergebnisse werden gespeichert unter:

output/attack_checkpoint_<dataset>_<model>.json

Zum Beispiel:

output/attack_checkpoint_SafeBench-Tiny_gpt-4o-2024-11-20.json

Jedes Benchmark-Element wird mit Feldern gespeichert, die den folgenden ähneln:

{
  "target_question": {
    "success": true,
    "queries": 3,
    "payload": "...",
    "score": 60
  }
}

Das Skript meldet die folgenden Metriken:

MetrikBeschreibung
ASRAttack Success Rate (Angriffserfolgsrate): Prozentsatz der Stichproben, deren Punktzahl den konfigurierten Schwellenwert erreicht
Avg.QDurchschnittliche Anzahl der pro Stichprobe verwendeten API-Abfragen
Avg.ScoreDurchschnittliche externe Bewertungspunktzahl über alle Stichproben

Ungefährer Ressourcenbedarf

Die wichtigsten SMT-Experimente sind API-basiert und erfordern keine lokale GPU.

  • CPU / Arbeitsspeicher: Ein Standard-Laptop oder Desktop-Computer ist für die Ausführung der Evaluierungsskripte ausreichend.
  • GPU: Für Experimente mit kommerziellen LLM-APIs nicht erforderlich.
  • Netzwerk: Eine stabile Internetverbindung ist erforderlich.
  • API-Zugriff: Gültige API-Anmeldedaten sind für die ausgewählten Zielmodelle und das Bewertungsmodell erforderlich.
  • Abfragebudget: Mit den Standardwerten MAX_ROUNDS = 3 und TURNS_NUM = 3 verwendet SMT höchstens 9 Abfragen an das Zielmodell pro Benchmark-Stichprobe vor dem vorzeitigen Abbruch.
  • Laufzeit: Die Laufzeit hängt hauptsächlich vom ausgewählten Modell, der Benchmark-Größe, der API-Latenz und den Ratenbegrenzungen ab. Eine vollständige Evaluierung kann mehrere Stunden dauern.
  • API-Kosten: Hängen vom Modellanbieter und der aktuellen API-Preisgestaltung ab.

Für lokal bereitgestellte Modelle hängen die zusätzlichen GPU- und Arbeitsspeicheranforderungen vom ausgewählten Modell und dem Inferenz-Backend ab.

Hinweise zur Reproduzierbarkeit

Kommerzielle LLM-APIs werden kontinuierlich aktualisiert. Selbst bei Verwendung desselben Modell-Alias können die Ergebnisse aufgrund von anbieterseitigen Modellaktualisierungen, Routing-Verhalten, Änderungen der Sicherheitsrichtlinien, Dekodierungseinstellungen oder vorübergehenden API-Fehlern variieren.

Zur Verbesserung der Reproduzierbarkeit:

  • Bevorzugen Sie datierte Modell-Snapshots, wann immer verfügbar.
  • Halten Sie die Benchmark-Dateien unverändert.
  • Zeichnen Sie Anbieter, Endpunkt, Modell-ID, Datum und Parameter für jeden Lauf auf.
  • Verwenden Sie denselben Schwellenwert und dasselbe Abfragebudget wie im Paper angegeben.
Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    772
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    505
  • 3

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    420
  • 4

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools für Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Das System der Handlung für KI-native Cybersicherheit – wo Absicht zu gesteuerter Ausführung wird, Beweise zu operativem Gedächtnis werden und jeder Einsatz den nächsten verbessert.

    260
  • 6

    antifox

    antifox-ai/antifox

    KI-Multi-Agenten-Plattform für autonome Penetrationstests, die Recon, Angriffsflächen-Erkennung, Exploit-Validierung und evidenzbasierte Berichtserstellung durchführt.

    251

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →