Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
Learning-to-Detect — Erkennt unbekannte Jailbreak-Angriffe in großen Vision-Sprachmodellen mithilfe von Hidden-State-Analyse und Autoencodern, mit Trainings- und Evaluierungspipelines für robuste Sicherheitsüberwachung. | Kitploit
Tools/GitHubGitHub/shuangliangx/learning-to-detect
DefensivwerkzeugeSchwachstellenanalyseMaschinelles LernenKI-SicherheitAnomalieerkennung
GitHubshuangliangx/learning-to-detect

Learning-to-Detect

Erkennt unbekannte Jailbreak-Angriffe in großen Vision-Sprachmodellen mithilfe von Hidden-State-Analyse und Autoencodern, mit Trainings- und Evaluierungspipelines für robuste Sicherheitsüberwachung.

Teilen
Repository anzeigen
194vor 2 MonatenNoch nicht geprüft

Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models

Offizielle Implementierung von „Learning to Detect Unknown Jailbreak Attacks in Large Vision-Language Models.“

Dieses Repository enthält den Code zur Datenverarbeitung, zur Extraktion verborgener Zustände, zum Training des Klassifikators, zum Autoencoder für Sicherheitsmuster und zur Evaluierung, die im Projekt verwendet werden.

Diese Veröffentlichung stellt die Implementierung für LLaVA-v1.6-Vicuna-7B bereit. Die Anpassung der Pipeline an Qwen2.5-VL oder CogVLM erfordert modellspezifische Eingabeverarbeitung und separat trainierte Detektoren.

Inhalt

  • Modelle
  • Repository-Struktur
  • Erkennungs-Pipeline
  • Datensätze

Modelle

Die Experimente verwenden die folgenden Basismodelle:

  • LLaVA-v1.6-Vicuna-7B, ein großes Vision-Language-Modell auf Basis von Vicuna.
  • Llama Guard 3 8B, ein Safety-Guardrail-Modell, das zur Bewertung generierter Antworten verwendet wird.

Laden Sie die Modellgewichte separat herunter und legen Sie sie unter folgendem Pfad ab:

asset/weights/

Repository-Struktur

.
├── asset/
│   ├── advbench/                 # AdvBench images
│   ├── harmbench/                # HarmBench DirectRequest images
│   ├── GQA/                      # GQA images
│   ├── HiddenStates/             # Extracted hidden states
│   └── weights/                  # Model weights (not included)
├── Benchmarks/                   # Evaluation benchmark metadata
├── vicuna/
│   ├── instructions/
│   │   ├── advbench.json
│   │   ├── GQA.json
│   │   └── harmbench.json        # HarmBench DirectRequest metadata
│   ├── qa.py
│   ├── qa-baseline.py
│   └── train.py
├── autoencoder.py
├── llama3_guard.py
└── test.py

Erkennungspipeline

Einige Skripte verwenden Pfade relativ zu ihrem eigenen Arbeitsverzeichnis. Führen Sie die Befehle aus den unten angegebenen Verzeichnissen aus.

1. Das Vision-Language-Modell abfragen

Fragen Sie das Modell mit den unsicheren Quelldaten (AdvBench) und den sicheren Quelldaten (GQA) ab:

cd vicuna
python qa.py --dataset advbench
python qa.py --dataset GQA
cd ..

Die HarmBench-DirectRequest-Daten können über dieselbe Schnittstelle abgefragt werden:

cd vicuna
python qa.py --dataset harmbench
cd ..

2. Modellantworten bewerten und aufteilen

Bewerte die generierten AdvBench-Antworten mit Llama Guard 3:

python llama3_guard.py --file vicuna/instructions/advbench.json

Erstelle die AdvBench- und GQA-Trainings-/Test-Splits:

cd vicuna/instructions
python process.py
cd ../..

3. Hidden States extrahieren

Extrahieren Sie die Hidden States für die Evaluierungs-Benchmarks, die derzeit in vicuna/qa-baseline.py konfiguriert sind:

cd vicuna
python qa-baseline.py
cd ..

4. MSCAV-Klassifikatoren trainieren und testen

cd vicuna
python train.py --train
python train.py --test
cd ..

5. Den Safety-Pattern-Auto-Encoder (SPAE) trainieren

python autoencoder.py

6. Erkennungsleistung bewerten

python test.py

Datensätze

Trainings- und Anhangdaten

DatensatzRolleMetadatenBilder
AdvBenchUnsichere Quelldatenvicuna/instructions/advbench.jsonasset/advbench/
GQASichere Quelldatenvicuna/instructions/GQA.jsonasset/GQA/
HarmBench (DirectRequest)Im Anhang berichtetes Experiment mit unsicherer Quellevicuna/instructions/harmbench.jsonasset/harmbench/

Das enthaltene HarmBench-DirectRequest-Subset umfasst 320 Bild-Anfrage-Paare. Die Bildpfade in harmbench.json sind relativ zum Repository und folgen derselben Layout-Konvention wie AdvBench.

Evaluierungs-Benchmarks

Laden Sie die Evaluierungsbilder von ModelScope: detecpolo/Learning-to-Detect herunter und kopieren Sie das heruntergeladene Verzeichnis asset/ in das Repository-Stammverzeichnis. Die passenden Benchmark-JSON-Dateien sind in diesem Repository unter Benchmarks/ bereitgestellt.

Bitte lesen Sie Abschnitt 4.1 und die Anhänge unseres Papers für Datensatzquellen, Angriffskonstruktion und experimentelle Einstellungen.

Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    576
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    477
  • 3

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    388
  • 4

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools für Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    330
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Das System der Handlung für KI-native Cybersicherheit – wo Absicht zu gesteuerter Ausführung wird, Beweise zu operativem Gedächtnis werden und jeder Einsatz den nächsten verbessert.

    255
  • 6

    antifox

    antifox-ai/antifox

    KI-Multi-Agenten-Plattform für autonome Penetrationstests, die Recon, Angriffsflächen-Erkennung, Exploit-Validierung und evidenzbasierte Berichtserstellung durchführt.

    247

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →