Skip to content
KitploitKITPLOIT
ToolsBlog
Log in
Einreichen
ToolsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
aegis-audio-defense — Verteidigungsframework, das audio-sprachliche Modelle eingefroren hält und ein Risiko-Gate in der mittleren Schicht sowie Sicherheitsadapter in späten Schichten hinzufügt, um Audio-Jailbreaks bei der Inferenz zu blockieren. | Kitploit
Tools/GitHubGitHub/azzzzliao/aegis-audio-defense
DefensivwerkzeugeSchwachstellenanalyseMaschinelles LernenPapers & ForschungKI-SicherheitAdversarial-Angriff
GitHubazzzzliao/aegis-audio-defense

aegis-audio-defense

Verteidigungsframework, das audio-sprachliche Modelle eingefroren hält und ein Risiko-Gate in der mittleren Schicht sowie Sicherheitsadapter in späten Schichten hinzufügt, um Audio-Jailbreaks bei der Inferenz zu blockieren.

Teilen
Repository anzeigen
96vor 1 MonatNoch nicht geprüft

AEGIS: Audio-Endogenous Guarding über interne Signale gegen Jailbreaks großer Audio-Sprachmodelle

arXiv License

Eingereicht bei ICASSP 2027.

AEGIS hält das Ziel-Audio-Sprachmodell eingefroren und fügt ein Risiko-Gate in einer mittleren Schicht hinzu, das bedingt Sicherheitsadapter in späten Schichten ansteuert, mit geschlossener Regelschleife zur Skalierung während der Inferenz.

Inhalt

SeiteWas darin enthalten ist
MethodeDie Lücke zwischen Risiko und Verweigerung, das Gate und die Adapter, die Trainingsverlustfunktion, die geschlossene Regelschleife.
ErgebnisseDie Tabellen des Papers: sechs Modelle, drei Benchmarks, die Ablation und der Verteidigungsvergleich.
Analysen über das Paper hinausDie Lücke zwischen Risiko und Verweigerung in den anderen fünf Modellen, das Verhalten des Gates, Repräsentationen, die vollständige Ablationstabelle.
DatenWoher jeder Datensatz stammt und wie die Manifeste aufgebaut sind.
Ein Modell hinzufügenAEGIS auf ein anderes LALM portieren, indem ein Adapter geschrieben wird.

Auf dieser Seite: Repository-Aufbau · Einrichtung · Daten · AEGIS ausführen · Protokoll · Ablationen · Tests · Zitation

Repository-Aufbau

aegis/                        defense runtime; every script runs from any directory
  model_registry.py           ModelAdapter interface, registry, Qwen2-Audio and Phi-4 adapters
  adapters_gemma_voxtral.py   Gemma 4 E4B-it and Voxtral-Small-24B adapters
  adapters_ultravox_vita.py   Ultravox v0.5 and VITA-1.5 adapters
  train_gate_lora.py          joint training of the risk gate and the safety adapters
  run_defense.py              gated inference with closed-loop scaling (--score-only: gate scores)
  run_model.py                undefended generation
  judge.py                    Llama-Guard-3-8B safety judge
  refusal.py                  refusal regex for the over-refusal metric
  extract_hidden.py, analysis/  hidden-state probes for layer selection
scripts/
  prepare_data.py             downloaded datasets -> manifests (+ in-domain test splits)
  run_baseline.sh             step 0: undefended responses, judgments, training files
  run_aegis.sh                steps 1-4 for one protocol (PROTOCOL=indomain or lobo)
  run_ablation.sh             the Full and Always-on ablations
  models.sh                   per-model gate layer, intervention layers, prompt mode
  build_trainsets.py, calibrate_threshold.py, summarize.py
data/splits/                  in-domain train/test ids used in the paper
docs/                         method, results, analyses, porting guide
tests/                        CPU tests of the evaluation protocol

Einrichtung

pip install -r requirements.txt

Jedes Modell benötigt eine Transformers-Version, die es laden kann. Die Upstreams sind sich uneinig, daher haben wir eine Umgebung pro Modellfamilie verwendet:

MODELBasismodellHugging-Face-ID (Override-Variable)Gate-SchichtInterventionsschichtenVerwendete Transformers
gemma4_e4b_itGemma 4 E4B ITgoogle/gemma-4-E4B-it (AEGIS_GEMMA4_PATH)2125–415.7.0.dev0
phi4_mmPhi-4-multimodalmicrosoft/Phi-4-multimodal-instruct (AEGIS_PHI4_MM_PATH)1519–315.7.0.dev0
vita_15VITA-1.5VITA-MLLM/VITA-1.5 (AEGIS_VITA_PATH)1519–274.43.4
qwen2_audioQwen2-Audio-7B-InstructQwen/Qwen2-Audio-7B-Instruct (AEGIS_QWEN2_AUDIO_PATH)1519–31≥ 4.45
ultravox_v05Ultravox v0.5 (Llama-3.1-8B)fixie-ai/ultravox-v0_5-llama-3_1-8b (AEGIS_ULTRAVOX_PATH)1519–314.48.1
voxtral_smallVoxtral Small 24Bmistralai/Voxtral-Small-24B-2507 (AEGIS_VOXTRAL_PATH)2428–394.57.6
  • Modelle werden standardmäßig vom Hub geladen. Für den Offline-Betrieb die Override-Variable auf einen lokalen Snapshot zeigen lassen.
  • Llama-Guard-3-8B, Gemma 4 und das Llama-3.1-Backbone, das Ultravox herunterlädt, sind auf dem Hub gated. Akzeptiere deren Lizenzen und führe huggingface-cli login aus, oder setze GUARD und AEGIS_LLAMA31_PATH auf lokale Kopien.
  • VITA-1.5 benötigt seinen GitHub-Code: klone https://github.com/VITA-MLLM/VITA und setze AEGIS_VITA_REPO auf den Checkout (Standard: external/VITA).
  • Hardware: Eine 48-GB-GPU reicht für die meisten Modelle. Das Training von Gemma 4 benötigt eine einzelne Karte mit mindestens ~40 GB, da der Loss mit 262k-Vokabular nicht gut shardet. Voxtral Small benötigt zwei 48-GB-Karten (DEVICE=auto shardet das Modell; das Gate und die Adapter folgen den Schichten, an die sie anknüpfen). Qwen2-Audio und Phi-4 profitieren ebenfalls von DEVICE=auto bei den langen AJail-Clips.

Daten

Lade die fünf Datensätze wie in data/README.md beschrieben herunter und erstelle dann die Manifeste:

python scripts/prepare_data.py --data-root data --out-dir data/manifests

Das Skript prüft die im Paper verwendeten Zeilenzahlen: AJail 1.490, JALM 946, SACRED 1.364, XSTest 250, Benign_train 215. Außerdem schreibt es die In-Domain-Test-Splits (718 / 499 / 683 Zeilen) aus den ID-Listen in data/splits/.

AEGIS ausführen

Für jedes Modell (PY ist das Python der Umgebung des jeweiligen Modells; JUDGE_PY kann auf eine andere Umgebung für Llama Guard verweisen):

MODEL=gemma4_e4b_it PY=python DEVICE=cuda:0 bash scripts/run_baseline.sh                  # step 0
MODEL=gemma4_e4b_it PROTOCOL=indomain PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh   # in-domain
MODEL=gemma4_e4b_it PROTOCOL=lobo     PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh   # LOBO

Jede Phase ist wiederaufnehmbar; führe nach einer Unterbrechung denselben Befehl erneut aus. Die Ausgaben werden in runs/<model>/ geschrieben:

baseline/                        undefended responses; <bench>_judged.jsonl = Llama Guard labels
train/train_{indomain,lobo}_<bench>.jsonl
<protocol>/<bench>/adapter/      router_head.pt, late_adapters.pt, config.json
<protocol>/<bench>/scores/       gate scores on XSTest and on the evaluation set
<protocol>/<bench>/threshold.json
<protocol>/<bench>/defended/     defended responses and their judgments
<protocol>/summary.json          unsafe rate, over-refusal, gate AUROC per benchmark

Protokoll

Tool herunterladen

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

Noch keine Beliebtheitsdaten.

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →