Skip to content
KitploitKITPLOIT
도구블로그
Log in
제출
도구블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
도구/GitHubGitHub/azzzzliao/aegis-audio-defense
Defensive ToolsVulnerability AnalysisMachine LearningPapers & ResearchAI SecurityAdversarial Attack
GitHubazzzzliao/aegis-audio-defense

aegis-audio-defense

오디오-언어 모델을 동결 상태로 유지하고, 추론 시점에서 오디오 탈옥을 차단하기 위해 중간 계층 위험 게이트와 후반 계층 안전 어댑터를 추가하는 방어 프레임워크입니다.

저장소 보기
961개월 전아직 검토되지 않음
공유

AEGIS: 대규모 오디오-언어 모델 탈옥에 대항하는 내부 신호 기반 오디오 내생적 가드

arXiv License

ICASSP 2027에 제출됨.

AEGIS는 대상 오디오-언어 모델을 동결된 상태로 유지하고, 중간 계층 위험 게이트를 추가하여 후기 계층 안전 어댑터를 조건부로 구동하며, 추론 시 폐쇄 루프 스케일링을 적용합니다.

목차

페이지내용
방법위험-거부 격차, 게이트와 어댑터, 학습 손실, 폐쇄 루프.
결과논문의 표: 6개 모델, 3개 벤치마크, 절제 실험, 방어 비교.
논문 외 분석나머지 5개 모델의 위험-거부 격차, 게이트 동작, 표현, 전체 절제 실험 표.
데이터각 데이터셋의 출처와 매니페스트 구성 방식.
모델 추가어댑터 하나를 작성하여 AEGIS를 다른 LALM에 이식하기.

이 페이지에서: 저장소 구조 · 설정 · 데이터 · AEGIS 실행 · 프로토콜 · 절제 실험 · 테스트 · 인용

저장소 구조

aegis/                        defense runtime; every script runs from any directory
  model_registry.py           ModelAdapter interface, registry, Qwen2-Audio and Phi-4 adapters
  adapters_gemma_voxtral.py   Gemma 4 E4B-it and Voxtral-Small-24B adapters
  adapters_ultravox_vita.py   Ultravox v0.5 and VITA-1.5 adapters
  train_gate_lora.py          joint training of the risk gate and the safety adapters
  run_defense.py              gated inference with closed-loop scaling (--score-only: gate scores)
  run_model.py                undefended generation
  judge.py                    Llama-Guard-3-8B safety judge
  refusal.py                  refusal regex for the over-refusal metric
  extract_hidden.py, analysis/  hidden-state probes for layer selection
scripts/
  prepare_data.py             downloaded datasets -> manifests (+ in-domain test splits)
  run_baseline.sh             step 0: undefended responses, judgments, training files
  run_aegis.sh                steps 1-4 for one protocol (PROTOCOL=indomain or lobo)
  run_ablation.sh             the Full and Always-on ablations
  models.sh                   per-model gate layer, intervention layers, prompt mode
  build_trainsets.py, calibrate_threshold.py, summarize.py
data/splits/                  in-domain train/test ids used in the paper
docs/                         method, results, analyses, porting guide
tests/                        CPU tests of the evaluation protocol

설정

pip install -r requirements.txt

각 모델은 이를 로드할 수 있는 Transformers 버전이 필요합니다. 업스트림 간의 요구 사항이 서로 다르기 때문에, 모델 패밀리별로 하나의 환경을 사용했습니다:

MODEL기본 모델Hugging Face id (재정의 변수)게이트 레이어개입 레이어사용된 Transformers
gemma4_e4b_itGemma 4 E4B ITgoogle/gemma-4-E4B-it (AEGIS_GEMMA4_PATH)2125–415.7.0.dev0
phi4_mmPhi-4-multimodalmicrosoft/Phi-4-multimodal-instruct (AEGIS_PHI4_MM_PATH)1519–315.7.0.dev0
vita_15VITA-1.5VITA-MLLM/VITA-1.5 (AEGIS_VITA_PATH)1519–274.43.4
qwen2_audioQwen2-Audio-7B-InstructQwen/Qwen2-Audio-7B-Instruct (AEGIS_QWEN2_AUDIO_PATH)1519–31≥ 4.45
ultravox_v05Ultravox v0.5 (Llama-3.1-8B)fixie-ai/ultravox-v0_5-llama-3_1-8b (AEGIS_ULTRAVOX_PATH)1519–314.48.1
voxtral_smallVoxtral Small 24Bmistralai/Voxtral-Small-24B-2507 (AEGIS_VOXTRAL_PATH)2428–394.57.6
  • 모델은 기본적으로 Hub에서 로드됩니다. 오프라인으로 실행하려면 재정의 변수를 로컬 스냅샷으로 지정하세요.
  • Llama-Guard-3-8B, Gemma 4, 그리고 Ultravox가 다운로드하는 Llama-3.1 백본은 Hub에서 게이트가 적용됩니다. 해당 라이선스에 동의하고 huggingface-cli login을 실행하거나, GUARD와 AEGIS_LLAMA31_PATH를 로컬 복사본으로 설정하세요.
  • VITA-1.5는 GitHub 코드가 필요합니다: https://github.com/VITA-MLLM/VITA 를 클론하고 AEGIS_VITA_REPO를 체크아웃 위치로 설정하세요 (기본값: external/VITA).
  • 하드웨어: 대부분의 모델에는 48 GB GPU 하나로 충분합니다. Gemma 4 학습은 262k 어휘 손실이 잘 샤딩되지 않기 때문에 최소 약 40 GB를 갖춘 단일 카드가 필요합니다. Voxtral Small은 48 GB 카드 두 장이 필요합니다 (DEVICE=auto가 모델을 샤딩하며, 게이트와 어댑터는 자신이 연결된 레이어를 따릅니다). Qwen2-Audio와 Phi-4도 긴 AJail 클립에서는 DEVICE=auto의 이점을 누립니다.

데이터

data/README.md에 설명된 대로 다섯 개의 데이터셋을 다운로드한 다음, 매니페스트를 빌드하세요:

python scripts/prepare_data.py --data-root data --out-dir data/manifests

스크립트는 논문에서 사용된 행 수를 확인합니다: AJail 1,490, JALM 946, SACRED 1,364, XSTest 250, Benign_train 215. 또한 data/splits/의 id 목록에서 도메인 내 테스트 분할(718 / 499 / 683행)을 기록합니다.

AEGIS 실행하기

각 모델에 대해 (PY는 해당 모델 환경의 Python이며, JUDGE_PY는 Llama Guard를 위해 다른 환경을 가리킬 수 있습니다):

MODEL=gemma4_e4b_it PY=python DEVICE=cuda:0 bash scripts/run_baseline.sh                  # step 0
MODEL=gemma4_e4b_it PROTOCOL=indomain PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh   # in-domain
MODEL=gemma4_e4b_it PROTOCOL=lobo     PY=python DEVICE=cuda:0 bash scripts/run_aegis.sh   # LOBO

모든 단계는 재개 가능하며, 중단된 후 동일한 명령을 다시 실행하면 됩니다. 출력은 runs/<model>/에 저장됩니다:

baseline/                        undefended responses; <bench>_judged.jsonl = Llama Guard labels
train/train_{indomain,lobo}_<bench>.jsonl
<protocol>/<bench>/adapter/      router_head.pt, late_adapters.pt, config.json
<protocol>/<bench>/scores/       gate scores on XSTest and on the evaluation set
<protocol>/<bench>/threshold.json
<protocol>/<bench>/defended/     defended responses and their judgments
<protocol>/summary.json          unsafe rate, over-refusal, gate AUROC per benchmark

프로토콜

  • 평가 설정. In-domain: AEGIS는 벤치마크의 train 분할로 학습되고, 해당 벤치마크의 held-out test 분할에서 평가되며, 벤치마크당 하나의 어댑터를 사용한다. 분할은 50/50, 시드 42이며, 동일한 요청의 변형들이 한쪽에만 남도록 프롬프트 기준으로 그룹화된다. id는 data/splits/에 있다. LOBO (leave one benchmark out): AEGIS는 나머지 두 벤치마크로 학습되고, 전체 held-out 벤치마크에서 평가된다. 두 설정 모두에서 평가 데이터는 임계값 선택에 참여하지 않으며, XSTest는 학습에 절대 사용되지 않는다.
  • 학습 데이터 (scripts/build_trainsets.py). 무해한 오디오는 Benign_train이며, 모델 자체의 무방비 응답을 타깃으로 사용한다. 유해해 보이지만 기준선에서 모델이 거부한 무해한 프롬프트는 제외된다. 유해 타깃은 일반적인 거부 템플릿이다. 유해 클립 수는 무해 클립 수와 같다. 시드 42.
  • 최적화. AdamW, 학습률 2e-4, 4 에포크, 그래디언트 누적 8, LoRA rank 16, λ_BCE = 1.0, λ_L1 = 0.01.
  • 프롬프트. Qwen2-Audio는 오디오만 받는다(PROMPT_MODE=native). 다른 모델들은 오디오와 하나의 고정된 텍스트 프롬프트를 함께 받는다. 게이트는 프롬프트에 의존하는 은닉 상태를 읽으므로, 어댑터는 학습된 프롬프트 모드에서만 유효하다.
  • 임계값 (scripts/calibrate_threshold.py). XSTest id를 정렬한 뒤 교대로 검증 절반과 테스트 절반으로 나눈다. 임계값은 검증 절반에서 추가된 과잉 거부가 최대 10%인 가장 작은 게이트 점수이며, 무방비 모델이 응답한 프롬프트를 기준으로 집계된다.
  • 폐쇄 루프. 거부 확률은 마지막 레이어에서 거부 시작 표현의 다음 토큰 확률을 합산한다. In-domain 실행은 다국어 시작 표현 목록(REFUSAL_PHRASE_SET=multi, run_aegis.sh에서 설정)을 사용하므로 비영어 거부도 집계된다.
  • 지표 (scripts/summarize.py): unsafe rate는 Llama-Guard-3-8B가 unsafe로 라벨링한 평가 행의 비율이고, over-refusal은 aegis/refusal.py와 일치하는 XSTest 응답의 비율로, 전체 250개 프롬프트와 테스트 절반에 대해 보고된다. gate AUROC는 공격을 양성, XSTest를 음성으로 하여 원시 게이트 점수를 사용한다.

절제 실험

MODEL=qwen2_audio VARIANT=full bash scripts/run_ablation.sh        # LoRA on all layers, no gate
MODEL=qwen2_audio VARIANT=always_on bash scripts/run_ablation.sh   # AEGIS layers, no gate

테스트

python -m unittest discover tests

인용

@misc{liao2026aegisaudioendogenousguarding,
      title={AEGIS: Audio Endogenous Guarding via Internal Signals Against Large Audio-Language Model Jailbreaks}, 
      author={Yu-Ling Liao and Tzu-Chin Chiu and Zong-You Chen and Chi-Lei Tsai and Shao-Yuan Lo},
      year={2026},
      eprint={2609.29287},
      archivePrefix={arXiv},
      primaryClass={cs.SD},
      url={https://arxiv.org/abs/2609.29287}, 
}

라이선스

코드는 MIT 라이선스에 따라 배포됩니다. 기본 모델(예: Gemma 4, Ultravox의 Llama 3.1, Llama-Guard-3-8B)과 벤치마크는 각자의 라이선스와 이용 약관을 유지합니다.

도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 궁극의 OSINT 툴킷: 조사 그래프, 신뢰도 점수 산정, 별칭 패밀리, 지도, 타임라인 및 보고서. 49개 모듈, 400개 이상 사이트, API 키 불필요.

    501
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # GhostLock 원탭 실행 앱 (CVE-2026-43499)

    467
  • 3

    ARTEX

    baarai/artex

    LLM 멀티 에이전트 자율 침투 테스트 플랫폼으로, 플래너/워커 에이전트, 자산 및 탐색 그래프, MITM 트래픽 기록, 취약점 재테스트 기능을 제공합니다.

    340
  • 4

    opencti

    opencti-platform/opencti

    오픈 사이버 위협 인텔리전스 플랫폼

    314
  • 5

    redforge

    cybersecurity91/redforge

    브라우저 측 레드 팀 툴킷으로, 정찰, 페이로드 생성, 자격 증명 공격, 암호화, 인코딩 및 참여 보고를 위한 102개의 오프라인 도구를 제공합니다.

    307
  • 6

    estorides

    grisuno/estorides

    99개 이상의 무료 OSINT 소스를 병렬로 집계하고, 엔티티를 지식 그래프로 해석하며, LLM 지원 분석과 함께 STIX 2.1, MISP 또는 GraphML로 내보냅니다.

    295

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →