Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
도구/GitHubGitHub/lzwhehe/benign-instruction-bench
Defensive ToolsVulnerability AnalysisMachine LearningPapers & ResearchLearning & EducationAI Security
GitHublzwhehe/benign-instruction-bench

benign-instruction-bench

LLM 에이전트 도구 출력에 대한 프롬프트 인젝션 탐지기 재평가 (논문 초안, 스크립트, 점수)

저장소 보기
10524일 전아직 검토되지 않음
공유

훈련한 테스트 통과하기

LLM 에이전트가 실제로 사용하는 곳에서 프롬프트 인젝션 탐지기를 재평가하기: 에이전트가 읽는 도구 출력에서.

팀들은 벤치마크 점수로 인젝션 탐지기를 선택한다. 우리는 그 점수들이 에이전트 내부에서의 동작을 예측하는지 확인하며, 대부분 벤치마크가 탐지기의 훈련 데이터에 얼마나 가까운지를 측정한다는 것을 발견한다.

발견 사항

15개의 탐지기(오픈 9개, Meta의 Prompt Guard 2를 포함한 라이선스 제한 6개)와 2개의 작업 인식 LLM 판정자, 2개의 에이전트 벤치마크(AgentDojo, tau-bench)와 BIPIA에서. 정상 도구 출력은 LLM 없이 각 벤치마크의 정답 도구 호출을 재생하여 얻는다. 탐지는 동일 벤치마크의 정상 출력에서 1% FPR을 주는 임계값에서의 TPR이다.

탐지기출시정상 도구 출력에서의 FPR (AgentDojo / tau-bench)탐지 AgentDojo탐지 tau-bench탐지 BIPIA
Horizon-Labs guard-base20260.0% / 0.7%83.1%100.0%37.7%
Wolf Defender20260.9% / 0.0%70.1%90.8%3.5%
Prompt Guard 2 (22M)20250.0% / 0.0%60.9%60.8%31.7%
Prompt Guard 2 (86M)20250.6% / 0.0%57.4%57.9%10.4%
Judge (Llama-3.1-8B)––51.9%78.3%8.3%
Prismor-1.5B20266.5% / 46.2%29.2%15.2%4.0%
Sheltron-68M202610.6% / 4.4%20.1%95.2%57.2%
PIGuard202529.5% / 11.0%1.6%52.7%95.1%
ProtectAI v2202430.1% / 66.9%0.5%10.1%0.7%

(15개 탐지기와 두 판정자 전부, AUROC 및 95% 작업 클러스터 부트스트랩 구간 포함: 논문의 표 2.)

  1. BIPIA 순위는 AgentDojo 순위와 기껏해야 약하게 관련된다(15개 탐지기에 대한 Kendall τ: 0.12, p = 0.559, 유의하지 않음; 부트스트랩 구간 0.05에서 0.23; 단일 탐지기를 제외하면 0.01에서 0.25, PIGuard 제외 시 0.25). 가장 큰 역전은 BIPIA의 분포로 훈련된 탐지기에서 나온다: BIPIA 선두(PIGuard)는 AgentDojo에서 15개 중 13위를 차지한다. 두 에이전트 벤치마크는 더 일치한다(τ = 0.39, p = 0.046); BIPIA 대 tau-bench는 τ = 0.31이다.
  2. 정상 도구 출력에서의 오탐률은 0.0%에서 93.1%까지이며 두 에이전트 벤치마크에서 일관된다(τ = 0.67, p = 0.0007).
  3. PIGuard의 BIPIA 점수는 암기된 공격 문자열에 의존하지 않으며 BIPIA의 분포로 훈련한 것과 일치한다: 그 훈련 분할에는 1,116개의 전체 BIPIA 입력이 포함되어 있다. 또한 62개의 InjecAgent 공격 중 53개를 보았지만, 짧은 프롬프트로만 보았다; tau-bench 도구 출력 내에서는 보았던 것과 보지 못한 InjecAgent 공격을 동일하게 탐지한다(52.1% 대 55.8%). 에이전트 스타일 입력으로 훈련된 Horizon-Labs는 두 에이전트 벤치마크 모두에서 선두를 차지한다; 그것도 두 번째로 좋은 탐지기도 AgentDojo와 독립적임을 입증할 수 없다.
  4. 작업 인식 7–8B 판정자는 1% FPR에서 AgentDojo에서 51.9%(Llama)와 59.0%(Qwen)에, tau-bench에서 78.3%와 54.3%에 도달하며, 최고의 전용 탐지기보다 낮다. PIGuard를 제외하면, 어떤 접근법도 BIPIA의 작업 무관 인젝션 중 39% 이상을 잡지 못한다.
  5. 직렬화 마크업을 제거하거나 입력 유형을 선언하면 기본 임계값 오탐이 최대 약 20배까지 낮아지지만, AgentDojo에서 1% FPR에서 PIGuard나 ProtectAI v2를 유용하게 만들지는 못한다.

모든 수치는 analysis/의 스크립트(compute_all.py, compute_many.py, compute_robust.py, compute_v4.py)에 의해 점수 파일에서 재생성된다; analysis/make_macros.py는 이를 논문이 읽는 LaTeX 매크로에 기록한다.

레이아웃

scripts/     build evaluation sets, score detectors and judges
analysis/    compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
             make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/     detector and judge scores used in the paper
paper/       LaTeX source, figures, compiled main.pdf

재현

pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh

릴리스된 점수에서 숫자와 그림만 다시 생성하려면 results/*.json을 작업 디렉터리에 복사하고, .jsonl 세트를 다시 빌드한 뒤(reproduce.sh의 1–3단계, CPU 전용, PYTHONHASHSEED=0 사용), 8단계의 분석 스크립트와 python analysis/make_tables.py && python analysis/make_figures.py를 실행하십시오.

견고성 및 비용 실험 (저널 버전):

  • analysis/compute_robust.py: 순위 전이에 대한 부트스트랩 구간 및 순열 검정; 홀드아웃 AgentDojo 스위트에서 보정된 임계값.
  • scripts/score_e6.py, analysis/compute_e6.py: 커뮤니티 벤치마크 buried-injections 설정에서의 Prompt Guard 2, 그리고 재빌드된 세트가 저장된 점수를 재현하는지 확인.
  • scripts/latency.py, analysis/compute_cost.py: GPU 및 CPU에서 도구 출력당 지연 시간과 메모리.
  • scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: 실제 에이전트(vLLM으로 서빙되는 Qwen2.5-7B)가 공격 없이 AgentDojo를 실행; 그 도구 호출은 모델 없이 재생되고 출력별로 비교됨.
  • scripts/check_revision.py: 저장된 점수를 생성한 Hugging Face 리비전 (Horizon-Labs는 2026-10-02에 가중치를 변경했으며, 저장된 점수는 리비전 af3c52e6a9d8임).

평가 데이터는 재배포되지 않고 공개 소스에서 재빌드됩니다: AgentDojo v1.2, tau-bench (MIT), InjecAgent 공격 (MIT), BIPIA (MIT), GitHub README (h1alexbel/github-readmes), AESLC, FineWeb-Edu. 일부 스크립트는 BIPIA와 PIGuard가 ~/agentsec/ 아래에 클론되어 있다고 가정합니다.

논문 빌드

paper/usenix-2020-09-xetex.sty는 tectonic/XeTeX로 컴파일되는 USENIX 스타일의 빌드 사본입니다. 제출 시에는 main.tex를 공식 usenix-2020-09.sty로 전환하고 pdflatex로 컴파일하십시오.

상태

arXiv에 프리프린트; 저널 버전 준비 중. 적응형 공격에 대해 평가되지 않음; 두 에이전트 벤치마크는 시뮬레이션이며 tau-bench의 주입 지점은 자체 설정임; 상용 API 탐지기는 포함되지 않음. 논문의 한계 섹션을 참조하십시오.

라이선스

코드, 분석 스크립트 및 점수 파일: MIT (LICENSE 참조). 타사 파일은 자체 조건을 유지합니다: USENIX LaTeX 스타일 (paper/usenix-2020-09*.sty) 및 스크립트가 다운로드하는 벤치마크와 탐지기 (AgentDojo, tau-bench, InjecAgent, BIPIA, 그리고 각 탐지기의 모델 라이선스).

도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 궁극의 OSINT 툴킷: 조사 그래프, 신뢰도 점수 산정, 별칭 패밀리, 지도, 타임라인 및 보고서. 49개 모듈, 400개 이상 사이트, API 키 불필요.

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # GhostLock 원탭 실행 앱 (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    LLM 멀티 에이전트 자율 침투 테스트 플랫폼으로, 플래너/워커 에이전트, 자산 및 탐색 그래프, MITM 트래픽 기록, 취약점 재테스트 기능을 제공합니다.

    405
  • 4

    redforge

    cybersecurity91/redforge

    브라우저 측 레드 팀 툴킷으로, 정찰, 페이로드 생성, 자격 증명 공격, 암호화, 인코딩 및 참여 보고를 위한 102개의 오프라인 도구를 제공합니다.

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI 네이티브 사이버보안을 위한 행동 체계—의도가 통제된 실행이 되고, 증거가 운영 메모리가 되며, 모든 운영이 다음 운영을 개선하는 곳.

    261
  • 6

    antifox

    antifox-ai/antifox

    정찰, 공격 표면 탐색, 익스플로잇 검증, 증거 기반 보고서 전달을 수행하는 AI 멀티 에이전트 자율 침투 테스트 플랫폼입니다.

    259

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →