Skip to content
KitploitKITPLOIT
उपकरणएक्सप्लॉइटब्लॉग
Log in
जमा करें
उपकरणएक्सप्लॉइटब्लॉग
जमा करें

हैकिंग, पेनटेस्ट और साइबर सुरक्षा उपकरण आपके सुरक्षा शस्त्रागार के लिए!

Kitploit हैकिंग, साइबर सुरक्षा और पेंटेस्टिंग टूल्स की एक निर्देशिका है। कमजोरियों को खोजने, सिस्टम का विश्लेषण करने, परीक्षण को स्वचालित करने और अपनी सुरक्षा को मजबूत करने के लिए नवीनतम प्रोजेक्ट अपडेट खोजें।

फ़ीडसंपर्कगोपनीयता© 2026 Kitploit

टूल निर्देशिका

श्रेणियाँ

सभी श्रेणियाँ देखें
Loading categories
benign-instruction-bench — LLM एजेंट टूल आउटपुट पर प्रॉम्प्ट-इंजेक्शन डिटेक्टरों का पुनर्मूल्यांकन (पेपर ड्राफ्ट, स्क्रिप्ट, स्कोर) | Kitploit
उपकरण/GitHubGitHub/lzwhehe/benign-instruction-bench
रक्षात्मक उपकरणभेद्यता विश्लेषणमशीन लर्निंगपेपर और शोधलर्निंग और शिक्षाAI सुरक्षा
GitHublzwhehe/benign-instruction-bench

benign-instruction-bench

LLM एजेंट टूल आउटपुट पर प्रॉम्प्ट-इंजेक्शन डिटेक्टरों का पुनर्मूल्यांकन (पेपर ड्राफ्ट, स्क्रिप्ट, स्कोर)

साझा करें
रिपॉजिटरी देखें
10524 दिन पहलेअभी तक समीक्षित नहीं

उस परीक्षण को पास करना जिस पर आपको प्रशिक्षित किया गया था

प्रॉम्प्ट-इंजेक्शन डिटेक्टरों का पुनर्मूल्यांकन वहाँ करना जहाँ LLM एजेंट वास्तव में उनका उपयोग करते हैं: उन टूल आउटपुट पर जिन्हें एक एजेंट पढ़ता है।

टीमें इंजेक्शन डिटेक्टरों को उनके बेंचमार्क स्कोर के आधार पर चुनती हैं। हम जाँचते हैं कि क्या वे स्कोर एक एजेंट के भीतर व्यवहार का पूर्वानुमान लगाते हैं, और पाते हैं कि वे अधिकतर यह मापते हैं कि बेंचमार्क डिटेक्टर के प्रशिक्षण डेटा के कितना करीब है।

निष्कर्ष

पंद्रह डिटेक्टर (नौ ओपन, छह लाइसेंस-गेटेड जिनमें Meta का Prompt Guard 2 शामिल है) और दो टास्क-अवेयर LLM जज, दो एजेंट बेंचमार्क (AgentDojo, tau-bench) और BIPIA पर। बिनाइन टूल आउटपुट प्रत्येक बेंचमार्क के ग्राउंड-ट्रुथ टूल कॉल को LLM के बिना रीप्ले करके प्राप्त किए जाते हैं। डिटेक्शन उस थ्रेशोल्ड पर TPR है जो उसी बेंचमार्क के बिनाइन आउटपुट पर 1% FPR देता है।

डिटेक्टरजारीबिनाइन टूल आउटपुट पर FPR (AgentDojo / tau-bench)डिटेक्शन AgentDojoडिटेक्शन tau-benchडिटेक्शन BIPIA
Horizon-Labs guard-base20260.0% / 0.7%83.1%100.0%37.7%
Wolf Defender20260.9% / 0.0%70.1%90.8%3.5%
Prompt Guard 2 (22M)20250.0% / 0.0%60.9%60.8%31.7%
Prompt Guard 2 (86M)20250.6% / 0.0%57.4%57.9%10.4%
Judge (Llama-3.1-8B)––51.9%78.3%8.3%
Prismor-1.5B20266.5% / 46.2%29.2%15.2%4.0%
Sheltron-68M202610.6% / 4.4%20.1%95.2%57.2%
PIGuard202529.5% / 11.0%1.6%52.7%95.1%
ProtectAI v2202430.1% / 66.9%0.5%10.1%0.7%

(सभी 15 डिटेक्टर और दोनों जज, AUROC और 95% टास्क-क्लस्टर्ड बूटस्ट्रैप इंटरवल्स के साथ: पेपर की तालिका 2।)

  1. BIPIA रैंकिंग का AgentDojo रैंकिंग से संबंध अधिकतम कमज़ोर है (15 डिटेक्टरों पर Kendall τ: 0.12, p = 0.559, सार्थक नहीं; बूटस्ट्रैप इंटरवल 0.05 से 0.23; एकल डिटेक्टरों को छोड़ने पर 0.01 से 0.25, और PIGuard के बिना 0.25)। सबसे बड़ा उलटाव उस डिटेक्टर से आता है जिसे BIPIA के वितरण पर प्रशिक्षित किया गया था: BIPIA का लीडर (PIGuard) AgentDojo पर 15 में से तेरहवें स्थान पर है। दोनों एजेंट बेंचमार्क अधिक सहमत हैं (τ = 0.39, p = 0.046); BIPIA बनाम tau-bench τ = 0.31 देता है।
  2. बिनाइन टूल आउटपुट पर फ़ॉल्स-पॉज़िटिव दरें 0.0% से 93.1% तक होती हैं और दोनों एजेंट बेंचमार्क में सुसंगत हैं (τ = 0.67, p = 0.0007)।
  3. PIGuard का BIPIA स्कोर याद किए गए अटैक स्ट्रिंग्स पर निर्भर नहीं करता और BIPIA के वितरण पर प्रशिक्षण के अनुरूप है: इसके प्रशिक्षण स्प्लिट में 1,116 पूर्ण BIPIA इनपुट हैं। इसने 62 में से 53 InjecAgent अटैक भी देखे, लेकिन केवल छोटे प्रॉम्प्ट के रूप में; tau-bench टूल आउटपुट के भीतर यह देखे गए और अनदेखे InjecAgent अटैक दोनों को समान रूप से पकड़ता है (52.1% बनाम 55.8%)। Horizon-Labs, जिसे एजेंट-शैली इनपुट पर प्रशिक्षित किया गया, दोनों एजेंट बेंचमार्क में अग्रणी है; न ही इसे और न ही दूसरे सर्वश्रेष्ठ डिटेक्टर को AgentDojo से स्वतंत्र दिखाया जा सकता है।
  4. टास्क-अवेयर 7–8B जज 1% FPR पर AgentDojo पर 51.9% (Llama) और 59.0% (Qwen) तथा tau-bench पर 78.3% और 54.3% तक पहुँचते हैं, जो सर्वश्रेष्ठ समर्पित डिटेक्टरों से नीचे है। PIGuard के अलावा, कोई भी दृष्टिकोण BIPIA के टास्क-अप्रासंगिक इंजेक्शनों का 39% से अधिक नहीं पकड़ता।
  5. सीरियलाइज़ेशन मार्कअप हटाने या इनपुट प्रकार घोषित करने से डिफ़ॉल्ट-थ्रेशोल्ड फ़ॉल्स पॉज़िटिव लगभग बीस गुना तक कम हो जाते हैं, लेकिन AgentDojo पर 1% FPR पर PIGuard या ProtectAI v2 को उपयोगी नहीं बनाते।

सभी संख्याएँ analysis/ में स्क्रिप्ट्स (compute_all.py, compute_many.py, compute_robust.py, compute_v4.py) द्वारा स्कोर फ़ाइलों से पुनः उत्पन्न की जाती हैं; analysis/make_macros.py उन्हें उन LaTeX मैक्रोज़ में लिखता है जिन्हें पेपर पढ़ता है।

लेआउट

scripts/     build evaluation sets, score detectors and judges
analysis/    compute_all.py, compute_many.py, compute_robust.py, compute_e6.py, compute_cost.py (numbers),
             make_tables.py, make_figures.py (tables and figures), make_macros.py (-> LaTeX macros)
results/     detector and judge scores used in the paper
paper/       LaTeX source, figures, compiled main.pdf

पुनरुत्पादन करें

pip install -r requirements.txt
AGENTDOJO_PY=/path/to/agentdojo-env/bin/python QWEN=/models/Qwen2.5-7B-Instruct LLAMA=/models/Llama-3.1-8B-Instruct bash reproduce.sh

केवल जारी किए गए स्कोर से संख्याएँ और आंकड़े पुनः उत्पन्न करने के लिए, results/*.json को कार्यशील निर्देशिका में कॉपी करें, .jsonl सेट पुनः बनाएँ (reproduce.sh के चरण 1–3, केवल CPU, PYTHONHASHSEED=0 के साथ), फिर चरण 8 की विश्लेषण स्क्रिप्ट और python analysis/make_tables.py && python analysis/make_figures.py चलाएँ।

मजबूती और लागत प्रयोग (जर्नल संस्करण):

  • analysis/compute_robust.py: रैंक स्थानांतरण के लिए बूटस्ट्रैप अंतराल और क्रमचय परीक्षण; होल्ड-आउट AgentDojo सूट पर कैलिब्रेट किए गए थ्रेशोल्ड।
  • scripts/score_e6.py, analysis/compute_e6.py: सामुदायिक बेंचमार्क buried-injections की सेटिंग में Prompt Guard 2, और एक जाँच कि पुनर्निर्मित सेट संग्रहीत स्कोर को पुनः उत्पन्न करते हैं।
  • scripts/latency.py, analysis/compute_cost.py: GPU और CPU पर प्रति टूल आउटपुट विलंबता और मेमोरी।
  • scripts/e5_run.py, scripts/e5_compare.py, scripts/e5_score.py: एक वास्तविक एजेंट (vLLM द्वारा परोसा गया Qwen2.5-7B) बिना हमलों के AgentDojo चलाता है; इसके टूल कॉल बिना मॉडल के रीप्ले किए जाते हैं और आउटपुट-दर-आउटपुट तुलना की जाती है।
  • scripts/check_revision.py: किस Hugging Face रिवीजन ने संग्रहीत स्कोर उत्पन्न किए (Horizon-Labs ने 2026-10-02 को अपने वेट बदले; संग्रहीत स्कोर रिवीजन af3c52e6a9d8 के हैं)।

मूल्यांकन डेटा सार्वजनिक स्रोतों से पुनर्निर्मित किया जाता है, पुनर्वितरित नहीं: AgentDojo v1.2, tau-bench (MIT), InjecAgent हमले (MIT), BIPIA (MIT), GitHub READMEs (h1alexbel/github-readmes), AESLC, FineWeb-Edu। कुछ स्क्रिप्ट मानती हैं कि BIPIA और PIGuard ~/agentsec/ के अंतर्गत क्लोन किए गए हैं।

पेपर का निर्माण

paper/usenix-2020-09-xetex.sty USENIX शैली की एक बिल्ड प्रति है जो tectonic/XeTeX के साथ संकलित होती है। सबमिशन के लिए, main.tex को आधिकारिक usenix-2020-09.sty पर स्विच करें और pdflatex के साथ संकलित करें।

स्थिति

arXiv पर प्रीप्रिंट; जर्नल संस्करण तैयारी में। अनुकूली हमलों के विरुद्ध मूल्यांकन नहीं किया गया; दोनों एजेंट बेंचमार्क सिमुलेशन हैं और tau-bench का इंजेक्शन बिंदु हमारा है; वाणिज्यिक API डिटेक्टर शामिल नहीं हैं। पेपर का सीमाएँ अनुभाग देखें।

लाइसेंस

कोड, विश्लेषण स्क्रिप्ट और स्कोर फ़ाइलें: MIT (LICENSE देखें)। तृतीय-पक्ष फ़ाइलें अपनी स्वयं की शर्तें रखती हैं: USENIX LaTeX शैली (paper/usenix-2020-09*.sty) और स्क्रिप्ट द्वारा डाउनलोड किए जाने वाले बेंचमार्क और डिटेक्टर (AgentDojo, tau-bench, InjecAgent, BIPIA, और प्रत्येक डिटेक्टर का मॉडल लाइसेंस)।

टूल डाउनलोड करें

सबसे लोकप्रिय

सभी देखें →

हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 अंतिम OSINT टूलकिट: जाँच ग्राफ़, विश्वास स्कोरिंग, उपनाम परिवार, मानचित्र, टाइमलाइन और रिपोर्ट। 49 मॉड्यूल, 400+ साइटें, किसी API कुंजी की आवश्यकता नहीं।

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # घोस्टलॉक वन-टैप निष्पादन ऐप (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    प्लानर/वर्कर एजेंट, एसेट और एक्सप्लोरेशन ग्राफ़, MITM ट्रैफ़िक रिकॉर्डिंग, और भेद्यता पुनःपरीक्षण के साथ LLM मल्टी-एजेंट स्वायत्त पेनेट्रेशन टेस्टिंग प्लेटफ़ॉर्म।

    405
  • 4

    redforge

    cybersecurity91/redforge

    ब्राउज़र-साइड रेड टीम टूलकिट, जिसमें रेकॉन, पेलोड जनरेशन, क्रेडेंशियल हमलों, क्रिप्टो, एन्कोडिंग और एंगेजमेंट रिपोर्टिंग के लिए 102 ऑफ़लाइन टूल्स हैं।

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI-मूल साइबरसुरक्षा के लिए कार्रवाई की प्रणाली—जहाँ इरादा नियंत्रित निष्पादन बन जाता है, साक्ष्य परिचालन स्मृति बन जाता है, और हर ऑपरेशन अगले को बेहतर बनाता है।

    261
  • 6

    antifox

    antifox-ai/antifox

    AI मल्टी-एजेंट स्वायत्त पेनेट्रेशन टेस्टिंग प्लेटफ़ॉर्म जो रेकॉन, अटैक-सरफ़ेस डिस्कवरी, एक्सप्लॉइटेशन वैलिडेशन और साक्ष्य-आधारित रिपोर्ट डिलीवरी संचालित करता है।

    259

सभी उपकरण खोजें

हमारे उपकरणों का संग्रह ब्राउज़ करें

सभी उपकरण देखें →