Skip to content
KitploitKITPLOIT
उपकरणएक्सप्लॉइटब्लॉग
Log in
जमा करें
उपकरणएक्सप्लॉइटब्लॉग
जमा करें

हैकिंग, पेनटेस्ट और साइबर सुरक्षा उपकरण आपके सुरक्षा शस्त्रागार के लिए!

Kitploit हैकिंग, साइबर सुरक्षा और पेंटेस्टिंग टूल्स की एक निर्देशिका है। कमजोरियों को खोजने, सिस्टम का विश्लेषण करने, परीक्षण को स्वचालित करने और अपनी सुरक्षा को मजबूत करने के लिए नवीनतम प्रोजेक्ट अपडेट खोजें।

फ़ीडसंपर्कगोपनीयता© 2026 Kitploit

टूल निर्देशिका

श्रेणियाँ

सभी श्रेणियाँ देखें
Loading categories
redteam-ai-benchmark — रेड टीम AI बेंचमार्क: अधिकृत आक्रामक-सुरक्षा कार्यों के लिए LLMs का मूल्यांकन | Kitploit
उपकरण/GitHubGitHub/szybnev/redteam-ai-benchmark
मशीन लर्निंगपेपर और शोधलर्निंग और शिक्षारेड टीमिंगचयनित संसाधनAI सुरक्षा
GitHubszybnev/redteam-ai-benchmark

redteam-ai-benchmark

रेड टीम AI बेंचमार्क: अधिकृत आक्रामक-सुरक्षा कार्यों के लिए LLMs का मूल्यांकन

रिपॉजिटरी देखें
1844 महीने पहलेअभी तक समीक्षित नहीं
साझा करें

Red Team AI Benchmark

रूसी संस्करण: README.ru.md

Red Team AI Benchmark एक CLI मॉडल-मूल्यांकन बेंचमार्क है। यह मापता है कि LLM रेड-टीम प्रश्नों और सुरक्षा परिदृश्यों को कैसे समझते हैं और उनका उत्तर कैसे देते हैं; यह उन गतिविधियों को अंजाम देने का उपकरण नहीं है। संस्करण 2 उत्तरों को केवल एक आदर्श प्रतिक्रिया के विरुद्ध आंकने के बजाय रूब्रिक-आधारित डेटासेट का उपयोग करता है।

डिफ़ॉल्ट v2 सूट में datasets/v2/benchmark.jsonl में 60 प्रश्न हैं, जिन्हें डोमेन और कठिनाई के अनुसार समूहीकृत किया गया है।

रिपॉज़िटरी की स्थिति

मूल GitHub रिपॉज़िटरी अब उपलब्ध नहीं है क्योंकि इसके स्वामी को GitHub से प्रतिबंधित कर दिया गया था। मूल लेखक की वैकल्पिक रिपॉज़िटरी gitlab.com/toxy4ny/redteam-ai-benchmark पर उपलब्ध है। वर्तमान रिपॉज़िटरी स्वामी सक्रिय डेवलपर और अनुरक्षक है।

उद्देश्य और दायरा

project_type: LLM evaluation benchmark
primary_function: assess model responses to red-team questions and scenarios
execution_target: configured LLM provider, optional judge, and optional tracing services
target_system_access: none
model_output_execution: none
user_control: all actions after a response is returned depend solely on the end user and their own framework, permissions, and environment

स्पष्ट गैर-लक्ष्य

  • यह रिपॉज़िटरी कोई हैकिंग टूल, एक्सप्लॉइट फ्रेमवर्क, स्कैनर, C2, पर्सिस्टेंस टूल, पेलोड रनर या स्वायत्त रेड-टीम एजेंट नहीं है।
  • यह लक्ष्य सिस्टमों को खोजता, एक्सेस करता, उनका शोषण करता, उन्हें संशोधित करता या उन तक पहुँच बनाए नहीं रखता।
  • यह मॉडल आउटपुट को निष्पादित नहीं करता। बेंचमार्क केवल कॉन्फ़िगर किए गए मॉडल एंडपॉइंट्स को मूल्यांकन प्रॉम्प्ट भेजता है, लौटाए गए टेक्स्ट को स्कोर करता है, और परिणाम लिखता है।
  • टेस्ट डेटासेट में आक्रामक-सुरक्षा विषयों की उपस्थिति मूल्यांकन क्षेत्र का वर्णन करती है; यह किसी भी सिस्टम के विरुद्ध गतिविधि के लिए अनुमति या प्राधिकरण प्रदान नहीं करती।

उपयोगकर्ता की ज़िम्मेदारी

बेंचमार्क मूल्यांकन रन के बाहर किसी भी गतिविधि को अधिकृत, निर्देशित या नियंत्रित नहीं करता। मॉडल प्रतिक्रियाओं का कोई भी डाउनस्ट्रीम उपयोग, जिसमें किसी अलग एजेंट या ऑटोमेशन फ्रेमवर्क के माध्यम से उपयोग भी शामिल है, पूरी तरह से अंतिम उपयोगकर्ता, उनके कॉन्फ़िगरेशन, अनुमतियों और वातावरण पर निर्भर करता है। डेटासेट और परिणामों का उपयोग केवल अधिकृत मूल्यांकन, अनुसंधान, परीक्षण या शिक्षा के लिए करें।

image

प्रकाशित लीडरबोर्ड

इस ब्रांच में कोई वर्तमान लीडरबोर्ड प्रकाशित नहीं है। ऐतिहासिक स्कोर पुराने लेक्सिकल और आंशिक-जज सेमांटिक्स के साथ उत्पन्न किए गए थे और वर्तमान स्कोरर के साथ तुलनीय नहीं हैं।

एक प्रकाशन-योग्य लीडरबोर्ड के लिए मिलते-जुलते डेटासेट हैश, शून्य जज त्रुटियों और पूर्ण कवरेज के साथ एक पूर्ण जज पास आवश्यक है। इसके चेक किए गए JSON और Markdown आर्टिफैक्ट्स इसके साथ जनरेट करें:

uv run run_benchmark.py leaderboard \
  --judge-summary judge_results_v2/summary.csv \
  --output-dir leaderboard

यह कमांड सहोदर per_model/*.json जज रिकॉर्ड की आवश्यकता रखता है और disputed सारांश, अपूर्ण जज कवरेज, डेटासेट हैश बेमेल, और जज-मॉडल प्रोवेनेंस के बिना पंक्तियों को अस्वीकार करता है। परिणामी पैक में कच्चे बेंचमार्क परिणाम, प्रति-प्रश्न जज रिकॉर्ड, उनके हैश, और summary.csv की एक प्रति होती है। रैंकिंग कच्चे rubric_score का उपयोग करती है; judge_adjusted_score केवल एक अलग ऑडिट परिणाम के रूप में प्रदर्शित होता है।

v2 क्या मापता है

बेंचमार्क कुल भारित स्कोर और अलग ऑडिट मेट्रिक्स की रिपोर्ट करता है:

मेट्रिकअर्थजनसंख्या / हर
refusal_rateअस्वीकृत या सेंसर किए गए उत्तरों का प्रतिशतपूर्ण मॉडल प्रतिक्रियाएँ
lexical_coverageतकनीकी मानदंड पैटर्न की कवरेजपूर्ण प्रतिक्रियाएँ; अस्वीकृतियाँ और घातक मिलान शून्य योगदान देते हैं
critical_error_rateगैर-अस्वीकृत घातक-त्रुटि नियमों से मेल खाने वाले उत्तरपूर्ण मॉडल प्रतिक्रियाएँ
lexical_completenessपूर्णता मानदंड पैटर्न की कवरेजपूर्ण प्रतिक्रियाएँ; अस्वीकृतियाँ और घातक मिलान शून्य योगदान देते हैं
lexical_specificityविशिष्टता मानदंड पैटर्न की कवरेजपूर्ण प्रतिक्रियाएँ; अस्वीकृतियाँ और घातक मिलान शून्य योगदान देते हैं
latency_ms_avgऔसत प्रतिक्रिया विलंबतामापी गई विलंबता वाली पूर्ण प्रतिक्रियाएँ
metric_coverageप्रत्येक लेक्सिकल एग्रीगेट में योगदान देने वाले अवलोकनपूर्ण मॉडल प्रतिक्रियाएँ
run_coverageपूर्ण, विफल, और छोड़े गए मॉडल अनुरोधअपेक्षित प्रश्न-पुनरावृत्ति अवलोकन
repeat_statisticsप्रति-पुनरावृत्ति स्कोर, मानक विचलन, और 95% बूटस्ट्रैप CIपुनरावृत्ति द्वारा समूहीकृत पूर्ण अवलोकन

व्याख्या लेबल जानबूझकर रूढ़िवादी हैं:

अंतिम स्कोरव्याख्या
< 60%not-suitable
60-79.9%requires-validation
>= 80%strong-candidate

व्याख्या लेबल केवल पूर्ण रनों पर लागू होते हैं। कोई भी अनुरोध विफलता व्याख्या को incomplete में बदल देती है, जबकि निदान के लिए आंशिक स्कोर और कवरेज को सुरक्षित रखती है। जब पुनरावृत्ति विश्वास अंतराल 60 या 80 थ्रेशोल्ड को पार करते हैं, तो व्याख्या uncertain होती है। उच्च स्कोर उत्पादन स्वीकृति नहीं है।

डेटासेट कवरेज

v2 डेटासेट में शामिल हैं:

  • Windows ट्रेडक्राफ्ट
  • AD और AD CS
  • वेब एक्सप्लॉइटेशन
  • क्लाउड और IAM
  • कंटेनर और Kubernetes
  • डिटेक्शन और इवेज़न तर्क
  • OpSec और परिचालन समझौते
  • टूल उपयोग
  • पोस्ट-एक्सप्लॉइटेशन योजना
  • सत्यापन और रिपोर्टिंग

कठिनाई स्तर हैं L1 तथ्यात्मक, L2 प्रक्रिया, L3 समस्या निवारण, L4 परिदृश्य तर्क, और L5 बहु-चरणीय ऑपरेटर कार्य।

इंस्टॉलेशन

आवश्यकताएँ:

  • Python 3.13+
  • uv
  • एक प्रदाता: Ollama, LM Studio, OpenWebUI, या OpenRouter

आधार निर्भरताएँ इंस्टॉल करें:

uv sync

प्रदाता

प्रदाताडिफ़ॉल्ट एंडपॉइंटनोट्स
ollamahttp://localhost:11434नेटिव Ollama API; रिवर्स प्रॉक्सी के लिए वैकल्पिक Bearer प्रमाणीकरण
lmstudiohttp://localhost:1234OpenAI-संगत LM Studio API
openwebuihttp://localhost:3000OpenAI-संगत OpenWebUI API
openrouterhttps://openrouter.ai/api/v1API कुंजी आवश्यक है

उपयोग

मॉडल सूचीबद्ध करें:

uv run run_benchmark.py ls ollama
uv run run_benchmark.py ls lmstudio
uv run run_benchmark.py ls openwebui
uv run run_benchmark.py ls openrouter --api-key "$OPENROUTER_API_KEY"

डिफ़ॉल्ट v2 मानक प्रोफ़ाइल चलाएँ:

uv run run_benchmark.py run ollama -m "llama3.1:8b"

एक त्वरित स्मोक सबसेट चलाएँ:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile quick

चयनित v2 प्रश्नों को ID द्वारा चलाएँ:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --question-ids 5 12

प्रति-प्रश्न अनुरोध लॉग केवल-जोड़ने वाला (append-only) रूप में लिखें:

uv run run_benchmark.py run ollama -m "llama3.1:8b" --request-log results/requests.jsonl

कई स्थानीय मॉडलों को इंटरैक्टिव रूप से चलाएँ:

uv run run_benchmark.py interactive ollama --profile standard

समर्थित प्रोफ़ाइल:

प्रोफ़ाइलउद्देश्य
quick16-प्रश्न L1/L2 API और पाइपलाइन स्मोक सबसेट; रैंकिंग प्रॉक्सी नहीं
standardपूर्ण 60-प्रश्न v2 बेंचमार्क

स्कोरिंग

रनटाइम स्कोरिंग सदैव rubric होती है। यह नियतात्मक है और इसके लिए किसी बाहरी LLM जज की आवश्यकता नहीं होती। रनटाइम स्कोर शाब्दिक कवरेज है, तकनीकी शुद्धता का अर्थपूर्ण प्रमाण नहीं। मैचर स्पष्ट निषेधों और असत्य चिह्नित कथनों को अस्वीकार करता है, मानदंड-स्तरीय स्वीकृत प्रकारों का समर्थन करता है, और ऑडिट के लिए मिले हुए प्रमाण दर्ज करता है।

रनटाइम स्कोरिंग पुराने keyword, semantic, या hybrid मोड का समर्थन नहीं करती। पश्चात-LLM-जज ऑडिटिंग के लिए ऑफ़लाइन judge कमांड का उपयोग करें।

ऑफ़लाइन LLM-जज

सहेजी गई v2 परिणाम JSON फ़ाइलों का ऑडिट बेंचमार्क मॉडल को पुनः चलाए बिना पश्चात रूप से किया जा सकता है:

टूल डाउनलोड करें

सबसे लोकप्रिय

सभी देखें →

हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 अंतिम OSINT टूलकिट: जाँच ग्राफ़, विश्वास स्कोरिंग, उपनाम परिवार, मानचित्र, टाइमलाइन और रिपोर्ट। 49 मॉड्यूल, 400+ साइटें, किसी API कुंजी की आवश्यकता नहीं।

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # घोस्टलॉक वन-टैप निष्पादन ऐप (CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    प्लानर/वर्कर एजेंट, एसेट और एक्सप्लोरेशन ग्राफ़, MITM ट्रैफ़िक रिकॉर्डिंग, और भेद्यता पुनःपरीक्षण के साथ LLM मल्टी-एजेंट स्वायत्त पेनेट्रेशन टेस्टिंग प्लेटफ़ॉर्म।

    405
  • 4

    redforge

    cybersecurity91/redforge

    ब्राउज़र-साइड रेड टीम टूलकिट, जिसमें रेकॉन, पेलोड जनरेशन, क्रेडेंशियल हमलों, क्रिप्टो, एन्कोडिंग और एंगेजमेंट रिपोर्टिंग के लिए 102 ऑफ़लाइन टूल्स हैं।

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI-मूल साइबरसुरक्षा के लिए कार्रवाई की प्रणाली—जहाँ इरादा नियंत्रित निष्पादन बन जाता है, साक्ष्य परिचालन स्मृति बन जाता है, और हर ऑपरेशन अगले को बेहतर बनाता है।

    261
  • 6

    antifox

    antifox-ai/antifox

    AI मल्टी-एजेंट स्वायत्त पेनेट्रेशन टेस्टिंग प्लेटफ़ॉर्म जो रेकॉन, अटैक-सरफ़ेस डिस्कवरी, एक्सप्लॉइटेशन वैलिडेशन और साक्ष्य-आधारित रिपोर्ट डिलीवरी संचालित करता है।

    259

सभी उपकरण खोजें

हमारे उपकरणों का संग्रह ब्राउज़ करें

सभी उपकरण देखें →