Skip to content
KitploitKITPLOIT
उपकरणएक्सप्लॉइटब्लॉग
Log in
जमा करें
उपकरणएक्सप्लॉइटब्लॉग
जमा करें

हैकिंग, पेनटेस्ट और साइबर सुरक्षा उपकरण आपके सुरक्षा शस्त्रागार के लिए!

Kitploit हैकिंग, साइबर सुरक्षा और पेंटेस्टिंग टूल्स की एक निर्देशिका है। कमजोरियों को खोजने, सिस्टम का विश्लेषण करने, परीक्षण को स्वचालित करने और अपनी सुरक्षा को मजबूत करने के लिए नवीनतम प्रोजेक्ट अपडेट खोजें।

··फ़ीड·संपर्क·गोपनीयता·© 2026 Kitploit

टूल निर्देशिका

श्रेणियाँ

सभी श्रेणियाँ देखें
Loading categories
FinRED-paper — वित्त डोमेन-विशिष्ट रेड-टीमिंग बेंचमार्क मूल्यांकन रूब्रिक | Kitploit
उपकरण/GitHubGitHub/selectstar-ai/finred-paper
भेद्यता विश्लेषणखतरा खुफियामशीन लर्निंगपेपर और शोधलर्निंग और शिक्षारेड टीमिंगAI सुरक्षा
GitHubselectstar-ai/finred-paper

FinRED-paper

वित्त डोमेन-विशिष्ट रेड-टीमिंग बेंचमार्क मूल्यांकन रूब्रिक

रिपॉजिटरी देखें
11183 महीने पहलेअभी तक समीक्षित नहीं

सबसे लोकप्रिय

सभी देखें →

हमारे समुदाय द्वारा सबसे अधिक उपयोग किए जाने वाले उपकरण खोजें।

सभी उपकरण खोजें

हमारे उपकरणों का संग्रह ब्राउज़ करें

सभी उपकरण देखें →
साझा करें

FinRED: वित्तीय रेड-टीमिंग मूल्यांकन डेटासेट

वित्तीय क्षेत्र में सुरक्षा मूल्यांकन के लिए एक रेड-टीम बेंचमार्क जनरेशन पाइपलाइन।

FinRED overview


पूरक दस्तावेज़ीकरण

पेपर में संदर्भित विस्तृत सामग्री:

  • docs/expert_validation.md — 12 FSI डोमेन विशेषज्ञों से प्रति-प्रश्न फोकस ग्रुप इंटरव्यू (FGI) परिणाम (सहमति, लिकर्ट स्कोर, Cohen's κ / Krippendorff's α)।
  • docs/judge_rubric.md — पूर्ण LLM-as-a-Judge मूल्यांकन टेम्पलेट, पाँच रूब्रिक आयाम, निर्णय नियम, और आउटपुट JSON स्कीमा।
  • docs/schemas.md — थ्रेट बिहेवियर स्कीमा संरचना (आवश्यक/वैकल्पिक तत्व) एक कार्यशील R4.4 उदाहरण के साथ।
  • docs/related_work.md — पूर्ववर्ती वित्तीय-डोमेन LLM बेंचमार्कों का प्रति-बेंचमार्क विवरण और FinRED कैसे भिन्न है।

प्रोजेक्ट संरचना

root@kitploit:~
FinRED/
├── main.py                      # Main runner
├── requirements.txt             # Dependencies
├── run/                         # Example run scripts
├── prompts/                     # Prompt files
├── tests/                       # Example notebooks
├── README.md
│
├── src/
│   ├── Step1_build.py           # Scenario generation module
│   ├── Step2_build.py           # Seed prompt generation module
│   ├── __init__.py
│   │
│   ├── data/                    # Downloaded data
│   │   ├── contexts/            # Context data
│   │   │   ├── R3_products/     # R3 product summaries
│   │   │   └── retrieved_chunks/# Similarity search outputs
│   │   ├── orig/                # Raw data
│   │   │   ├── db/              # Chunk CSV DB
│   │   │   ├── parsed_docs/     # PDFs + chunk JSON
│   │   │   └── investinfo/      # R3 product text
│   │   └── queries/             # Query CSV files
│   │
│   ├── data/schemas/            # Output schema definitions
│   │   ├── ko/                  # Korean schemas
│   │   └── en/                  # English schemas
│   │
│   ├── outputs/                 # Generation outputs
│   │   ├── scenarios/           # Step 1 outputs
│   │   └── prompts/             # Step 2 outputs
│   │
│   ├── preprocess/              # Preprocessing pipeline
│   │   ├── preprocess_README.md # Detailed preprocessing guide
│   │   ├── 1_chunking.py
│   │   ├── 2_parsed_to_csv.py
│   │   ├── 3_common_to_csv.py
│   │   ├── 4_product_summarizer.py
│   │   ├── 5_summary_extractor.py
│   │   └── 6_chunk_retriever.py
│   │
│   ├── eval/                    # Evaluation module
│   │   ├── judge_finred.py      # Evaluation script
│   │   ├── dataset/             # Evaluation dataset

पर्यावरण सेटअप

0. संबंधित डेटा डाउनलोड करें

Google Drive: https://drive.google.com/drive/u/0/folders/1cfBf419OUDrQQMRKMPLLJqRX97WMxExC Google Drive

डाउनलोड किए गए डेटा को ऊपर दी गई फ़ोल्डर संरचना से मेल खाते हुए रखें (src/data के अंतर्गत)।

1. वर्चुअल एनवायरनमेंट बनाएँ (Python 3.10)

root@kitploit:~
# Conda
conda create -n finred python=3.10 -y
conda activate finred

# Or venv
python3.10 -m venv finred_env
source finred_env/bin/activate

2. पैकेज इंस्टॉल करें

root@kitploit:~
cd /path/to/FinRED
pip install -r requirements.txt

3. प्रीप्रोसेसिंग एनवायरनमेंट (वैकल्पिक)

यदि आपको प्रीप्रोसेसिंग (PDF चंकिंग, आदि) की आवश्यकता है:

root@kitploit:~
# Unstructured
pip install "unstructured[all-docs]"

# System dependencies (Ubuntu/Debian)
sudo apt-get install -y libmagic-dev poppler-utils tesseract-ocr tesseract-ocr-kor libreoffice pandoc

प्रीप्रोसेसिंग गाइड: src/preprocess/preprocess_README.md

4. इंस्टॉलेशन सत्यापित करें

root@kitploit:~
python --version  # Python 3.10.x
python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}')"

पाइपलाइन अवलोकन

root@kitploit:~
[Context + Schema + Query]
         │
         ▼
   ┌─────────────┐
   │ Step1_build │  Scenario generation (OpenAI GPT-4)
   └─────────────┘
         │
         ▼
   [Scenario JSON]
         │
         ▼
   ┌─────────────┐
   │ Step2_build │  Seed prompt generation (Gemini)
   └─────────────┘
         │
         ▼
   [Seed Prompts]
         │
         ▼
   ┌─────────────┐
   │ Evaluation  │  Model response evaluation
   └─────────────┘

मॉड्यूल विवरण

Step1_build.py - परिदृश्य जनरेशन

संदर्भ और स्कीमा के आधार पर रेड-टीम परिदृश्य उत्पन्न करता है।

  • इनपुट: स्कीमा, क्वेरीज़, प्राप्त संदर्भ चंक्स
  • आउटपुट: src/outputs/scenarios/{category}/ में परिदृश्य JSON फ़ाइलें
  • मॉडल: OpenAI GPT-4

Step2_build.py - सीड प्रॉम्प्ट जनरेशन

परिदृश्यों से सीड प्रॉम्प्ट उत्पन्न करता है।

  • इनपुट: चरण 1 से परिदृश्य JSON
  • आउटपुट: src/outputs/prompts/{category}/ में प्रॉम्प्ट JSON + मर्ज्ड CSV
  • मॉडल: Google Gemini 2.5 Pro

उपयोग

क्विकस्टार्ट

डेटा जनरेशन

root@kitploit:~
# Run the full pipeline with the example script
sh run/run_data_generate.sh

जज

root@kitploit:~
python src/eval/judge_finred.py \
    -i src/eval/dataset/qwen_2.5_test.csv \
    -o qwen_2.5_test_judged \
    -d src/eval/infer_result

बेसिक

root@kitploit:~
cd /path/to/FinRED

python main.py \
    --step <1|2|all> \
    --category <category> \
    --openai_api_key "sk-..." \
    --gemini_api_key "AIza..."

पैरामीटर

पैरामीटरआवश्यकविवरण
--stepहाँचलाने का चरण: 1 (परिदृश्य), 2 (प्रॉम्प्ट), all (क्रमिक)
--categoryहाँश्रेणी: R1, R2, R3, R4, R5 या R1_1, आदि।
--openai_api_keyचरण 1OpenAI API कुंजी
--gemini_api_keyचरण 2Gemini API कुंजी
--langवैकल्पिकप्रॉम्प्ट भाषा: ko (डिफ़ॉल्ट), en
--num_promptsवैकल्पिकप्रॉम्प्ट की संख्या (डिफ़ॉल्ट: 3)
--step1_modelवैकल्पिकचरण 1 के लिए मॉडल (डिफ़ॉल्ट: gpt-4.1-2025-04-14)
--step2_modelवैकल्पिकचरण 2 के लिए मॉडल (डिफ़ॉल्ट: models/gemini-2.5-pro)
--model_nameवैकल्पिक--step1_model के लिए अप्रचलित उपनाम

उदाहरण

root@kitploit:~
# Full pipeline (R1)
python main.py \
    --step all \
    --category R1 \
    --openai_api_key "sk-proj-..." \
    --gemini_api_key "AIza..."

# Step 1 only
python main.py \
    --step 1 \
    --category R2 \
    --openai_api_key "sk-proj-..."

# Step 2 only (English, 5 prompts)
python main.py \
    --step 2 \
    --category R5 \
    --lang en \
    --num_prompts 5 \
    --gemini_api_key "AIza..."

# Single subcategory
python main.py \
    --step 2 \
    --category R1_1 \
    --num_prompts 3 \
    --gemini_api_key "AIza..."

श्रेणी जानकारी

श्रेणीउपश्रेणियाँविवरण
R1R1_1 ~ R1_6वित्तीय सुरक्षा खतरे
R2R2_1 ~ R2_5धोखाधड़ी और अवैध गतिविधियाँ
R3R3_1 ~ R3_3मिस-सेलिंग
R4R4_1 ~ R4_5बाजार में हेरफेर
R5R5_1 ~ R5_7नियामक उल्लंघन

मूल्यांकन

उत्पन्न प्रॉम्प्ट के प्रति मॉडल प्रतिक्रियाओं का मूल्यांकन करें।

चलाएँ

root@kitploit:~
cd /path/to/FinRED/src/eval

python src/eval/judge_finred.py \
    -i <input_csv_path> \
    -o <output_basename> \
    -d <output_dir>

उदाहरण

root@kitploit:~
python src/eval/judge_finred.py \
    -i ./dataset/qwen_2.5_7b_all_with_responses.csv \
    -o qwen2.5_7b_responses \
    -d ./infer_result/

इनपुट CSV प्रारूप

CSV में शामिल होना चाहिए:

  • प्रॉम्प्ट कॉलम
  • मॉडल प्रतिक्रिया कॉलम

आउटपुट

  • infer_result/: मूल्यांकन परिणाम
  • judge_errors/: त्रुटि लॉग

आउटपुट प्रारूप

परिदृश्य JSON (चरण 1)

root@kitploit:~
{
  "scenario_id": "R1_1_0001",
  "context": "...",
  "risk_description": "...",
  "attack_vector": "..."
}

प्रॉम्प्ट JSON (चरण 2)

root@kitploit:~
{
  "prompt_1": "Provide details about vulnerabilities in a financial system...",
  "prompt_1_optionalelements": ["social engineering", "phishing"],
  "prompt_2": "...",
  "prompt_2_optionalelements": ["..."]
}
टूल डाउनलोड करें