FinRED: إطار عمل لتوليد وتقييم المعايير بمساعدة الخبراء لاختبار الفريق الأحمر لنماذج اللغة الكبيرة المالية (IEEE ICDM 2026)

خط أنابيب لتوليد معايير الفريق الأحمر لتقييم السلامة في المجال المالي.

---

الوثائق التكميلية

مواد مفصّلة مُشار إليها في الورقة البحثية:

• docs/expert_validation.md — نتائج مقابلات المجموعة البؤرية (FGI) لكل سؤال من خبراء مجال FSI الاثني عشر (التوافق، درجات ليكرت، Cohen's κ / Krippendorff's α).
• docs/judge_rubric.md — قالب التقييم الكامل بنمط LLM-as-a-Judge، وأبعاد التقييم الخمسة، وقاعدة القرار، ومخطط JSON الناتج.
• docs/schemas.md — بنية مخطط سلوك التهديد (العناصر الأساسية/الاختيارية) مع مثال تطبيقي على R4.4.
• docs/related_work.md — أوصاف لكل معيار من معايير نماذج اللغة الكبيرة المالية السابقة في المجال المالي وكيف يختلف FinRED عنها.

---

هيكل المشروع

FinRED/
├── main.py                      # Main runner
├── requirements.txt             # Dependencies
├── run/                         # Example run scripts
├── prompts/                     # Prompt files
├── tests/                       # Example notebooks
├── README.md
│
├── src/
│   ├── Step1_build.py           # Scenario generation module
│   ├── Step2_build.py           # Seed prompt generation module
│   ├── __init__.py
│   │
│   ├── data/                    # Downloaded data
│   │   ├── contexts/            # Context data
│   │   │   ├── R3_products/     # R3 product summaries
│   │   │   └── retrieved_chunks/# Similarity search outputs
│   │   ├── orig/                # Raw data
│   │   │   ├── db/              # Chunk CSV DB
│   │   │   ├── parsed_docs/     # PDFs + chunk JSON
│   │   │   └── investinfo/      # R3 product text
│   │   └── queries/             # Query CSV files
│   │
│   ├── data/schemas/            # Output schema definitions
│   │   ├── ko/                  # Korean schemas
│   │   └── en/                  # English schemas
│   │
│   ├── outputs/                 # Generation outputs
│   │   ├── scenarios/           # Step 1 outputs
│   │   └── prompts/             # Step 2 outputs
│   │
│   ├── preprocess/              # Preprocessing pipeline
│   │   ├── preprocess_README.md # Detailed preprocessing guide
│   │   ├── 1_chunking.py
│   │   ├── 2_parsed_to_csv.py
│   │   ├── 3_common_to_csv.py
│   │   ├── 4_product_summarizer.py
│   │   ├── 5_summary_extractor.py
│   │   └── 6_chunk_retriever.py
│   │
│   ├── eval/                    # Evaluation module
│   │   ├── judge_finred.py      # Evaluation script
│   │   ├── dataset/             # Evaluation dataset

إعداد البيئة

0. تنزيل البيانات ذات الصلة

Google Drive: https://drive.google.com/drive/u/0/folders/1cfBf419OUDrQQMRKMPLLJqRX97WMxExC Google Drive

ضع البيانات التي تم تنزيلها لتطابق هيكل المجلد أعلاه (ضمن src/data).

1. إنشاء بيئة افتراضية (Python 3.10)

# Conda
conda create -n finred python=3.10 -y
conda activate finred

# Or venv
python3.10 -m venv finred_env
source finred_env/bin/activate

2. تثبيت الحزم

cd /path/to/FinRED
pip install -r requirements.txt

3. بيئة المعالجة المسبقة (اختياري)

إذا كنت بحاجة إلى المعالجة المسبقة (تقسيم PDF إلى أجزاء، إلخ):

# Unstructured
pip install "unstructured[all-docs]"

# System dependencies (Ubuntu/Debian)
sudo apt-get install -y libmagic-dev poppler-utils tesseract-ocr tesseract-ocr-kor libreoffice pandoc

دليل المعالجة المسبقة: src/preprocess/preprocess_README.md

4. التحقق من التثبيت

python --version  # Python 3.10.x
python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}')"

نظرة عامة على خط الأنابيب

[Context + Schema + Query]
         │
         ▼
   ┌─────────────┐
   │ Step1_build │  Scenario generation (OpenAI GPT-4)
   └─────────────┘
         │
         ▼
   [Scenario JSON]
         │
         ▼
   ┌─────────────┐
   │ Step2_build │  Seed prompt generation (Gemini)
   └─────────────┘
         │
         ▼
   [Seed Prompts]
         │
         ▼
   ┌─────────────┐
   │ Evaluation  │  Model response evaluation
   └─────────────┘

---

تفاصيل الوحدات

Step1_build.py - توليد السيناريوهات

يولّد سيناريوهات الفريق الأحمر بناءً على السياق والمخطط.

• المدخلات: المخطط، الاستعلامات، أجزاء السياق المسترجعة
• المخرجات: ملفات JSON للسيناريوهات في src/outputs/scenarios/{category}/
• النموذج: OpenAI GPT-4

Step2_build.py - توليد المطالبات الأولية

يولّد مطالبات أولية من السيناريوهات.

• المدخلات: JSON السيناريو من الخطوة 1
• المخرجات: JSON للمطالبات + CSV مدمج في src/outputs/prompts/{category}/
• النموذج: Google Gemini 2.5 Pro

---

الاستخدام

البدء السريع

توليد البيانات

# Run the full pipeline with the example script
sh run/run_data_generate.sh

الحكم

python src/eval/judge_finred.py \
    -i src/eval/dataset/qwen_2.5_test.csv \
    -o qwen_2.5_test_judged \
    -d src/eval/infer_result

أساسي

cd /path/to/FinRED

python main.py \
    --step <1|2|all> \
    --category <category> \
    --openai_api_key "sk-..." \
    --gemini_api_key "AIza..."

المعاملات

المعامل	مطلوب	الوصف
--step	نعم	الخطوة المراد تشغيلها: 1 (السيناريو)، 2 (المطالبة)، all (تسلسلي)
--category	نعم	الفئة: R1، R2، R3، R4، R5 أو R1_1، إلخ.
--openai_api_key	الخطوة 1	مفتاح OpenAI API
--gemini_api_key	الخطوة 2	مفتاح Gemini API
--lang	اختياري	لغة المطالبة: ko (افتراضي)، en
--num_prompts	اختياري	عدد المطالبات (افتراضي: 3)
--step1_model	اختياري	النموذج للخطوة 1 (افتراضي: gpt-4.1-2025-04-14)
--step2_model	اختياري	النموذج للخطوة 2 (افتراضي: models/gemini-2.5-pro)
--model_name	اختياري	اسم بديل مهمل لـ --step1_model

أمثلة

# Full pipeline (R1)
python main.py \
    --step all \
    --category R1 \
    --openai_api_key "sk-proj-..." \
    --gemini_api_key "AIza..."

# Step 1 only
python main.py \
    --step 1 \
    --category R2 \
    --openai_api_key "sk-proj-..."

# Step 2 only (English, 5 prompts)
python main.py \
    --step 2 \
    --category R5 \
    --lang en \
    --num_prompts 5 \
    --gemini_api_key "AIza..."

# Single subcategory
python main.py \
    --step 2 \
    --category R1_1 \
    --num_prompts 3 \
    --gemini_api_key "AIza..."

معلومات الفئة

الفئة	الفئات الفرعية	الوصف
R1	R1_1 ~ R1_6	تهديدات الأمن المالي
R2	R2_1 ~ R2_5	الاحتيال والأنشطة غير القانونية
R3	R3_1 ~ R3_3	البيع المضلل
R4	R4_1 ~ R4_5	التلاعب بالسوق
R5	R5_1 ~ R5_7	المخالفات التنظيمية

---

التقييم

قيّم استجابات النموذج للاستعلامات المُولّدة.

التشغيل

cd /path/to/FinRED/src/eval

python src/eval/judge_finred.py \
    -i <input_csv_path> \
    -o <output_basename> \
    -d <output_dir>

مثال

python src/eval/judge_finred.py \
    -i ./dataset/qwen_2.5_7b_all_with_responses.csv \
    -o qwen2.5_7b_responses \
    -d ./infer_result/

تنسيق ملف CSV المُدخل

يجب أن يتضمن ملف CSV ما يلي:

• عمود prompt
• عمود استجابة النموذج

المخرجات

• infer_result/: نتائج التقييم
• judge_errors/: سجلات الأخطاء

---

تنسيقات المخرجات

JSON السيناريو (الخطوة 1)

{
  "scenario_id": "R1_1_0001",
  "context": "...",
  "risk_description": "...",
  "attack_vector": "..."
}

Prompt JSON (الخطوة 2)