selectstar-ai/finred-paperБенчмарк для оценки ред-тиминга в финансовой предметной области
Пайплайн генерации бенчмарка ред-тиминга для оценки безопасности в финансовой сфере.
Подробные материалы, упомянутые в статье:
FinRED/
├── main.py # Main runner
├── requirements.txt # Dependencies
├── run/ # Example run scripts
├── prompts/ # Prompt files
├── tests/ # Example notebooks
├── README.md
│
├── src/
│ ├── Step1_build.py # Scenario generation module
│ ├── Step2_build.py # Seed prompt generation module
│ ├── __init__.py
│ │
│ ├── data/ # Downloaded data
│ │ ├── contexts/ # Context data
│ │ │ ├── R3_products/ # R3 product summaries
│ │ │ └── retrieved_chunks/# Similarity search outputs
│ │ ├── orig/ # Raw data
│ │ │ ├── db/ # Chunk CSV DB
│ │ │ ├── parsed_docs/ # PDFs + chunk JSON
│ │ │ └── investinfo/ # R3 product text
│ │ └── queries/ # Query CSV files
│ │
│ ├── data/schemas/ # Output schema definitions
│ │ ├── ko/ # Korean schemas
│ │ └── en/ # English schemas
│ │
│ ├── outputs/ # Generation outputs
│ │ ├── scenarios/ # Step 1 outputs
│ │ └── prompts/ # Step 2 outputs
│ │
│ ├── preprocess/ # Preprocessing pipeline
│ │ ├── preprocess_README.md # Detailed preprocessing guide
│ │ ├── 1_chunking.py
│ │ ├── 2_parsed_to_csv.py
│ │ ├── 3_common_to_csv.py
│ │ ├── 4_product_summarizer.py
│ │ ├── 5_summary_extractor.py
│ │ └── 6_chunk_retriever.py
│ │
│ ├── eval/ # Evaluation module
│ │ ├── judge_finred.py # Evaluation script
│ │ ├── dataset/ # Evaluation dataset
Google Drive: https://drive.google.com/drive/u/0/folders/1cfBf419OUDrQQMRKMPLLJqRX97WMxExC Google Drive
Разместите загруженные данные в соответствии со структурой папок выше (в src/data).
# Conda
conda create -n finred python=3.10 -y
conda activate finred
# Or venv
python3.10 -m venv finred_env
source finred_env/bin/activate
cd /path/to/FinRED
pip install -r requirements.txt
Если вам нужна предобработка (разбиение PDF на чанки и т.д.):
# Unstructured
pip install "unstructured[all-docs]"
# System dependencies (Ubuntu/Debian)
sudo apt-get install -y libmagic-dev poppler-utils tesseract-ocr tesseract-ocr-kor libreoffice pandoc
Руководство по предобработке:
src/preprocess/preprocess_README.md
python --version # Python 3.10.x
python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}')"
[Context + Schema + Query]
│
▼
┌─────────────┐
│ Step1_build │ Scenario generation (OpenAI GPT-4)
└─────────────┘
│
▼
[Scenario JSON]
│
▼
┌─────────────┐
│ Step2_build │ Seed prompt generation (Gemini)
└─────────────┘
│
▼
[Seed Prompts]
│
▼
┌─────────────┐
│ Evaluation │ Model response evaluation
└─────────────┘
Генерирует сценарии ред-тиминга на основе контекста и схемы.
src/outputs/scenarios/{category}/Генерирует seed-промпты из сценариев.
src/outputs/prompts/{category}/# Run the full pipeline with the example script
sh run/run_data_generate.sh
python src/eval/judge_finred.py \
-i src/eval/dataset/qwen_2.5_test.csv \
-o qwen_2.5_test_judged \
-d src/eval/infer_result
cd /path/to/FinRED
python main.py \
--step <1|2|all> \
--category <category> \
--openai_api_key "sk-..." \
--gemini_api_key "AIza..."
| Параметр | Обязательный | Описание |
|---|---|---|
--step | Да | Шаг для запуска: 1 (сценарий), 2 (промпт), all (последовательно) |
--category | Да | Категория: R1, R2, R3, R4, R5 или R1_1 и т.д. |
--openai_api_key | Шаг 1 | API-ключ OpenAI |
--gemini_api_key | Шаг 2 | API-ключ Gemini |
--lang | Опционально | Язык промптов: ko (по умолчанию), en |
--num_prompts | Опционально | Количество промптов (по умолчанию: 3) |
--step1_model | Опционально | Модель для шага 1 (по умолчанию: gpt-4.1-2025-04-14) |
--step2_model | Опционально | Модель для шага 2 (по умолчанию: models/gemini-2.5-pro) |
--model_name | Опционально | Устаревший псевдоним для --step1_model |
# Full pipeline (R1)
python main.py \
--step all \
--category R1 \
--openai_api_key "sk-proj-..." \
--gemini_api_key "AIza..."
# Step 1 only
python main.py \
--step 1 \
--category R2 \
--openai_api_key "sk-proj-..."
# Step 2 only (English, 5 prompts)
python main.py \
--step 2 \
--category R5 \
--lang en \
--num_prompts 5 \
--gemini_api_key "AIza..."
# Single subcategory
python main.py \
--step 2 \
--category R1_1 \
--num_prompts 3 \
--gemini_api_key "AIza..."
| Категория | Подкатегории | Описание |
|---|---|---|
| R1 | R1_1 ~ R1_6 | Угрозы финансовой безопасности |
| R2 | R2_1 ~ R2_5 | Мошенничество и незаконная деятельность |
| R3 | R3_1 ~ R3_3 | Мисселинг |
| R4 | R4_1 ~ R4_5 | Манипулирование рынком |
| R5 | R5_1 ~ R5_7 | Нарушения нормативных требований |
Оценка ответов модели на сгенерированные промпты.
cd /path/to/FinRED/src/eval
python src/eval/judge_finred.py \
-i <input_csv_path> \
-o <output_basename> \
-d <output_dir>
python src/eval/judge_finred.py \
-i ./dataset/qwen_2.5_7b_all_with_responses.csv \
-o qwen2.5_7b_responses \
-d ./infer_result/
CSV должен содержать:
infer_result/: результаты оценкиjudge_errors/: журналы ошибок{
"scenario_id": "R1_1_0001",
"context": "...",
"risk_description": "...",
"attack_vector": "..."
}
{
"prompt_1": "Provide details about vulnerabilities in a financial system...",
"prompt_1_optionalelements": ["social engineering", "phishing"],
"prompt_2": "...",
"prompt_2_optionalelements": ["..."]
}