selectstar-ai/finred-paper금융 도메인 특화 레드팀 벤치마크 평가 루브릭
금융 도메인의 안전성 평가를 위한 레드팀 벤치마크 생성 파이프라인.
논문에서 참조된 상세 자료:
FinRED/
├── main.py # Main runner
├── requirements.txt # Dependencies
├── run/ # Example run scripts
├── prompts/ # Prompt files
├── tests/ # Example notebooks
├── README.md
│
├── src/
│ ├── Step1_build.py # Scenario generation module
│ ├── Step2_build.py # Seed prompt generation module
│ ├── __init__.py
│ │
│ ├── data/ # Downloaded data
│ │ ├── contexts/ # Context data
│ │ │ ├── R3_products/ # R3 product summaries
│ │ │ └── retrieved_chunks/# Similarity search outputs
│ │ ├── orig/ # Raw data
│ │ │ ├── db/ # Chunk CSV DB
│ │ │ ├── parsed_docs/ # PDFs + chunk JSON
│ │ │ └── investinfo/ # R3 product text
│ │ └── queries/ # Query CSV files
│ │
│ ├── data/schemas/ # Output schema definitions
│ │ ├── ko/ # Korean schemas
│ │ └── en/ # English schemas
│ │
│ ├── outputs/ # Generation outputs
│ │ ├── scenarios/ # Step 1 outputs
│ │ └── prompts/ # Step 2 outputs
│ │
│ ├── preprocess/ # Preprocessing pipeline
│ │ ├── preprocess_README.md # Detailed preprocessing guide
│ │ ├── 1_chunking.py
│ │ ├── 2_parsed_to_csv.py
│ │ ├── 3_common_to_csv.py
│ │ ├── 4_product_summarizer.py
│ │ ├── 5_summary_extractor.py
│ │ └── 6_chunk_retriever.py
│ │
│ ├── eval/ # Evaluation module
│ │ ├── judge_finred.py # Evaluation script
│ │ ├── dataset/ # Evaluation dataset
Google Drive: https://drive.google.com/drive/u/0/folders/1cfBf419OUDrQQMRKMPLLJqRX97WMxExC Google Drive
다운로드한 데이터를 위 폴더 구조에 맞게 배치하세요 (src/data 아래).
# Conda
conda create -n finred python=3.10 -y
conda activate finred
# Or venv
python3.10 -m venv finred_env
source finred_env/bin/activate
cd /path/to/FinRED
pip install -r requirements.txt
전처리(PDF 청킹 등)가 필요한 경우:
# Unstructured
pip install "unstructured[all-docs]"
# System dependencies (Ubuntu/Debian)
sudo apt-get install -y libmagic-dev poppler-utils tesseract-ocr tesseract-ocr-kor libreoffice pandoc
전처리 가이드:
src/preprocess/preprocess_README.md
python --version # Python 3.10.x
python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}')"
[Context + Schema + Query]
│
▼
┌─────────────┐
│ Step1_build │ Scenario generation (OpenAI GPT-4)
└─────────────┘
│
▼
[Scenario JSON]
│
▼
┌─────────────┐
│ Step2_build │ Seed prompt generation (Gemini)
└─────────────┘
│
▼
[Seed Prompts]
│
▼
┌─────────────┐
│ Evaluation │ Model response evaluation
└─────────────┘
컨텍스트와 스키마를 기반으로 레드팀 시나리오를 생성합니다.
src/outputs/scenarios/{category}/의 시나리오 JSON 파일시나리오로부터 시드 프롬프트를 생성합니다.
src/outputs/prompts/{category}/의 프롬프트 JSON + 병합된 CSV# Run the full pipeline with the example script
sh run/run_data_generate.sh
python src/eval/judge_finred.py \
-i src/eval/dataset/qwen_2.5_test.csv \
-o qwen_2.5_test_judged \
-d src/eval/infer_result
cd /path/to/FinRED
python main.py \
--step <1|2|all> \
--category <category> \
--openai_api_key "sk-..." \
--gemini_api_key "AIza..."
| 매개변수 | 필수 | 설명 |
|---|---|---|
--step | 예 | 실행할 단계: 1 (시나리오), 2 (프롬프트), all (순차 실행) |
--category | 예 | 카테고리: R1, R2, R3, R4, R5 또는 R1_1 등 |
--openai_api_key | Step 1 | OpenAI API 키 |
--gemini_api_key | Step 2 | Gemini API 키 |
--lang | 선택 | 프롬프트 언어: ko (기본값), en |
--num_prompts | 선택 | 프롬프트 수 (기본값: 3) |
--step1_model | 선택 | Step 1 모델 (기본값: gpt-4.1-2025-04-14) |
--step2_model | 선택 | Step 2 모델 (기본값: models/gemini-2.5-pro) |
--model_name | 선택 | --step1_model의 사용 중단된 별칭 |
# Full pipeline (R1)
python main.py \
--step all \
--category R1 \
--openai_api_key "sk-proj-..." \
--gemini_api_key "AIza..."
# Step 1 only
python main.py \
--step 1 \
--category R2 \
--openai_api_key "sk-proj-..."
# Step 2 only (English, 5 prompts)
python main.py \
--step 2 \
--category R5 \
--lang en \
--num_prompts 5 \
--gemini_api_key "AIza..."
# Single subcategory
python main.py \
--step 2 \
--category R1_1 \
--num_prompts 3 \
--gemini_api_key "AIza..."
| 카테고리 | 하위 카테고리 | 설명 |
|---|---|---|
| R1 | R1_1 ~ R1_6 | 금융 보안 위협 |
| R2 | R2_1 ~ R2_5 | 사기 및 불법 활동 |
| R3 | R3_1 ~ R3_3 | 부당 판매 |
| R4 | R4_1 ~ R4_5 | 시장 조작 |
| R5 | R5_1 ~ R5_7 | 규제 위반 |
생성된 프롬프트에 대한 모델 응답을 평가합니다.
cd /path/to/FinRED/src/eval
python src/eval/judge_finred.py \
-i <input_csv_path> \
-o <output_basename> \
-d <output_dir>
python src/eval/judge_finred.py \
-i ./dataset/qwen_2.5_7b_all_with_responses.csv \
-o qwen2.5_7b_responses \
-d ./infer_result/
CSV에는 다음이 포함되어야 합니다:
infer_result/: 평가 결과judge_errors/: 오류 로그{
"scenario_id": "R1_1_0001",
"context": "...",
"risk_description": "...",
"attack_vector": "..."
}
{
"prompt_1": "Provide details about vulnerabilities in a financial system...",
"prompt_1_optionalelements": ["social engineering", "phishing"],
"prompt_2": "...",
"prompt_2_optionalelements": ["..."]
}