cysecbench/dataset대규모 언어 모델 벤치마킹을 위한 생성형 AI 기반 사이버 보안 중심 프롬프트 데이터셋
CySecBench 논문은 다음을 제공합니다:
왜 CySecBench인가?
기존 데이터셋은 너무 광범위하고 종종 사이버보안에 초점이 부족합니다. CySecBench는 10개 범주로 구성된 도메인 특화 프롬프트를 제공하여 LLM 보안 메커니즘의 정밀한 평가를 가능하게 함으로써 이러한 격차를 메웁니다.
전체 연구 논문은 여기에서 다운로드할 수 있습니다: CySecBench (PDF)
/
├── Code/
│ ├── dataset_generation.py
│ ├── keywords.txt
├── Dataset/
│ ├── Category sets/
│ │ ├── cysecbench-cloud-attacks.csv
│ │ ├── cysecbench-control-system-attacks.csv
│ │ ├── cysecbench-cryptographic-attacks.csv
│ │ ├── cysecbench-evasion-techniques.csv
│ │ ├── cysecbench-hardware-attacks.csv
│ │ ├── cysecbench-intrusion-techniques.csv
│ │ ├── cysecbench-iot-attacks.csv
│ │ ├── cysecbench-malware-attacks.csv
│ │ ├── cysecbench-network-attacks.csv
│ │ ├── cysecbench-web-application-attacks.csv
│ ├── Full dataset/
│ │ ├── cysecbench.csv
│ ├── Sample sets/
│ ├── cysecbench-500.csv
│ ├── cysecbench-2000.csv
│ ├── cysecbench-6000.csv
openai (데이터셋 생성에만 필요)| LLM | 성공률(SR) | 평균 등급(AR) |
|---|---|---|
| 🤖 Claude | 17.4% | 2.00 |
| 🤖 ChatGPT |
CySecBench를 사용하는 경우 다음을 인용해 주세요:
@article{CySecBench2024,
title = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
author = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
year = {2025},
journal = {arXiv preprint arXiv:2501.01335},
url = {https://arxiv.org/abs/2501.01335}
}
CySecBench가 유용하거나 흥미로웠다면, 이 저장소에 star ⭐를 눌러 지원을 보여주세요!
이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 LICENSE 파일을 참조하세요.
| 65.4% |
| 4.06 |
| 🤖 Gemini | 88.4% | 4.77 |