Skip to content
KitploitKITPLOIT
도구익스플로잇블로그
Log in
제출
도구익스플로잇블로그
제출

해킹, 침투 테스트 및 사이버 보안 도구를 당신의 보안 무기고에!

Kitploit은 해킹, 사이버 보안 및 침투 테스트 도구 디렉토리입니다. 최신 프로젝트 업데이트를 발견하여 취약점을 찾고, 시스템을 분석하고, 테스트를 자동화하고, 보안을 강화하세요.

피드문의개인정보© 2026 Kitploit

도구 디렉토리

카테고리

모든 카테고리 보기
Loading categories
dataset — 대규모 언어 모델 벤치마킹을 위한 생성형 AI 기반 사이버 보안 중심 프롬프트 데이터셋 | Kitploit
도구/GitHubGitHub/cysecbench/dataset
IoT SecurityWeb Application ExploitationMalware AnalysisMachine LearningPapers & ResearchLearning & EducationCurated ResourcesAI Security
GitHubcysecbench/dataset

dataset

대규모 언어 모델 벤치마킹을 위한 생성형 AI 기반 사이버 보안 중심 프롬프트 데이터셋

저장소 보기
4510391년 전Kitploit 검토 완료
공유

🚀 CySecBench: 대규모 언어 모델 벤치마킹을 위한 생성형 AI 기반 사이버보안 중심 프롬프트 데이터셋 🛡️

Arxiv:CySecBench

License

대규모 언어 모델 벤치마킹을 위한 가장 크고 포괄적인 생성형 AI 기반 사이버보안 중심 데이터셋

🌟 개요

CySecBench 논문은 다음을 제공합니다:

  • 🎯 최첨단 데이터셋: 사이버보안 과제에 맞춰진 12662개의 프롬프트.
  • 🧠 새로운 탈옥(jailbreaking) 기법: 프롬프트 난독화와 정제를 활용.
  • 📊 종합적인 성능 평가: ChatGPT, Claude, Gemini와 같은 LLM에 대한 평가.

왜 CySecBench인가?

기존 데이터셋은 너무 광범위하고 종종 사이버보안에 초점이 부족합니다. CySecBench는 10개 범주로 구성된 도메인 특화 프롬프트를 제공하여 LLM 보안 메커니즘의 정밀한 평가를 가능하게 함으로써 이러한 격차를 메웁니다.

📄 논문 보기

전체 연구 논문은 여기에서 다운로드할 수 있습니다: CySecBench (PDF)


✨ 특징

🗂️ 데이터셋

  • 📁 10가지 프롬프트 범주:
    • 🌩️ 클라우드 공격
    • ⚙️ 제어 시스템 공격
    • 🔒 암호화 공격
    • 🕵️ 탐지 회피 기법
    • 💻 하드웨어 공격
    • 🔐 침입 기술
    • 📡 IoT 공격
    • 🦠 악성코드 공격
    • 🌐 네트워크 공격
    • 🌍 웹 애플리케이션 공격

🗂️ 저장소 구조

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 시작하기

⚙️ 사전 요구 사항

  • 🐍 Python 3.8+
  • 📦 필수 라이브러리: openai (데이터셋 생성에만 필요)

📊 CySecBench를 사용한 결과

🎯 평가 지표

  • ✅ 성공률(SR): 윤리 지침을 우회하는 프롬프트의 비율.
  • 📈 평균 등급(AR): LLM 응답의 유해성 정도 (1~5 척도, 5가 가장 유해함).

⚡ 탈옥(jailbreaking) 성능

LLM성공률(SR)평균 등급(AR)
🤖 Claude17.4%2.00
🤖 ChatGPT65.4%4.06
🤖 Gemini88.4%4.77

📜 인용

CySecBench를 사용하는 경우 다음을 인용해 주세요:

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ 이 저장소에 Star를 눌러주세요!

CySecBench가 유용하거나 흥미로웠다면, 이 저장소에 star ⭐를 눌러 지원을 보여주세요!


🔒 라이선스

이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 LICENSE 파일을 참조하세요.

도구 다운로드

인기

모두 보기 →

커뮤니티에서 가장 많이 사용되는 도구를 찾아보세요.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 궁극의 OSINT 툴킷: 조사 그래프, 신뢰도 점수 산정, 별칭 패밀리, 지도, 타임라인 및 보고서. 49개 모듈, 400개 이상 사이트, API 키 불필요.

    837
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # GhostLock 원탭 실행 앱 (CVE-2026-43499)

    536
  • 3

    ARTEX

    baarai/artex

    LLM 멀티 에이전트 자율 침투 테스트 플랫폼으로, 플래너/워커 에이전트, 자산 및 탐색 그래프, MITM 트래픽 기록, 취약점 재테스트 기능을 제공합니다.

    424
  • 4

    redforge

    cybersecurity91/redforge

    브라우저 측 레드 팀 툴킷으로, 정찰, 페이로드 생성, 자격 증명 공격, 암호화, 인코딩 및 참여 보고를 위한 102개의 오프라인 도구를 제공합니다.

    355
  • 5

    looking-glass

    anonghosty/looking-glass

    Shadowserver 보고서를 MongoDB로 수집하고 이를 대화형 지도, 분석, 발견 사항, 권고 및 경영진 대시보드로 재생하는 CSIRT 플랫폼입니다.

    294
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AI 네이티브 사이버보안을 위한 행동 체계—의도가 통제된 실행이 되고, 증거가 운영 메모리가 되며, 모든 운영이 다음 운영을 개선하는 곳.

    276

모든 도구 탐색

도구 컬렉션을 둘러보세요

모든 도구 보기 →