🚀 CySecBench: Baseado em IA Generativa, Dataset de Prompts Focado em Cibersegurança para Benchmarking de Grandes Modelos de Linguagem 🛡️

O maior e mais abrangente Dataset baseado em IA Generativa focado em Cibersegurança para Benchmarking de Grandes Modelos de Linguagem

🌟 Visão Geral

O artigo CySecBench oferece:

• 🎯 Um dataset de ponta de 12662 prompts adaptados para desafios de cibersegurança.
• 🧠 Métodos inovadores de jailbreak utilizando ofuscação e refinamento de prompts.
• 📊 Avaliação abrangente de desempenho de LLMs como ChatGPT, Claude e Gemini.

Por que o CySecBench?

Datasets existentes são muito amplos e frequentemente carecem de foco em cibersegurança. CySecBench preenche essa lacuna fornecendo prompts específicos de domínio organizados em 10 categorias, permitindo uma avaliação precisa dos mecanismos de segurança dos LLMs.

📄 Acesse o Artigo

Você pode baixar o artigo completo aqui: CySecBench (PDF)

✨ Funcionalidades

🗂️ Dataset

• 📁 10 Categorias de Prompts:
  • 🌩️ Ataques em Nuvem
  • ⚙️ Ataques a Sistemas de Controle
  • 🔒 Ataques Criptográficos
  • 🕵️ Técnicas de Evasão
  • 💻 Ataques de Hardware
  • 🔐 Técnicas de Intrusão
  • 📡 Ataques IoT
  • 🦠 Ataques de Malware
  • 🌐 Ataques de Rede
  • 🌍 Ataques a Aplicações Web

🗂️ Estrutura do Repositório

/
├── Code/
│   ├── dataset_generation.py
│   ├── keywords.txt
├── Dataset/
│   ├── Category sets/
│   │   ├── cysecbench-cloud-attacks.csv
│   │   ├── cysecbench-control-system-attacks.csv
│   │   ├── cysecbench-cryptographic-attacks.csv
│   │   ├── cysecbench-evasion-techniques.csv
│   │   ├── cysecbench-hardware-attacks.csv
│   │   ├── cysecbench-intrusion-techniques.csv
│   │   ├── cysecbench-iot-attacks.csv
│   │   ├── cysecbench-malware-attacks.csv
│   │   ├── cysecbench-network-attacks.csv
│   │   ├── cysecbench-web-application-attacks.csv
│   ├── Full dataset/
│   │   ├── cysecbench.csv
│   ├── Sample sets/
│       ├── cysecbench-500.csv
│       ├── cysecbench-2000.csv
│       ├── cysecbench-6000.csv

🚀 Começando

⚙️ Pré-requisitos

• 🐍 Python 3.8+
• 📦 Bibliotecas necessárias: openai (apenas para geração do dataset)

📊 Resultados usando o CySecBench

🎯 Métricas de Avaliação

• ✅ Taxa de Sucesso (SR): Porcentagem de prompts que contornam as diretrizes éticas.
• 📈 Classificação Média (AR): Grau de nocividade nas respostas dos LLMs (em uma escala de 1 a 5, onde 5 é o mais nocivo).

⚡ Desempenho de Jailbreak

📜 Citação

Se você usar o CySecBench, por favor cite:

@article{CySecBench2024,
	title        = {{CySecBench: Generative AI-based CyberSecurity-focused Prompt Dataset for Benchmarking Large Language Models}},
	author       = {Johan Wahréus and Ahmed Mohamed Hussain and Panos Papadimitratos},
	year         = {2025},
	journal      = {arXiv preprint arXiv:2501.01335},
	url          = {https://arxiv.org/abs/2501.01335}
}

⭐ Dê uma Estrela neste Repositório!

Se você achou o CySecBench útil ou interessante, por favor dê uma estrela ⭐ a este repositório para mostrar seu apoio!

🔒 Licença

Este projeto está licenciado sob a Licença MIT. Consulte o arquivo LICENSE para obter detalhes.