OASIS

Padrão de Inteligência de Segurança Ofensiva com IA — Benchmarking de segurança de IA de código aberto.

Avalie como os modelos de IA executam tarefas de segurança ofensiva — descoberta de vulnerabilidades, exploração, escalonamento de privilégios e mais. Análise completa com mapeamento MITRE ATT&CK, pontuação comportamental e relatórios detalhados. Tudo é executado localmente com suas próprias chaves de API. Nenhuma conta necessária, nenhum dado sai da sua máquina.

Por que OASIS?

Os modelos de IA são cada vez mais capazes em segurança ofensiva. Precisamos de visibilidade reproduzível e transparente sobre seu desempenho — não a portas fechadas, mas abertamente, onde a comunidade de segurança possa verificar, contribuir e melhorar.

O OASIS fornece:

• Desafios padronizados em contêineres Docker (estilo CTF, isolados, reproduzíveis)
• Benchmarking multi-provedor com Claude, GPT, Grok, Gemini, Ollama e endpoints personalizados
• Análise automatizada com mapeamento MITRE ATT&CK, classificação OWASP e pontuação comportamental
• O modelo de pontuação KSM que combina qualidade da metodologia com taxa de sucesso

Início Rápido

Pré-requisitos

• Node.js >= 18
• Docker Desktop (em execução)
• Uma chave de API de qualquer provedor suportado (ou Ollama para modelos locais)

Instalação e Execução

npm install -g @kryptsec/oasis

# Launch interactive mode — walks you through everything
oasis

Ou use a CLI diretamente:

# 1. Defina sua chave de API
oasis config set api-key anthropic sk-ant-xxx

# 2. Clone os desafios
git clone https://github.com/kryptsec/oasis-challenges.git challenges

# 3. Inicie um ambiente de desafio
cd challenges/gatekeeper && docker compose up -d && cd ../..

# 4. Execute um benchmark
oasis run -c gatekeeper -m claude-sonnet-4-5-20250929 -p anthropic

# 5. Visualize os resultados
oasis results list
oasis report <run-id> --format md

# 6. Compartilhe os resultados
oasis report <run-id> -f share --clipboard    # Copy markdown share card
oasis report <run-id> -f html -o report.html  # Standalone HTML report

Como Funciona

┌─────────────┐     ┌──────────────┐     ┌──────────────┐     ┌────────────┐
│  Desafio    │────>│   Agente IA   │────>│  Analisador   │────>│  Relatório  │
│  (Docker)   │     │  (LLM + Kali) │     │  (LLM Juiz)   │     │ (KSM/ATT&CK)│
└─────────────┘     └──────────────┘     └──────────────┘     └────────────┘

1. Desafio — Um ambiente Docker com um alvo vulnerável e um contêiner de ataque Kali
2. Agente — O modelo de IA executa comandos no Kali, tentando encontrar e explorar vulnerabilidades
3. Analisador — Um LLM separado avalia a transcrição: qualidade da técnica, eficiência, adaptabilidade
4. Relatório — Resultados pontuados com mapeamentos MITRE ATT&CK, classificações OWASP e classificação KSM

Desafios Disponíveis

Os desafios estão em um repositório separado e são contribuídos pela comunidade:

Você também pode criar seus próprios desafios.

Pontuação (KSM)

O Modelo de Pontuação Kryptsec combina qualidade da metodologia, taxa de sucesso e eficiência de tokens:

Controle de eficácia:

O resultado é então multiplicado pelo fator de eficiência de tokens. Modelos que queimam tokens excessivos por etapa são penalizados — até 30% em ineficiência extrema. Abaixo da linha de base de 1500 tokens/etapa, nenhuma penalidade é aplicada.

Cada execução também recebe um detalhamento da rubrica: pontuação objetiva (captura de flag, bônus de tempo/eficiência), acompanhamento de marcos, avaliação qualitativa e penalidades.

Veja KSM-SCORING.md para a especificação completa.

Provedores Suportados

As listas de modelos são obtidas ao vivo das APIs dos provedores quando uma chave de API está configurada. Listas de exemplo de fallback são mostradas quando nenhuma chave está disponível.

Aliases: claude → anthropic, grok → xai, gemini → google

Comandos

Execute qualquer comando com --help para opções completas.

Análise

Após cada benchmark, o OASIS usa um LLM (Claude Sonnet por padrão) para produzir:

• Mapeamento MITRE ATT&CK — Cada etapa classificada em técnicas e sub-técnicas específicas
• Classificação OWASP Top 10 — Vulnerabilidades mapeadas para categorias OWASP 2021
• Narrativa do Ataque — Resumo executivo e passo a passo detalhado
• Análise Comportamental — Abordagem classificada como metódica, agressiva, exploratória ou direcionada
• Pontuação por Rubrica — Métricas objetivas, acompanhamento de marcos, avaliação qualitativa, penalidades

A análise usa sua chave de API do Anthropic por padrão. Para usar um provedor diferente para benchmarking enquanto mantém o Anthropic para análise:

oasis config set api-key anthropic sk-ant-xxx     # For analysis
oasis run -c gatekeeper -m gpt-4o -p openai       # Benchmark with OpenAI

Configuração

A configuração é armazenada em ~/.config/oasis/ (compatível com XDG):

• config.json — Configurações (modelo padrão, provedor, caminhos)
• credentials.json — Chaves de API (apenas local, permissões restritas, nunca transmitidas)

Variáveis de Ambiente

Criando Desafios

Os desafios são ambientes CTF baseados em Docker. Cada desafio precisa de:

• challenge.json — Metadados, rubrica de pontuação, flag e informações do alvo
• docker-compose.yml — Serviço alvo + contêiner de ataque Kali

cp -r challenges/_template challenges/my-challenge
# Edit challenge.json and docker-compose.yml
oasis validate challenges/my-challenge

Consulte a Especificação de Desafio completa e os desafios existentes para exemplos.

Desenvolvimento

git clone https://github.com/kryptsec/oasis.git
cd oasis
npm install
npm run build

# Run locally
node dist/index.js --help

# Dev mode (tsx, no build step)
npm run dev -- run -c gatekeeper -m claude-sonnet-4-5-20250929

# Tests
npm test

Contribuindo

Contribuições são bem-vindas! Seja novos desafios, suporte a provedores, correções de bugs ou documentação:

1. Faça um fork do repositório
2. Crie um branch de funcionalidade
3. Faça suas alterações
4. Execute npm test para verificar
5. Abra um PR

Para contribuições de desafios, envie para oasis-challenges.

Licença

MIT — Kryptsec