OASIS

Offensive AI Security Intelligence Standard — Référence ouverte de sécurité IA offensive.

Évaluez les performances des modèles d’IA sur des tâches de sécurité offensive — découverte de vulnérabilités, exploitation, élévation de privilèges et plus encore. Analyse complète avec cartographie MITRE ATT&CK, notation comportementale et rapports détaillés. Tout s’exécute en local avec vos propres clés API. Aucun compte requis, aucune donnée ne quitte votre machine.

Pourquoi OASIS ?

Les modèles d’IA sont de plus en plus capables en sécurité offensive. Nous avons besoin d’une visibilité reproductible et transparente sur leurs performances — non pas à huis clos, mais au grand jour, où la communauté de la sécurité peut vérifier, contribuer et améliorer.

OASIS fournit :

• Des défis standardisés dans des conteneurs Docker (style CTF, isolés, reproductibles)
• Un benchmarking multi‑fournisseur avec Claude, GPT, Grok, Gemini, Ollama et des points de terminaison personnalisés
• Une analyse automatisée avec cartographie MITRE ATT&CK, classification OWASP et notation comportementale
• Le modèle de notation KSM qui combine la qualité de la méthodologie et le taux de succès

Démarrage rapide

Prérequis

• Node.js >= 18
• Docker Desktop (en cours d’exécution)
• Une clé API d’un fournisseur pris en charge (ou Ollama pour les modèles locaux)

Installation et exécution

npm install -g @kryptsec/oasis

# Lance le mode interactif — vous guide pas à pas
oasis

Ou utilisez directement l’interface en ligne de commande :

# 1. Définissez votre clé API
oasis config set api-key anthropic sk-ant-xxx

# 2. Clonez les défis
git clone https://github.com/kryptsec/oasis-challenges.git challenges

# 3. Démarrez un environnement de défi
cd challenges/gatekeeper && docker compose up -d && cd ../..

# 4. Lancez un benchmark
oasis run -c gatekeeper -m claude-sonnet-4-5-20250929 -p anthropic

# 5. Visualisez les résultats
oasis results list
oasis report <run-id> --format md

# 6. Partagez les résultats
oasis report <run-id> -f share --clipboard    # Copie la carte de partage Markdown
oasis report <run-id> -f html -o report.html  # Rapport HTML autonome

Comment cela fonctionne

┌─────────────┐     ┌──────────────┐     ┌──────────────┐     ┌────────────┐
│  Challenge   │────>│   AI Agent    │────>│   Analyzer   │────>│   Report   │
│  (Docker)    │     │  (LLM + Kali) │     │  (LLM Judge) │     │  (KSM/ATT&CK)│
└─────────────┘     └──────────────┘     └──────────────┘     └────────────┘

1. Challenge — Un environnement Docker avec une cible vulnérable et un conteneur d’attaque Kali
2. Agent — Le modèle d’IA exécute des commandes dans Kali, tentant de trouver et d’exploiter des vulnérabilités
3. Analyzer — Un LLM séparé évalue le transcript : qualité des techniques, efficacité, adaptabilité
4. Report — Résultats notés avec cartographies MITRE ATT&CK, classifications OWASP et note KSM

Défis disponibles

Les défis se trouvent dans un dépôt séparé et sont proposés par la communauté :

Vous pouvez également créer vos propres défis.

Notation (KSM)

Le Kryptsec Scoring Model combine la qualité de la méthodologie, le taux de succès et l’efficacité des jetons :

Conditionnement par l’efficacité :

Le résultat est ensuite multiplié par le facteur d’efficacité des jetons. Les modèles qui brûlent trop de jetons par étape sont pénalisés — jusqu’à 30 % en cas d’inefficacité extrême. En dessous du seuil de base de 1500 jetons/étape, aucune pénalité ne s’applique.

Chaque exécution reçoit également une décomposition détaillée selon une grille : notation objective (capture du drapeau, bonus de temps/efficacité), suivi des jalons, évaluation qualitative et pénalités.

Voir KSM-SCORING.md pour la spécification complète.

Fournisseurs pris en charge

Les listes de modèles sont récupérées en direct depuis les API des fournisseurs lorsqu’une clé API est configurée. Des listes d’exemples de repli sont affichées quand aucune clé n’est disponible.

Alias : claude → anthropic, grok → xai, gemini → google

Commandes

Exécutez n’importe quelle commande avec --help pour obtenir toutes les options.

Analyse

Après chaque benchmark, OASIS utilise un LLM (Claude Sonnet par défaut) pour produire :

• Cartographie MITRE ATT&CK — Chaque étape classifiée selon des techniques et sous‑techniques spécifiques
• Classification OWASP Top 10 — Vulnérabilités mappées aux catégories OWASP 2021
• Récit d’attaque — Résumé exécutif et description détaillée
• Analyse comportementale — Approche classée comme méthodique, agressive, exploratoire ou ciblée
• Notation par grille — Mesures objectives, suivi des jalons, évaluation qualitative, pénalités

L’analyse utilise votre clé API Anthropic par défaut. Pour utiliser un autre fournisseur pour le benchmark tout en conservant Anthropic pour l’analyse :

oasis config set api-key anthropic sk-ant-xxx     # Pour l’analyse
oasis run -c gatekeeper -m gpt-4o -p openai       # Benchmark avec OpenAI

Configuration

La configuration est stockée dans ~/.config/oasis/ (conforme XDG) :

• config.json — Paramètres (modèle par défaut, fournisseur, chemins)
• credentials.json — Clés API (locales uniquement, permissions restreintes, jamais transmises)

Variables d’environnement

Création de défis

Les défis sont des environnements CTF basés sur Docker. Chaque défi nécessite :

• challenge.json — Métadonnées, grille de notation, drapeau et informations sur la cible
• docker-compose.yml — Service cible + conteneur d’attaque Kali

cp -r challenges/_template challenges/mon-defi
# Modifiez challenge.json et docker-compose.yml
oasis validate challenges/mon-defi

Voir la spécification complète des défis et les défis existants pour des exemples.

Développement

git clone https://github.com/kryptsec/oasis.git
cd oasis
npm install
npm run build

# Exécution locale
node dist/index.js --help

# Mode développement (tsx, sans étape de build)
npm run dev -- run -c gatekeeper -m claude-sonnet-4-5-20250929

# Tests
npm test

Contribution

Les contributions sont les bienvenues ! Qu’il s’agisse de nouveaux défis, du support de fournisseurs, de corrections de bugs ou de documentation :

1. Forkez le dépôt
2. Créez une branche de fonctionnalité
3. Apportez vos modifications
4. Exécutez npm test pour vérifier
5. Ouvrez une Pull Request

Pour les contributions de défis, soumettez-les à oasis-challenges.

Licence

MIT — Kryptsec