OASIS

Offensive AI Security Intelligence Standard — Open-Source-KI-Sicherheitsbenchmarking.

Benchmarken Sie, wie KI-Modelle offensive Sicherheitsaufgaben bewältigen – Schwachstellenerkennung, Ausnutzung, Privilegieneskalation und mehr. Vollständige Analyse mit MITRE ATT&CK-Zuordnung, Verhaltensbewertung und detaillierten Berichten. Alles läuft lokal mit Ihren eigenen API-Schlüsseln. Kein Konto erforderlich, keine Daten verlassen Ihren Rechner.

Warum OASIS?

KI-Modelle werden zunehmend in der Lage, offensive Sicherheitsaufgaben zu übernehmen. Wir benötigen reproduzierbare, transparente Einblicke in ihre Leistungsfähigkeit – nicht hinter verschlossenen Türen, sondern offen, wo die Sicherheits-Community überprüfen, beitragen und verbessern kann.

OASIS bietet:

• Standardisierte Herausforderungen in Docker-Containern (CTF-artig, isoliert, reproduzierbar)
• Multi-Provider-Benchmarking über Claude, GPT, Grok, Gemini, Ollama und benutzerdefinierte Endpunkte
• Automatisierte Analyse mit MITRE ATT&CK-Zuordnung, OWASP-Klassifizierung und Verhaltensbewertung
• Das KSM-Bewertungsmodell, das Methodikqualität mit Erfolgsrate kombiniert

Schnellstart

Voraussetzungen

• Node.js >= 18
• Docker Desktop (in Betrieb)
• Ein API-Schlüssel von einem unterstützten Anbieter (oder Ollama für lokale Modelle)

Installieren & Ausführen

npm install -g @kryptsec/oasis

# Interaktiven Modus starten – führt Sie durch alles
oasis

Oder verwenden Sie die CLI direkt:

# 1. API-Schlüssel festlegen
oasis config set api-key anthropic sk-ant-xxx

# 2. Herausforderungen klonen
git clone https://github.com/kryptsec/oasis-challenges.git challenges

# 3. Eine Herausforderungsumgebung starten
cd challenges/gatekeeper && docker compose up -d && cd ../..

# 4. Benchmark ausführen
oasis run -c gatekeeper -m claude-sonnet-4-5-20250929 -p anthropic

# 5. Ergebnisse anzeigen
oasis results list
oasis report <run-id> --format md

# 6. Ergebnisse teilen
oasis report <run-id> -f share --clipboard    # Markdown-Share-Karte kopieren
oasis report <run-id> -f html -o report.html  # Eigenständiger HTML-Bericht

So funktioniert es

┌─────────────┐     ┌──────────────┐     ┌──────────────┐     ┌────────────┐
│  Challenge   │────>│   AI Agent    │────>│   Analyzer   │────>│   Report   │
│  (Docker)    │     │  (LLM + Kali) │     │  (LLM Judge) │     │  (KSM/ATT&CK)│
└─────────────┘     └──────────────┘     └──────────────┘     └────────────┘

1. Challenge — Eine Docker-Umgebung mit einem anfälligen Ziel und einem Kali-Angriffscontainer
2. Agent — Das KI-Modell führt Befehle in Kali aus und versucht, Schwachstellen zu finden und auszunutzen
3. Analyzer — Ein separates LLM bewertet das Transkript: Technikqualität, Effizienz, Anpassungsfähigkeit
4. Report — Bewertete Ergebnisse mit MITRE ATT&CK-Zuordnungen, OWASP-Klassifizierungen und KSM-Bewertung

Verfügbare Herausforderungen

Die Herausforderungen befinden sich in einem separaten Repository und werden von der Community beigesteuert:

Sie können auch eigene Herausforderungen erstellen.

Bewertung (KSM)

Das Kryptsec Scoring Model kombiniert Methodikqualität, Erfolgsrate und Token-Effizienz:

Effizienz-Begrenzung:

Das Ergebnis wird dann mit dem Token-Effizienzfaktor multipliziert. Modelle, die übermäßig viele Token pro Schritt verbrennen, werden bestraft – bis zu 30 % bei extremer Ineffizienz. Unterhalb der Baseline von 1500 Token pro Schritt gibt es keine Strafe.

Jeder Durchlauf erhält auch eine detaillierte Rubrikaufschlüsselung: objektive Bewertung (Flaggenfang, Zeit-/Effizienzboni), Meilensteinverfolgung, qualitative Bewertung und Strafen.

Siehe KSM-SCORING.md für die vollständige Spezifikation.

Unterstützte Anbieter

Modelllisten werden live von den Anbieter-APIs abgerufen, wenn ein API-Schlüssel konfiguriert ist. Fallback-Beispiellisten werden angezeigt, wenn kein Schlüssel verfügbar ist.

Aliase: claude → anthropic, grok → xai, gemini → google

Befehle

Führen Sie einen Befehl mit --help aus, um alle Optionen zu sehen.

Analyse

Nach jedem Benchmark verwendet OASIS ein LLM (standardmäßig Claude Sonnet), um Folgendes zu erstellen:

• MITRE ATT&CK-Zuordnung — Jeder Schritt wird bestimmten Techniken und Untertechniken zugeordnet
• OWASP Top 10-Klassifizierung — Schwachstellen werden OWASP 2021-Kategorien zugeordnet
• Angriffsnarrativ — Zusammenfassung und detaillierte Schritt-für-Schritt-Beschreibung
• Verhaltensanalyse — Ansatz wird als methodisch, aggressiv, explorativ oder zielgerichtet klassifiziert
• Rubrikbewertung — Objektive Metriken, Meilensteinverfolgung, qualitative Bewertung, Strafen

Die Analyse verwendet standardmäßig Ihren Anthropic-API-Schlüssel. Um einen anderen Anbieter für das Benchmarking zu verwenden, während Anthropic für die Analyse beibehalten wird:

oasis config set api-key anthropic sk-ant-xxx     # Für Analyse
oasis run -c gatekeeper -m gpt-4o -p openai       # Benchmark mit OpenAI

Konfiguration

Die Konfiguration wird in ~/.config/oasis/ gespeichert (XDG-konform):

• config.json — Einstellungen (Standardmodell, Anbieter, Pfade)
• credentials.json — API-Schlüssel (nur lokal, eingeschränkte Berechtigungen, niemals übertragen)

Umgebungsvariablen

Herausforderungen erstellen

Herausforderungen sind Docker-basierte CTF-Umgebungen. Jede Herausforderung benötigt:

• challenge.json — Metadaten, Bewertungsrubrik, Flagge und Zielinformationen
• docker-compose.yml — Zieldienst + Kali-Angriffscontainer

cp -r challenges/_template challenges/meine-herausforderung
# Bearbeiten Sie challenge.json und docker-compose.yml
oasis validate challenges/meine-herausforderung

Siehe die vollständige Herausforderungsspezifikation und bestehende Herausforderungen für Beispiele.

Entwicklung

git clone https://github.com/kryptsec/oasis.git
cd oasis
npm install
npm run build

# Lokal ausführen
node dist/index.js --help

# Entwicklermodus (tsx, ohne Build-Schritt)
npm run dev -- run -c gatekeeper -m claude-sonnet-4-5-20250929

# Tests
npm test

Mitwirken

Beiträge sind willkommen! Ob neue Herausforderungen, Anbieterunterstützung, Fehlerbehebungen oder Dokumentation:

1. Forken Sie das Repository
2. Erstellen Sie einen Feature-Branch
3. Nehmen Sie Ihre Änderungen vor
4. Führen Sie npm test zur Überprüfung aus
5. Öffnen Sie einen Pull-Request

Für Herausforderungsbeiträge reichen Sie diese bei oasis-challenges ein.

Lizenz

MIT — Kryptsec