OASIS

攻撃的AIセキュリティインテリジェンス標準 — オープンソースAIセキュリティベンチマーキング。

AIモデルが攻撃的セキュリティタスク（脆弱性発見、悪用、権限昇格など）をどの程度実行できるかをベンチマークします。完全な分析：MITRE ATT&CKマッピング、行動スコアリング、詳細レポート付き。すべてローカルで実行、自分のAPIキーを使用。アカウント不要、データはマシンから外部に出ません。

OASISを選ぶ理由

AIモデルは攻撃的セキュリティにおいてますます能力を高めています。再現可能で透明性のある可視性が必要です。密室ではなく、セキュリティコミュニティが検証、貢献、改善できるオープンな場で。

OASISが提供するもの：

• 標準化されたチャレンジ：Dockerコンテナ内（CTF形式、隔離、再現可能）
• マルチプロバイダベンチマーキング：Claude、GPT、Grok、Gemini、Ollama、カスタムエンドポイント
• 自動分析：MITRE ATT&CKマッピング、OWASP分類、行動スコアリング
• KSMスコアリングモデル：方法論の質と成功率を組み合わせる

クイックスタート

前提条件

• Node.js >= 18
• Docker Desktop（実行中）
• サポート対象プロバイダのAPIキー（ローカルモデル用のOllamaを除く）

インストールと実行

npm install -g @kryptsec/oasis

# インタラクティブモードを起動 — すべてをガイドします
oasis

またはCLIを直接使用：

# 1. APIキーを設定
oasis config set api-key anthropic sk-ant-xxx

# 2. チャレンジをクローン
git clone https://github.com/kryptsec/oasis-challenges.git challenges

# 3. チャレンジ環境を起動
cd challenges/gatekeeper && docker compose up -d && cd ../..

# 4. ベンチマークを実行
oasis run -c gatekeeper -m claude-sonnet-4-5-20250929 -p anthropic

# 5. 結果を表示
oasis results list
oasis report <run-id> --format md

# 6. 結果を共有
oasis report <run-id> -f share --clipboard    # マークダウン共有カードをコピー
oasis report <run-id> -f html -o report.html  # スタンドアロンHTMLレポート

動作の仕組み

┌─────────────┐     ┌──────────────┐     ┌──────────────┐     ┌────────────┐
│  Challenge   │────>│   AI Agent    │────>│   Analyzer   │────>│   Report   │
│  (Docker)    │     │  (LLM + Kali) │     │  (LLM Judge) │     │  (KSM/ATT&CK)│
└─────────────┘     └──────────────┘     └──────────────┘     └────────────┘

1. チャレンジ — 脆弱なターゲットとKali攻撃コンテナを含むDocker環境
2. エージェント — AIモデルがKali内でコマンドを実行し、脆弱性の発見と悪用を試みる
3. アナライザー — 別のLLMがトランスクリプトを評価：技術の質、効率性、適応性
4. レポート — MITRE ATT&CKマッピング、OWASP分類、KSM評価を含むスコアリング結果

利用可能なチャレンジ

チャレンジは別のリポジトリにあり、コミュニティがコントリビュートしています：

また、独自のチャレンジを作成することもできます。

スコアリング（KSM）

Kryptsecスコアリングモデルは、方法論の質、成功率、トークン効率を組み合わせます：

有効性による制限：

その後、結果にトークン効率係数が乗算されます。ステップあたり過剰なトークンを消費するモデルはペナルティを受けます — 極端に非効率な場合は最大30％の減点。ベースラインの1500トークン/ステップ未満ではペナルティはありません。

各実行には詳細なルーブリックの内訳も含まれます：客観的スコアリング（フラグ取得、時間/効率ボーナス）、マイルストーン追跡、定性的評価、ペナルティ。

詳細な仕様はKSM-SCORING.mdを参照。

サポートされているプロバイダ

モデルリストは、APIキーが設定されている場合、プロバイダAPIからライブで取得されます。キーがない場合はフォールバックの例リストが表示されます。

エイリアス： claude → anthropic、 grok → xai、 gemini → google

コマンド

すべてのコマンドは --help で完全なオプションを表示できます。

分析

各ベンチマーク後、OASISはLLM（デフォルトではClaude Sonnet）を使用して以下を生成します：

• MITRE ATT&CKマッピング — 各ステップを特定のテクニックとサブテクニックに分類
• OWASP Top 10分類 — 脆弱性をOWASP 2021カテゴリにマッピング
• 攻撃記述 — エグゼクティブサマリーと詳細なウォークスルー
• 行動分析 — アプローチを体系的、攻撃的、探索的、または標的型に分類
• ルーブリックスコアリング — 客観的指標、マイルストーン追跡、定性的評価、ペナルティ

分析はデフォルトでAnthropic APIキーを使用します。分析にはAnthropicを維持しつつ、ベンチマークに別のプロバイダを使用するには：

oasis config set api-key anthropic sk-ant-xxx     # 分析用
oasis run -c gatekeeper -m gpt-4o -p openai       # OpenAIでベンチマーク

設定

設定は ~/.config/oasis/（XDG準拠）に保存されます：

• config.json — 設定（デフォルトモデル、プロバイダ、パス）
• credentials.json — APIキー（ローカルのみ、制限付きパーミッション、送信不可）

環境変数

チャレンジの作成

チャレンジはDockerベースのCTF環境です。各チャレンジには以下が必要です：

• challenge.json — メタデータ、スコアルーブリック、フラグ、ターゲット情報
• docker-compose.yml — ターゲットサービスとKali攻撃コンテナ

cp -r challenges/_template challenges/my-challenge
# challenge.json と docker-compose.yml を編集
oasis validate challenges/my-challenge

完全なチャレンジ仕様と既存のチャレンジを参照してください。

開発

git clone https://github.com/kryptsec/oasis.git
cd oasis
npm install
npm run build

# ローカルで実行
node dist/index.js --help

# 開発モード（tsx、ビルド不要）
npm run dev -- run -c gatekeeper -m claude-sonnet-4-5-20250929

# テスト
npm test

貢献

コントリビューションを歓迎します！新しいチャレンジ、プロバイダサポート、バグ修正、ドキュメントなど、どのようなものでも構いません：

1. リポジトリをフォーク
2. フィーチャーブランチを作成
3. 変更を加える
4. npm test を実行して確認
5. PRを開く

チャレンジのコントリビューションは oasis-challenges に提出してください。

ライセンス

MIT — Kryptsec