OASIS

进攻性AI安全智能标准 — 开源AI安全基准测试。

基准测试AI模型执行进攻性安全任务的能力——漏洞发现、利用、权限提升等。完整分析包含MITRE ATT&CK映射、行为评分和详细报告。所有操作在本地运行，使用您自己的API密钥。无需注册，数据不会离开您的机器。

为什么选择OASIS？

AI模型在进攻性安全方面的能力日益增强。我们需要可重现、透明的可视化方式了解它们的表现——不是在关闭的门后，而是在安全社区可以验证、贡献和改进的开放环境中。

OASIS提供：

• 标准化挑战 在Docker容器中（CTF风格，隔离，可重现）
• 多提供商基准测试 涵盖Claude、GPT、Grok、Gemini、Ollama和自定义端点
• 自动化分析 包含MITRE ATT&CK映射、OWASP分类和行为评分
• KSM评分模型 将方法论质量与成功率相结合

快速开始

前提条件

• Node.js >= 18
• Docker Desktop（正在运行）
• 任何支持提供商的API密钥（或本地模型的Ollama）

安装与运行

npm install -g @kryptsec/oasis

# 启动交互模式——引导您完成所有步骤
oasis

或直接使用命令行：

# 1. 设置您的API密钥
oasis config set api-key anthropic sk-ant-xxx

# 2. 克隆挑战
git clone https://github.com/kryptsec/oasis-challenges.git challenges

# 3. 启动挑战环境
cd challenges/gatekeeper && docker compose up -d && cd ../..

# 4. 运行基准测试
oasis run -c gatekeeper -m claude-sonnet-4-5-20250929 -p anthropic

# 5. 查看结果
oasis results list
oasis report <run-id> --format md

# 6. 分享结果
oasis report <run-id> -f share --clipboard    # 复制Markdown分享卡片
oasis report <run-id> -f html -o report.html  # 独立的HTML报告

工作原理

┌─────────────┐     ┌──────────────┐     ┌──────────────┐     ┌────────────┐
│  挑战        │────>│  AI代理      │────>│  分析器      │────>│  报告      │
│  (Docker)   │     │  (LLM + Kali)│     │  (LLM评判器)  │     │  (KSM/ATT&CK)│
└─────────────┘     └──────────────┘     └──────────────┘     └────────────┘

1. 挑战 — 一个包含脆弱目标和Kali攻击容器的Docker环境
2. 代理 — AI模型在Kali中执行命令，尝试发现和利用漏洞
3. 分析器 — 另一个LLM评估记录：技术质量、效率、适应性
4. 报告 — 带MITRE ATT&CK映射、OWASP分类和KSM评分的评分结果

可用挑战

挑战位于单独的仓库中，由社区贡献：

您也可以创建自己的挑战。

评分（KSM）

Kryptsec评分模型 结合了方法论质量、成功率和令牌效率：

效能门控：

结果再乘以令牌效率因子。浪费过多令牌的模型会受到惩罚——极端低效时最多扣30%。低于每步1500个令牌的基线，则无惩罚。

每次运行还会得到详细的评分标准分解：客观评分（标记捕获、时间/效率奖励）、里程碑追踪、定性评估和惩罚。

完整规范见 KSM-SCORING.md。

支持的提供商

当API密钥配置后，模型列表从提供商API实时获取。无密钥时显示回退示例列表。

别名：claude → anthropic, grok → xai, gemini → google

命令

任何命令加上--help查看完整选项。

分析

每次基准测试后，OASIS使用LLM（默认Claude Sonnet）生成：

• MITRE ATT&CK映射 — 每一步分类到具体技术和子技术
• OWASP Top 10分类 — 漏洞映射到OWASP 2021类别
• 攻击叙事 — 执行摘要和详细步骤
• 行为分析 — 方法分类为有条理、激进、探索性或针对性
• 评分标准 — 客观指标、里程碑追踪、定性评估、惩罚

分析默认使用您的Anthropic API密钥。要在基准测试中使用其他提供商，同时保留Anthropic用于分析：

oasis config set api-key anthropic sk-ant-xxx     # 用于分析
oasis run -c gatekeeper -m gpt-4o -p openai       # 使用OpenAI进行基准测试

配置

配置存储在 ~/.config/oasis/（兼容XDG）：

• config.json — 设置（默认模型、提供商、路径）
• credentials.json — API密钥（仅本地、限制权限、绝不传输）

环境变量

创建挑战

挑战是基于Docker的CTF环境。每个挑战需要：

• challenge.json — 元数据、评分标准、标记和目标信息
• docker-compose.yml — 目标服务 + Kali攻击容器

cp -r challenges/_template challenges/my-challenge
# 编辑 challenge.json 和 docker-compose.yml
oasis validate challenges/my-challenge

查看完整的挑战规范和现有挑战示例。

开发

git clone https://github.com/kryptsec/oasis.git
cd oasis
npm install
npm run build

# 本地运行
node dist/index.js --help

# 开发模式（tsx，无需构建步骤）
npm run dev -- run -c gatekeeper -m claude-sonnet-4-5-20250929

# 测试
npm test

贡献

欢迎贡献！无论是新挑战、提供商支持、bug修复还是文档：

1. Fork仓库
2. 创建功能分支
3. 进行修改
4. 运行 npm test 验证
5. 提交PR

对于挑战贡献，请提交到 oasis-challenges。

许可证

MIT — Kryptsec