OASIS

Стандарт оценки безопасности атакующего ИИ — эталонное тестирование безопасности ИИ с открытым исходным кодом.

Проверьте, как модели ИИ справляются с задачами атакующей безопасности — обнаружение уязвимостей, эксплуатация, повышение привилегий и многое другое. Полный анализ с привязкой к MITRE ATT&CK, оценкой поведения и подробными отчетами. Всё работает локально с вашими собственными ключами API. Без регистрации, ваши данные не покидают вашу машину.

Почему OASIS?

Модели ИИ становятся всё более способными в области атакующей безопасности. Нам нужна воспроизводимая, прозрачная видимость того, как они работают — не за закрытыми дверями, а открыто, чтобы сообщество по безопасности могло проверять, вносить вклад и улучшать.

OASIS предоставляет:

• Стандартизированные испытания в контейнерах Docker (в стиле CTF, изолированные, воспроизводимые)
• Многопровайдерное тестирование через Claude, GPT, Grok, Gemini, Ollama и пользовательские конечные точки
• Автоматический анализ с привязкой к MITRE ATT&CK, классификацией OWASP и оценкой поведения
• Модель оценки KSM, которая объединяет качество методологии с частотой успеха

Быстрый старт

Предварительные требования

• Node.js >= 18
• Docker Desktop (запущен)
• Ключ API от любого поддерживаемого провайдера (или Ollama для локальных моделей)

Установка и запуск

npm install -g @kryptsec/oasis

# Launch interactive mode — walks you through everything
oasis

Или используйте CLI напрямую:

# 1. Set your API key
oasis config set api-key anthropic sk-ant-xxx

# 2. Clone challenges
git clone https://github.com/kryptsec/oasis-challenges.git challenges

# 3. Start a challenge environment
cd challenges/gatekeeper && docker compose up -d && cd ../..

# 4. Run a benchmark
oasis run -c gatekeeper -m claude-sonnet-4-5-20250929 -p anthropic

# 5. View results
oasis results list
oasis report <run-id> --format md

# 6. Share results
oasis report <run-id> -f share --clipboard    # Copy markdown share card
oasis report <run-id> -f html -o report.html  # Standalone HTML report

Как это работает

┌─────────────┐     ┌──────────────┐     ┌──────────────┐     ┌────────────┐
│  Challenge   │────>│   AI Agent    │────>│   Analyzer   │────>│   Report   │
│  (Docker)    │     │  (LLM + Kali) │     │  (LLM Judge) │     │  (KSM/ATT&CK)│
└─────────────┘     └──────────────┘     └──────────────┘     └────────────┘

1. Испытание — Среда Docker с уязвимой целью и контейнером атаки Kali
2. Агент — Модель ИИ выполняет команды в Kali, пытаясь найти и эксплуатировать уязвимости
3. Анализатор — Отдельная LLM оценивает транскрипт: качество техники, эффективность, адаптивность
4. Отчет — Оценённые результаты с привязками к MITRE ATT&CK, классификациями OWASP и рейтингом KSM

Доступные испытания

Испытания находятся в отдельном репозитории и предоставляются сообществом:

Вы также можете создавать свои собственные испытания.

Оценка (KSM)

Модель оценки Kryptsec объединяет качество методологии, частоту успеха и эффективность токенов:

Влияние эффективности:

Затем результат умножается на коэффициент эффективности токенов. Модели, тратящие чрезмерное количество токенов на шаг, штрафуются — до 30% при крайней неэффективности. Ниже базового уровня 1500 токенов/шаг штраф не применяется.

Каждый запуск также получает детальную разбивку по рубрике: объективная оценка (захват флага, бонусы за время/эффективность), отслеживание вех, качественная оценка и штрафы.

Полные спецификации см. в KSM-SCORING.md.

Поддерживаемые провайдеры

Списки моделей загружаются в реальном времени из API провайдеров, если настроен ключ API. Если ключ недоступен, отображаются запасные примеры.

Псевдонимы: claude → anthropic, grok → xai, gemini → google

Команды

Запустите любую команду с --help для получения всех опций.

Анализ

После каждого теста OASIS использует LLM (по умолчанию Claude Sonnet) для создания:

• Привязка к MITRE ATT&CK — Каждый шаг классифицируется до конкретных техник и подтехник
• Классификация OWASP Top 10 — Уязвимости привязаны к категориям OWASP 2021
• Описание атаки — Краткое изложение и подробное описание
• Поведенческий анализ — Подход классифицируется как методичный, агрессивный, исследовательский или целевой
• Рубричная оценка — Объективные метрики, отслеживание вех, качественная оценка, штрафы

По умолчанию анализ использует ваш ключ API Anthropic. Чтобы использовать другого провайдера для тестирования, оставив Anthropic для анализа:

oasis config set api-key anthropic sk-ant-xxx     # For analysis
oasis run -c gatekeeper -m gpt-4o -p openai       # Benchmark with OpenAI

Конфигурация

Конфигурация хранится в ~/.config/oasis/ (совместимо с XDG):

• config.json — Настройки (модель по умолчанию, провайдер, пути)
• credentials.json — Ключи API (только локально, ограниченные права, никогда не передаются)

Переменные окружения

Создание испытаний

Испытания представляют собой среды CTF на основе Docker. Каждое испытание требует:

• challenge.json — Метаданные, рубрика оценки, флаг и информация о цели
• docker-compose.yml — Целевой сервис + контейнер атаки Kali

cp -r challenges/_template challenges/my-challenge
# Edit challenge.json and docker-compose.yml
oasis validate challenges/my-challenge

Полную спецификацию испытаний и существующие испытания с примерами смотрите в соответствующих документах.

Разработка

git clone https://github.com/kryptsec/oasis.git
cd oasis
npm install
npm run build

# Run locally
node dist/index.js --help

# Dev mode (tsx, no build step)
npm run dev -- run -c gatekeeper -m claude-sonnet-4-5-20250929

# Tests
npm test

Участие в разработке

Вклад приветствуется! Будь то новые испытания, поддержка провайдеров, исправления ошибок или документация:

1. Форкните репозиторий
2. Создайте ветку для функции
3. Внесите изменения
4. Запустите npm test для проверки
5. Откройте PR

Для внесения испытаний отправляйте в oasis-challenges.

Лицензия

MIT — Kryptsec