cycodelabs/ravenСканирует рабочие процессы GitHub Actions CI/CD на предмет уязвимостей безопасности, индексирует результаты в графовую базу данных Neo4j и предоставляет библиотеку запросов для обнаружения неправильных конфигураций, инъекций и рисков в цепочке поставок.
RAVEN (Risk Analysis and Vulnerability Enumeration for CI/CD) — это мощный инструмент безопасности, предназначенный для массового сканирования рабочих процессов GitHub Actions CI и анализа полученных данных в базе данных Neo4j. Разработан и поддерживается исследовательской командой Cycode.
С помощью Raven нам удалось выявить и сообщить об уязвимостях безопасности в некоторых из самых популярных репозиториев на GitHub, включая:
Мы перечислили все уязвимости, обнаруженные с помощью Raven, в Зале славы инструмента.
Инструмент предоставляет следующие возможности для сканирования и анализа потенциальных уязвимостей CI/CD:
Возможные варианты использования Raven:
Этот инструмент обеспечивает надёжное и масштабируемое решение для анализа безопасности CI/CD, позволяя пользователям запрашивать неверные конфигурации и получать ценную информацию о состоянии безопасности их кодовой базы.
За последний год Cycode Labs провела обширное исследование фундаментальных проблем безопасности систем CI/CD. Мы изучили глубины многих систем, тысячи проектов и несколько конфигураций. Вывод очевиден — модель, в которой безопасность делегируется разработчикам, провалилась. Это было доказано несколько раз в нашем предыдущем контенте:
Каждая из перечисленных выше уязвимостей имеет уникальные характеристики, что делает практически невозможным для разработчиков оставаться в курсе последних тенденций безопасности. К сожалению, у каждой уязвимости есть общая черта — каждая эксплуатация может затронуть миллионы жертв.
Именно по этим причинам был создан Raven — фреймворк для анализа безопасности рабочих процессов CI/CD (и GitHub Actions в качестве первого варианта использования). В нашем фокусе мы рассматривали сложные сценарии, где каждая проблема сама по себе не является угрозой, но в сочетании они представляют серьёзную опасность.
Чтобы начать работу с Raven, выполните следующие инструкции по установке:
Шаг 1: Установите пакет Raven```bash pip3 install raven-cycode
**Шаг 2**: Настройте локальный сервер Redis и базу данных Neo4j```bash
docker run -d --name raven-neo4j -p7474:7474 -p7687:7687 --env NEO4J_AUTH=neo4j/123456789 --volume raven-neo4j:/data neo4j:5.12
docker run -d --name raven-redis -p6379:6379 --volume raven-redis:/data redis:7.2.1
Другой способ настройки окружения — запустить наш предоставленный файл docker compose:```bash git clone https://github.com/CycodeLabs/raven.git cd raven make setup
**Шаг 3**: Запустите Raven Downloader
Режим учетной записи:```bash
raven download account --token $GITHUB_TOKEN --account-name RavenDemo
Режим обхода:```bash raven download crawl --token $GITHUB_TOKEN --min-stars 1000
**Шаг 4**: Запустите Raven Indexer```bash
raven index
Шаг 5: Просмотрите результаты через репортер```bash raven report --format raw
На данный момент можно просмотреть данные в базе данных Neo4j, подключившись по адресу http://localhost:7474/browser/.
### Предварительные требования
- Python 3.9+
- Docker Compose v2.1.0+
- Docker Engine v1.13.0+
## Инфраструктура
Raven использует два основных docker-контейнера: Redis и Neo4j.
`make setup` выполнит команду `docker compose` для подготовки этой среды.
## Использование
Инструмент содержит три основные функции: `download`, `index` и `report`.
### Скачивание
#### Скачать репозитории аккаунта```bash
usage: raven download account [-h] --token TOKEN [--debug] [--redis-host REDIS_HOST] [--redis-port REDIS_PORT] [--clean-redis] (--account-name ACCOUNT_NAME | --personal)
options:
-h, --help show this help message and exit
--token TOKEN GITHUB_TOKEN to download data from Github API (Needed for effective rate-limiting)
--debug Whether to print debug statements, default: False
--redis-host REDIS_HOST
Redis host, default: localhost
--redis-port REDIS_PORT
Redis port, default: 6379
--clean-redis, -cr Whether to clean cache in the redis, default: False
--account-name ACCOUNT_NAME
Account name for downloading the workflows, can be used multiple times
--personal Download repositories owned by the authenticated user
usage: raven download crawl [-h] --token TOKEN [--debug] [--redis-host REDIS_HOST] [--redis-port REDIS_PORT] [--clean-redis] [--max-stars MAX_STARS] [--min-stars MIN_STARS]
options: -h, --help show this help message and exit --token TOKEN GITHUB_TOKEN to download data from Github API (Needed for effective rate-limiting) --debug Whether to print debug statements, default: False --redis-host REDIS_HOST Redis host, default: localhost --redis-port REDIS_PORT Redis port, default: 6379 --clean-redis, -cr Whether to clean cache in the redis, default: False --max-stars MAX_STARS Maximum number of stars for a repository --min-stars MIN_STARS Minimum number of stars for a repository, default: 1000
### Содержание```bash
usage: raven index [-h] [--redis-host REDIS_HOST] [--redis-port REDIS_PORT] [--clean-redis] [--neo4j-uri NEO4J_URI] [--neo4j-user NEO4J_USER] [--neo4j-pass NEO4J_PASS]
[--clean-neo4j] [--debug]
options:
-h, --help show this help message and exit
--redis-host REDIS_HOST
Redis host, default: localhost
--redis-port REDIS_PORT
Redis port, default: 6379
--clean-redis, -cr Whether to clean cache in the redis, default: False
--neo4j-uri NEO4J_URI
Neo4j URI endpoint, default: neo4j://localhost:7687
--neo4j-user NEO4J_USER
Neo4j username, default: neo4j
--neo4j-pass NEO4J_PASS
Neo4j password, default: 123456789
--clean-neo4j, -cn Whether to clean cache, and index from scratch, default: False
--debug Whether to print debug statements, default: False
usage: raven report [-h] [--redis-host REDIS_HOST] [--redis-port REDIS_PORT] [--clean-redis] [--neo4j-uri NEO4J_URI] [--neo4j-user NEO4J_USER] [--neo4j-pass NEO4J_PASS] [--clean-neo4j] [--tag {injection,unauthenticated,fixed,priv-esc,supply-chain,best-practice,endoflife,reconnaissance}] [--severity {info,low,medium,high,critical}] [--query_ids RQ-1,..,RQ-16] [--queries-path QUERIES_PATH] [--format {raw,json}] {slack} ...
positional arguments: {slack} slack Send report to slack channel
options: -h, --help show this help message and exit --redis-host REDIS_HOST Redis host, default: localhost --redis-port REDIS_PORT Redis port, default: 6379 --clean-redis, -cr Whether to clean cache in the redis, default: False --neo4j-uri NEO4J_URI Neo4j URI endpoint, default: neo4j://localhost:7687 --neo4j-user NEO4J_USER Neo4j username, default: neo4j --neo4j-pass NEO4J_PASS Neo4j password, default: 123456789 --clean-neo4j, -cn Whether to clean cache, and index from scratch, default: False --tag {injection,unauthenticated,fixed,priv-esc,supply-chain,best-practice,endoflife,reconnaissance}, -t {injection,unauthenticated,fixed,priv-esc,supply-chain,best-practice,endoflife,reconnaissance} Filter queries with specific tag --severity {info,low,medium,high,critical}, -s {info,low,medium,high,critical} Filter queries by severity level (default: info) --query_ids RQ-1,..,RQ-16, -id RQ-1,..,RQ-16 Filter queries by query ids (example: RQ-2,RQ-8) --queries-path QUERIES_PATH, -dp QUERIES_PATH Queries folder (default: library) --format {raw,json}, -f {raw,json} Report format (default: raw)
## Примеры
Получить все рабочие процессы и действия, связанные с любой учетной записью (пользователь/организация).```bash
raven download account --token $GITHUB_TOKEN --account-name microsoft --account-name google --debug
Соберите все общедоступные репозитории GitHub.```bash raven download crawl --token $GITHUB_TOKEN --min-stars 100 --max-stars 1000 --debug
После завершения процесса загрузки или если он был прерван с помощью Ctrl+C, выполните индексацию всех рабочих процессов и действий в базу данных Neo4j.```bash
raven index --debug
Теперь мы можем создать отчет, используя нашу библиотеку запросов.```bash raven report --severity high --tag injection --tag unauthenticated
## Ограничение частоты запросов
Для эффективного ограничения частоты запросов следует указать токен GitHub.
Для аутентифицированных пользователей действуют следующие ограничения частоты:
- Поиск кода — 30 запросов в минуту
- Любой другой API — 5000 в час
## База знаний исследований
- [Инъекции в Issues](https://github.com/CycodeLabs/raven/blob/main/docs/Issue%20Injections/README.md)
- [Инъекции в Pull Request](https://github.com/CycodeLabs/raven/blob/main/docs/Pull%20Request%20Injections/README.md)
- [Инъекции в запуски Workflow](https://github.com/CycodeLabs/raven/blob/main/docs/Multi%20Prerequisite%20Exploits/README.md)
- [Инъекции в CodeSee](https://github.com/CycodeLabs/raven/blob/main/docs/Codesee%20Injections/README.md)
## Текущие ограничения
- Возможно запустить внешнее действие, ссылаясь на папку с `Dockerfile` (без `action.yml`). В настоящее время это поведение не поддерживается.
- Возможно запустить внешнее действие, ссылаясь на Docker-контейнер через URL `docker://...`. В настоящее время это поведение не поддерживается.
- Возможно запустить действие, ссылаясь на него локально. Это создаёт сложное поведение, так как оно может быть из другого репозитория, который был ранее проверен. Текущее поведение пытается найти его в существующем репозитории.
- Мы не моделируем всю структуру workflow. Если нужны дополнительные поля, отправьте pull request в соответствии с [руководством по внесению вклада](https://github.com/CycodeLabs/raven/blob/main/CONTRIBUTING.md).
## Будущие исследовательские работы
- Реализация taint-анализа. Пример использования: пользователь может передать заголовок pull request (который является контролируемым параметром) в параметр действия с именем `data`. Этот параметр действия может быть использован в команде run: `- run: echo ${{ inputs.data }}`, что создаёт путь для выполнения кода.
- Расширить исследование для выявления вредоносного неправильного использования `GITHUB_ENV`. Это может также использовать предыдущий taint-анализ.
- Исследовать, представляет ли `actions/github-script` интересный ландшафт угроз. Если да, его можно смоделировать в графе.
## Лицензия
[Apache License 2.0](https://github.com/CycodeLabs/raven/blob/main/LICENSE.md)
## Зал славы — уязвимости, найденные и раскрытые с помощью Raven
| Название | Звёзды | Исправление | Дополнительные источники |
| ------ | -------- | ---- | -------------------- |
| [freeCodeCamp/freeCodeCamp](https://github.com/freeCodeCamp/freeCodeCamp) |  | CodeSee package update, [0871341](https://github.com/freeCodeCamp/freeCodeCamp/commit/0871341c9cbf96ab455bc3e0bce636e2ef2a2be2) | [Блог](https://cycode.com/blog/cycode-secures-thousands-of-open-source-projects/) |
| [Significant-Gravitas/AutoGPT](https://github.com/Significant-Gravitas/AutoGPT) |  | [cdae7f8](https://github.com/Significant-Gravitas/AutoGPT/pull/6313/commits/cdae7f84ce0b2879fdcc1fa04956cdaa42a07bfb) | | [storybookjs/storybook](https://github.com/storybookjs/storybook) |  | [ffb8558](https://github.com/storybookjs/storybook/commit/ffb8558b7e5df4644299e5ec7009ade6ca1a721c) | [Блог](https://cycode.com/ci-story-how-we-found-critical-vulnerabilities-in-storybook-project/) |
| [tiangolo/fastapi](https://github.com/tiangolo/fastapi) |  | [9efab1b](https://github.com/tiangolo/fastapi/commit/9efab1bd96ef061edf1753626573a0a2be1eef09) | [LinkedIn](https://www.linkedin.com/feed/update/urn:li:activity:7011753940283203584/) |
| [withastro/astro](https://github.com/withastro/astro) |  | [650fb1a](https://github.com/withastro/astro/commit/650fb1aa51a1c843c10bc89a11732b45a6345b00) | [Блог](https://cycode.com/github-actions-vulnerabilities/) |
| [statelyai/xstate](https://github.com/statelyai/xstate) |  | CodeSee package update | [Блог](https://cycode.com/blog/cycode-secures-thousands-of-open-source-projects/) |
| [bazelbuild/bazel](https://github.com/bazelbuild/bazel) |  | [3561f07](https://github.com/bazelbuild/continuous-integration/commit/3561f079e0414d31ebba923815695e1e714937cb) | [Блог](https://cycode.com/blog/cycode-discovers-a-supply-chain-vulnerability-in-bazel/) |
| [docker-slim/docker-slim](https://github.com/docker-slim/docker-slim) |  | CodeSee package update | [Блог](https://cycode.com/blog/cycode-secures-thousands-of-open-source-projects/) |
| [microsoft/fluentui](https://github.com/microsoft/fluentui) |  | [2ea6195](https://github.com/microsoft/fluentui/commit/2ea6195152131766641311ee5604e746b578d8e7) | [Блог](https://cycode.com/blog/analyzing-the-vulnerability-that-could-have-compromised-microsoft-365-users/) |
| [tiangolo/sqlmodel](https://github.com/tiangolo/sqlmodel) |  | [cf36b2d](https://github.com/tiangolo/sqlmodel/commit/cf36b2d9baccf527bc61071850f102e2cd8bf6bf) | [LinkedIn](https://www.linkedin.com/feed/update/urn:li:activity:7011753940283203584/) |
| [tiangolo/typer](https://github.com/tiangolo/typer) |  | [0c106a1](https://github.com/tiangolo/typer/commit/0c106a169e5e3c7df6f98e32a6d8405c985b695a) | [LinkedIn](https://www.linkedin.com/feed/update/urn:li:activity:7011753940283203584/) |
| [juspay/hyperswitch](https://github.com/juspay/hyperswitch) |  | [a052f9a](https://github.com/juspay/hyperswitch/pull/2797/commits/a052f9a9c921ec0ff8c526097841be5777faf835) | |
| [autogluon/autogluon](https://github.com/autogluon/autogluon) |  | [ca18fa9](https://github.com/autogluon/autogluon/commit/ca18fa9fa2071f670125fd19700cf3570a6b5119) | |
| [apache/camel](https://github.com/apache/camel) |  | [02e512a](https://github.com/apache/camel/pull/11879/commits/02e512ae1ab0a471e80d86096ea79b45789aa105) | | [liquibase/liquibase](https://github.com/liquibase/liquibase) |  | [3278525](https://github.com/liquibase/liquibase/commit/3278525eaf974daea20808926f9a6816aecd01a7) | [Блог](https://cycode.com/github-actions-vulnerabilities/) |
| [ossf/scorecard](https://github.com/ossf/scorecard) |  | [c9f582b](https://github.com/ossf/scorecard/commit/c9f582b620a57a1a476f4e3add505ff50c51a774) | |
| [Ombi-app/Ombi](https://github.com/Ombi-app/Ombi) |  | [5cc0d77](https://github.com/Ombi-app/Ombi/commit/5cc0d7727d72fe1fee8a3f6c3874d44a5b785de4) | [Блог](https://cycode.com/github-actions-vulnerabilities/) |
| [wireapp/wire-ios](https://github.com/wireapp/wire-ios) |  | [9d39d6c](https://github.com/wireapp/wire-ios/commit/9d39d6c93b5a58a0bc8c1aba10e0d67756359630) | [Блог](https://cycode.com/github-actions-vulnerabilities/) |
| [cloudscape-design/components](https://github.com/cloudscape-design/components) |  | [2921d2d](https://github.com/cloudscape-design/.github/commit/2921d2d1420fef5b849d5aecbcfb9138ac6b9dcc) | |
| [DynamoDS/Dynamo](https://github.com/DynamoDS/Dynamo) |  | Workflow отключён | [Блог](https://cycode.com/github-actions-vulnerabilities/) |
| [fauna/faunadb-js](https://github.com/fauna/faunadb-js) |  | [ee6f53f](https://github.com/fauna/faunadb-js/commit/ee6f53f9c985bde41976743530e3846dee058587) | [Блог](https://cycode.com/github-actions-vulnerabilities/) |
| [apache/incubator-kie-kogito-runtimes](https://github.com/apache/incubator-kie-kogito-runtimes) |  | [53c18e5](https://github.com/apache/incubator-kie-kogito-runtimes/commit/53c18e5372e5306e0aa580f201f820b80359ad11) | [Блог](https://cycode.com/github-actions-vulnerabilities/) |
## Хотите больше о безопасности CI/CD, AppSec и ASPM? Ознакомьтесь с Cycode
Если вам понравился Raven, вам, вероятно, понравится наша платформа [Cycode](https://cycode.com/?utm_source=github_website&utm_medium=referral&utm_campaign=raven_page), которая предлагает ещё более расширенные возможности для видимости, приоритизации и устранения уязвимостей в процессе доставки программного обеспечения.
Если вы заинтересованы в надёжном, основанном на исследованиях решении для безопасности конвейеров (Pipeline Security), безопасности приложений (Application Security) или ASPM, не стесняйтесь связаться с нами или запросить демонстрацию, воспользовавшись формой [https://cycode.com/book-a-demo/](https://cycode.com/book-a-demo/?utm_source=github_website&utm_medium=referral&utm_campaign=raven_page).