Логотип Festin

`FestIN` — мощный инструмент для поиска S3-корзин и обнаружения контента

Что такое FestIn
Почему Festin
Установка
- Использование Python
- Использование Docker
Все параметры
Использование
Пример: Использование FestIn вместе с DnsRecon
Вопросы и ответы
Кто использует FestIn
MrLooquer
Лицензия

Что такое FestIn

FestIn — это инструмент для обнаружения открытых S3-корзин, начиная с доменов.

Он выполняет множество тестов и собирает информацию из:

DNS
Веб-страницы (краулер)
Сама S3-корзина (например, S3-редиректы)

Почему Festin

Существует множество S3-инструментов для перечисления и обнаружения S3-корзин. Некоторые из них отличные, но ни один из них не имеет полного набора функций, которые есть у Festin.

Основные функции, которые делают Festin отличным:

Различные методы для поиска корзин: сканирование (crawling), DNS-сканирование и анализ S3-ответов.
Поддержка прокси для туннелирования запросов.
Учётные данные AWS не требуются.
Работает с любым S3-совместимым провайдером, не только с AWS.
Позволяет настраивать пользовательские DNS-серверы.
Встроенный высокопроизводительный HTTP-краулер.
Рекурсивный поиск и обратная связь от трёх движков: домен, найденный DNS-краулером, отправляется в анализатор S3 и HTTP-краулера, и то же самое для S3 и краулера.
Работает в режиме «наблюдения», прослушивая новые домены в реальном времени.
Сохраняет все обнаруженные домены в отдельный файл для дальнейшего анализа.
Позволяет загружать объекты корзин и автоматически помещать их в движок полнотекстового поиска (Redis Search), индексируя содержимое объектов для дальнейшего мощного поиска.
Ограничить поиск одним или несколькими доменами.

Установка

Использование Python

Требуется Python 3.8 и выше!

$ pip install festin
$ festin -h

Использование Docker

$ docker run --rm -it cr0hn/festin -h

Все параметры

$ festin -h
usage: __main__.py [-h] [--version] [-f FILE_DOMAINS] [-w] [-c CONCURRENCY] [--no-links] [-T HTTP_TIMEOUT] [-M HTTP_MAX_RECURSION] [-dr DOMAIN_REGEX] [-rr RESULT_FILE] [-rd DISCOVERED_DOMAINS] [-ra RAW_DISCOVERED_DOMAINS]
                   [--tor] [--debug] [--no-print] [-q] [--index] [--index-server INDEX_SERVER] [-dn] [-ds DNS_RESOLVER]
                   [domains [domains ...]]

Festin - the powered S3 bucket finder and content discover

positional arguments:
  domains

optional arguments:
  -h, --help            show this help message and exit
  --version             show version
  -f FILE_DOMAINS, --file-domains FILE_DOMAINS
                        file with domains
  -w, --watch           watch for new domains in file domains '-f' option
  -c CONCURRENCY, --concurrency CONCURRENCY
                        max concurrency

HTTP Probes:
  --no-links            extract web site links
  -T HTTP_TIMEOUT, --http-timeout HTTP_TIMEOUT
                        set timeout for http connections
  -M HTTP_MAX_RECURSION, --http-max-recursion HTTP_MAX_RECURSION
                        maximum recursison when follow links
  -dr DOMAIN_REGEX, --domain-regex DOMAIN_REGEX
                        only follow domains that matches this regex

Results:
  -rr RESULT_FILE, --result-file RESULT_FILE
                        results file
  -rd DISCOVERED_DOMAINS, --discovered-domains DISCOVERED_DOMAINS
                        file name for storing new discovered after apply filters
  -ra RAW_DISCOVERED_DOMAINS, --raw-discovered-domains RAW_DISCOVERED_DOMAINS
                        file name for storing any domain without filters

Connectivity:
  --tor                 Use Tor as proxy

Display options:
  --debug               enable debug mode
  --no-print            doesn't print results in screen
  -q, --quiet           Use quiet mode

Redis Search:
  --index               Download and index documents into Redis
  --index-server INDEX_SERVER
                        Redis Search ServerDefault: redis://localhost:6379

DNS options:
  -dn, --no-dnsdiscover
                        not follow dns cnames
  -ds DNS_RESOLVER, --dns-resolver DNS_RESOLVER
                        comma separated custom domain name servers

Использование

Настройка доменов для поиска

По умолчанию FestIn принимает начальный домен как параметр командной строки:

> festin mydomain.com

Но вы также можете настроить внешний файл со списком доменов:

> cat domains.txt
domain1.com
domain2.com
domain3.com
> festin -f domains.txt

Параллельность

FestIn выполняет много тестов для одного домена. Каждый тест выполняется параллельно. По умолчанию параллельность установлена на 5. Если вы хотите увеличить количество параллельных тестов, установите параметр -c

> festin -c 10 mydomain.com

Будьте осторожны с количеством параллельных тестов, иначе на некоторых сайтах могут возникнуть «тревоги».

Настройка HTTP-сканирования

FestIn содержит небольшой краулер для обнаружения ссылок на S3-корзины. Краулер принимает следующие параметры:

Тайм-аут (-T или --http-timeout): настройка тайм-аута для HTTP-соединиений. Если веб-сайт домена, который вы хотите проанализировать, медленный, мы рекомендуем увеличить это значение. По умолчанию тайм-аут составляет 5 секунд.
Максимальная рекурсия (-H или --http-max-recursion): это значение устанавливает предел рекурсии краулера. В противном случае FestIn просканирует весь интернет. По умолчанию это значение равно 3. Это означает, что будет следовать только: domain1.com -> [link] -> domain2.com -> [link] -> domain3.com -> [link] -> Достигнута максимальная рекурсия. Остановка.
Ограничение доменов (-dr или --domain-regex): установите этот параметр, чтобы ограничить краулер только теми доменами, которые соответствуют этому регулярному выражению.
Чёрный список (-B): настройка файла со словами чёрного списка. Каждый домен, соответствующий какому-либо слову в чёрном списке, будет пропущен.
Белый список (-W): настройка файла со словами белого списка. Каждый домен, НЕ соответствующий какому-либо слову в белом списке, будет пропущен.

Пример:

festin

Популярное

FestIN — мощный инструмент для поиска S3-корзин и обнаружения контента