smicallef/spiderfootАвтоматизирует сбор и анализ данных OSINT для анализа угроз, картирования поверхности атак и разведки. Интегрирует более 200 модулей для исследования DNS, электронной почты, социальных сетей и даркнета.
SpiderFoot — это инструмент автоматизации разведки по открытым источникам (OSINT). Он интегрируется практически со всеми доступными источниками данных и использует ряд методов анализа данных, делая эти данные удобными для навигации.
SpiderFoot имеет встроенный веб-сервер для предоставления чистого и интуитивно понятного веб-интерфейса, но также может использоваться полностью через командную строку. Он написан на Python 3 и распространяется по лицензии MIT.
Нужно больше от SpiderFoot? Ознакомьтесь с SpiderFoot HX для:
Полный список отличий между SpiderFoot HX и версией с открытым исходным кодом смотрите здесь.
SpiderFoot может использоваться в наступательных целях (например, в рамках учений Red Team или пентеста) для разведки цели или в оборонительных целях для сбора информации о том, что вы или ваша организация могли раскрыть в интернете.
Вы можете задать следующие сущности в качестве цели сканирования SpiderFoot:
Более 200 модулей SpiderFoot взаимодействуют друг с другом по модели издатель/подписчик, чтобы обеспечить максимальное извлечение данных для выполнения таких задач, как:
Для установки и запуска SpiderFoot вам понадобится Python 3.7 или выше, а также ряд библиотек Python, которые можно установить с помощью pip. Мы рекомендуем устанавливать пакетный релиз, поскольку ветка master часто содержит передовые функции и модули, которые не прошли полное тестирование.
wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz tar zxvf v4.0.tar.gz cd spiderfoot-4.0 pip3 install -r requirements.txt python3 ./sf.py -l 127.0.0.1:5001
#### Сборка для разработки (клонирование ветки master из git):```
git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt
python3 ./sf.py -l 127.0.0.1:5001
Посмотрите документацию и наши видео на asciinema для получения дополнительных учебных материалов.
Будь вы участником, пользователем или просто интересуетесь SpiderFoot и OSINT в целом, мы будем рады видеть вас в нашем сообществе! Теперь у SpiderFoot есть сервер Discord для получения помощи от сообщества, запроса функций или просто общих разговоров об OSINT.
У нас есть подробное описание и справочник по набору правил корреляции, представленных в SpiderFoot 4.0 здесь.
Также взгляните на файл template.yaml для ознакомления. Существующие 37 правил также вполне читабельны и хороши в качестве отправной точки для дополнительных правил.