te-k/harpoonCLI-инструмент для open source и threat intelligence
Инструмент командной строки для OSINT и Threat Intel.
В качестве предварительного требования для Harpoon необходимо установить зависимости lxml. На Debian/Ubuntu: sudo apt-get install libxml2-dev libxslt-dev python3-dev. На Fedora: sudo dnf install sqlite-devel automake bzip2 bzip2-devel bzip2-lib cython g++ gcc gcc-c++ kernel-devel libffi-devel libxlt libxml2 libxml2-devel libxslt libxslt-devel make openssl openssl-devel python3-dev python3-devel python3-lxml python-dev python-devel sqlite-devel.
Вам необходимо установить geoipupdate и правильно настроить для корректного использования геолокации (убедитесь, что у вас есть GeoLite2-Country GeoLite2-City GeoLite2-ASN в качестве EditionIDs).
Вы можете просто установить пакет из pypi с помощью pip install harpoon
Если приведенные выше инструкции не сработали, вы можете собрать инструмент из исходного кода, выполнив следующие команды в терминале (предполагается, что вы используете virtualenv):
git clone https://github.com/Te-k/harpoon.git
cd harpoon
pip3 install .
Возможно, вы захотите установить harpoontools для получения дополнительных команд, использующих возможности harpoon.
Для настройки harpoon выполните harpoon config и заполните необходимые ключи API.
Затем выполните harpoon update для загрузки необходимых файлов. Проверьте, какие плагины настроены, с помощью harpoon config -c.
Дополнительную информацию смотрите в wiki.
Если вы установили harpoon из pypi, просто выполните pip install -U harpoon.
Если вы установили harpoon из git-репозитория, перейдите в репозиторий и выполните следующие команды:
git pull origin master
pip install .
После настройки следующие плагины доступны в команде harpoon:
asn Собрать информацию об ASN
binaryedge Запросить API BinaryEdge
cache Запросить кэш веб-страницы из разных источников
censys Запросить информацию из базы данных Censys (https://censys.io/)
certspotter Получить сертификаты с https://sslmate.com/certspotter
circl Запросить пассивную DNS-базу CIRCL
config Настроить Harpoon
crtsh Поиск в https://crt.sh/ (база данных Certificate Transparency)
cybercure Поиск по базе данных разведки cybercure.ai для конкретных индикаторов.
dns Собрать DNS-информацию для домена или IP
dnsdb Запросить Farsight DNSDB
email Собрать информацию об адресе электронной почты
fullcontact Запросить API FullContact (https://www.fullcontact.com/)
github Запросить информацию Github через API
greynoise Запросить информацию из API GreyNoise (выберите Community или Enterprise через настройку api_type)
hashlookup Запросить базу данных хешей CIRCL
help Помощь по команде Harpoon
hibp Запросить API Have I Been Pwned (https://haveibeenpwned.com/)
hunter Запросить информацию hunter.io через API
hybrid Запросить платформу Hybrid Analysis
intel Собрать информацию о домене
ip Собрать информацию об IP-адресе
ipinfo Запросить информацию ipinfo.io
ip2locationio Запросить информацию IP2Location.io
koodous Запросить API Koodous
malshare Запросить базу данных MalShare
misp Получить информацию с сервера MISP через API
numverify Запросить информацию о номере телефона через NumVerify
opencage Прямое/обратное геокодирование с использованием OpenCage
otx Запросить информацию из AlienVault OTX
permacc Запросить информацию Perma.cc через API
pgp Поиск информации на PGP-серверах ключей
pt Запросить базу данных PassiveTotal
pulsedive Запросить API PulseDive
quad9 Проверить, заблокирован ли домен Quad9
robtex Поиск в API Robtex (https://www.robtex.com/api/)
safebrowsing Проверить, находится ли домен в списке безопасного просмотра Google
save Сохранить веб-страницу в кэш-платформах
securitytrails Запросить базу данных SecurityTrails
shodan Запросить API Shodan
spyonweb Поиск в SpyOnWeb через API
subdomains Исследовать поддомены домена
telegram Запросить информацию из Telegram через API
threatcrowd Запросить API ThreatCrowd
threatgrid Запросить API Threat Grid
threatminer Запросить базу данных ThreatMiner https://www.threatminer.org/
tor Проверить, является ли IP узлом выхода Tor из публичного списка
totalhash Запросить API Total Hash
twitter Запросить API Twitter
umbrella Проверить, входит ли домен в топ-1 миллиона доменов Umbrella
update Обновить данные Harpoon
urlhaus Запросить API urlhaus.abuse.ch
urlscan Поиск и отправка URL-адресов на urlscan.io
vt Запросить API VirusTotal
xforce Запросить IBM Xforce Exchange API
zetalytics Поиск в базе данных Zetalytics
Вы можете получить информацию о каждой команде с помощью harpoon help COMMAND
Спасибо людям, которые помогли улучшить Harpoon: @jakubd @marrouchi @grispan56 @christalib
Авторство логотипа принадлежит @euphoricfall и команде PulseDive
Этот код распространяется под лицензией GPLv3.