OSIPs

Этот скрипт рекурсивно сканирует каждый файл из заданной папки, извлекает все IPv4 и IPv6 адреса, отфильтровывает публичные IP-адреса и затем запрашивает эти IP-адреса в сетях TOR, сервисе WhoIs и службе определения местоположения. Он создаёт 4 файла: CSV-файл и JSON-файл со всеми деталями IP-адресов, CSV-файл с индексом каждого найденного IP-адреса и KML-файл со всеми собранными местоположениями.

Возможности

• Обрабатывает любое количество файлов за один запуск
• Также может быть запущен для одного входного файла
• Извлекает все уникальные корректные IPv4 и IPv6 адреса (корректно сравнивает два адреса, даже если они записаны по-разному)
• Собирает общедоступную информацию Who Is для всех публичных IP-адресов
• Запрашивает все публичные IP-адреса в ретрансляторах TOR
• Собирает информацию о географическом местоположении для всех публичных IP-адресов
• Может быть запущен с параметрами командной строки в неинтерактивном режиме для лёгкой интеграции в другие скрипты
• Может быть запущен без параметров, а входные значения могут быть введены интерактивно
• Позволяет пользователю выбирать, какие шаги выполнять или исключать
• Подробно выводит информацию на консоль на каждом выполняемом шаге
• Экспортирует все детали IP-адресов как в CSV-файл, так и в JSON-файл
• Экспортирует KML-файл, который можно легко загрузить на карту
• Сохраняет индекс всех найденных IP-адресов в отдельном CSV-файле для удобного отслеживания

Предварительные требования:

Python 3.9.x

Установка

Для установки зависимостей выполните:

pip install -r requirements.txt

Компиляция в исполняемый файл

pip install pyinstaller

pyinstaller --onefile osips.py

Использование

python osips.py [-h] [-F INPUTFOLDER] [-f INPUTFILE] [-p INPUTFILESPATTERN] [-o OUTPUTFILESNAME] [-t {y,n,Y,N}] [-w {y,n,Y,N}] [-l {y,n,Y,N}] [-locationEndpoint LOCATIONENDPOINT]

Интерактивно

python osips.py

Неинтерактивно

python osips.py --checkTor Y --checkWhoIs Y --checkLocations Y --inputFolder testFolder/ --inputFilesPattern * --outputFilesName test

Справка

python osips.py -h

Опции

• -h, --help Показать справку и выйти
• -F INPUTFOLDER, --inputFolder INPUTFOLDER Папка, содержащая файлы с IP-адресами (лог-файлы, файлы электронной почты, текстовые файлы и т.д.). IP-адреса могут быть IPv4 и/или IPv6 и могут находиться в любом месте файлов. Скрипт обработает каждый файл в папке и просканирует каждый IP-адрес.
• -f INPUTFILE, --inputFile INPUTFILE Используйте эту опцию для сканирования только одного файла вместо папки с файлами. Файл может быть любым текстовым файлом, содержащим IP-адреса (лог-файлы, файлы электронной почты, текстовые файлы и т.д.).
• -p INPUTFILESPATTERN, --inputFilesPattern INPUTFILESPATTERN Укажите шаблон для файлов во входной папке. Пример: * для всех файлов, *.txt для текстовых файлов.
• -o OUTPUTFILESNAME, --outputFilesName OUTPUTFILESNAME Имя для выходных файлов, БЕЗ РАСШИРЕНИЯ. С этим именем будут созданы 4 разных файла: CSV-файл с подробными данными IP-адресов, индексный файл с индексами IP, JSON-файл с данными и KML-файл с местоположениями.
• -t {y,n,Y,N}, --checkTor {y,n,Y,N} Укажите, хотите ли вы проверять каждый публичный IP-адрес на соответствие IP-адресам ретрансляторов TOR.
• -w {y,n,Y,N}, --checkWhoIs {y,n,Y,N} Укажите, хотите ли вы извлекать информацию WhoIs для каждого публичного IP-адреса.
• -l {y,n,Y,N}, --checkLocations {y,n,Y,N} Укажите, хотите ли вы геокодировать каждый публичный IP-адрес и извлечь информацию о местоположении с помощью .

Примечания

• Инструмент извлекает IPv4-адреса только в десятичной нотации с точками (xxx.xxx.xxx.xxx). Он не извлекает IPv4-адреса в десятичной, восьмеричной или шестнадцатеричной нотации из-за высокой вероятности ложных срабатываний.
• В зависимости от количества найденных публичных IP-адресов, запросы к онлайн-сервисам могут занять много времени. Если вы имеете дело с большим количеством IP-адресов, рекомендуется сначала запустить инструмент без запросов к сервисам и просто извлечь IP-адреса. После просмотра результата извлечения вы можете оценить общее время работы инструмента при запросах к сервисам и в итоге выбрать запрос только к одному или двум сервисам.
• Ретрансляторы TOR проверяются в момент запуска инструмента. Поскольку эти IP-адреса постоянно меняются, эта информация может быть не очень точной. Если для IP-адреса также можно определить дату, его следует проверить в ExoneraTor по адресу: https://metrics.torproject.org/exonerator.html
• Информация Who Is, а также информация о местоположении собирается в реальном времени из общедоступных сервисов, поэтому IP-адреса отправляются на эти сервисы. Существуют загружаемые базы данных, которые позволили бы собирать эту информацию локально, но эти загрузки не бесплатны и требуют постоянных обновлений. Этот инструмент не предназначен для работы с локальными базами данных.
• Сервис, используемый по умолчанию для сбора местоположения: https://reallyfreegeoip.org. Это бесплатный сервис без ограничений, но он может быть не очень точным. Вы можете сменить этот сервис на другой, используя параметр -locationEndpoint скрипта. Вы можете указать другой сервис, который принимает IP-адрес в качестве параметра и возвращает ответ JSON. Используйте в качестве заполнителя для местоположения IP-адреса. Примеры: https://ipapi.co//json, https://api.ipstack.com/?access_key=ACCESS_KEY, https://freeapi.robtex.com/ipquery/. Обратите внимание, что некоторые из этих других REST-конечных точек могут не возвращать требуемые поля, что нарушит логику скрипта. В этом случае метод с именем RequestInfoFromRestEndpoint следует соответствующим образом изменить.

Благодарности

• IPv6 regex -https://gist.github.com/dfee/6ed3a4b05cfe7a6faf40a2102408d5d8
• Onion Peeler: Batch Tor Lookup Program - http://az4n6.blogspot.com/2017/02/onion-peeler-batch-tor-lookup-program.html