FireProx

• Обзор
  • Преимущества
  • Отказ от ответственности
• Мейнтейнер
• Благодарности
• Базовое использование
• Установка
• Скриншоты
• Участие в разработке

Обзор

Возможность скрывать или постоянно менять исходный IP-адрес при выполнении веб-запросов может быть сложной или дорогостоящей. Некоторое время существовало несколько инструментов, но они либо были ограничены количеством IP-адресов, либо были дорогими, либо требовали развертывания большого количества VPS. FireProx использует AWS API Gateway для создания сквозных прокси, которые меняют исходный IP-адрес с каждым запросом! Используйте FireProx для создания URL прокси, указывающего на целевой сервер, а затем отправляйте веб-запросы к URL прокси, который возвращает ответ целевого сервера!

Предоставлено вам:

Мейнтейнер

• Следите за мной в Twitter, чтобы получать больше советов, трюков и инструментов (или просто чтобы поздороваться)! (Mike Felch - @ustayready)

Преимущества

• Меняет IP-адрес с каждым запросом
• Настройка отдельных регионов
• Поддерживаются все HTTP-методы
• Все параметры и URI передаются сквозь
• Создание, удаление, список или обновление прокси
• Подмена заголовка X-Forwarded-For с исходным IP-адресом путем запроса с заголовком X-My-X-Forwarded-For

Отказ от ответственности

• Исходный IP-адрес передается на целевой сервер в заголовке X-Forwarded-For через AWS
  • ($100 первому, кто придумает, как удалить его в конфигурации AWS до того, как он достигнет целевого сервера LOL!)
  • Спасибо за отличный патч для X-Forwarded-For в течение часа!
• Я не несу ответственности, если вы не соблюдаете robots.txt :)
• CloudFlare, похоже, иногда обнаруживает X-Forwarded-For при блокировке скраперов (НЕОБХОДИМО ПРОТЕСТИРОВАТЬ С НОВЫМ ПАТЧЕМ)
• Использование этого инструмента на системах, которые вам не принадлежат, скорее всего, нарушает Политику допустимого использования AWS и может привести к прекращению или приостановке действия вашей учетной записи AWS. Кроме того, даже использование этого инструмента на системах, которые вам принадлежат или на которые у вас есть явное разрешение на проведение тестирования на проникновение, подлежит политике AWS в отношении тестирования на проникновение.

Благодарности

После публичного выпуска FireProx я узнал, что двое других уже использовали технику AWS API Gateway. Исследуя цепочку событий и проведя несколько отличных бесед, я понял, что единственная причина, по которой я вообще узнал об этом, — эти люди. Я подумал, что было бы круто выразить им признательность и отдать должное, подпишитесь на этих людей — они потрясающие.

Благодарность Ryan Hanson - @ryHanson — первому известному источнику техники API Gateway

Привет Mike Hodges - @rmikehodges за публикацию в на BlackHat Arsenal 2018

Особая благодарность, снова, моему хорошему другу Ralph May - @ralphte1 за то, что познакомил меня с этой техникой некоторое время назад.

Базовое использование

Требуется ключ доступа AWS и секретный ключ доступа или настроенный aws cli

usage: fire.py [-h] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

usage: fire.py [-h] [--profile_name PROFILE_NAME] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--session_token SESSION_TOKEN] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

optional arguments:
  -h, --help            show this help message and exit
  --profile_name PROFILE_NAME
                        AWS Profile Name to store/retrieve credentials
  --access_key ACCESS_KEY
                        AWS Access Key
  --secret_access_key SECRET_ACCESS_KEY
                        AWS Secret Access Key
  --session_token SESSION_TOKEN
                        AWS Session Token
  --region REGION       AWS Region
  --command COMMAND     Commands: list, create, delete, update
  --api_id API_ID       API ID
  --url URL             URL end-point

• Примеры
  • examples/google.py: Используйте прокси FireProx для парсинга поиска Google.
  • examples/bing.py: Используйте прокси FireProx для парсинга поиска Bing.

Установка

Вы можете установить и запустить с помощью следующей команды:

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
~/fireprox$ virtualenv -p python3 .
~/fireprox$ source bin/activate
(fireprox) ~/fireprox$ pip install -r requirements.txt
(fireprox) ~/fireprox$ python fire.py

Обратите внимание, что требуется Python 3.6.

Сборка Docker-образа: (В настоящее время не работает на Docker для Windows, возможно, из-за окончаний строк в entrypoint.sh.)

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
$ docker build -t fireprox .
$ docker run --rm -it fireprox -h

Скриншоты

Участие в разработке

1. Создайте issue для обсуждения вашей идеи
2. Сделайте форк FireProx (https://github.com/ustayready/fireprox/fork)
3. Создайте свою ветку функции (git checkout -b my-new-feature)
4. Зафиксируйте изменения (git commit -am 'Add some feature')
5. Отправьте в ветку (git push origin my-new-feature)
6. Создайте новый Pull Request

Приветствуются сообщения об ошибках, запросы функций и патчи.