FireProx

• Visão Geral
  • Benefícios
  • Avisos
• Mantenedor
• Crédito
• Uso Básico
• Instalação
• Capturas de Tela
• Contribuindo

Visão Geral

Ser capaz de ocultar ou rotacionar continuamente o endereço IP de origem ao fazer chamadas web pode ser difícil ou caro. Várias ferramentas existem há algum tempo, mas eram limitadas no número de endereços IP, caras ou exigiam a implantação de vários VPS. O FireProx aproveita o AWS API Gateway para criar proxies de passagem que rotacionam o endereço IP de origem a cada requisição! Use o FireProx para criar uma URL de proxy que aponta para um servidor de destino e então faça requisições web para a URL do proxy, que retorna a resposta do servidor de destino!

Trazido a você por:

Mantenedor

• Siga-me no Twitter para mais dicas, truques e ferramentas (ou apenas para dizer oi)! (Mike Felch - @ustayready)

Benefícios

• Rotaciona o endereço IP a cada requisição
• Configure regiões separadas
• Todos os métodos HTTP suportados
• Todos os parâmetros e URIs são passados adiante
• Crie, exclua, liste ou atualize proxies
• Spoof do cabeçalho IP de origem X-Forwarded-For fazendo a requisição com um cabeçalho X-My-X-Forwarded-For

Avisos

• O endereço IP de origem é passado para o destino no cabeçalho X-Forwarded-For pela AWS
  • ($100 para a primeira pessoa que descobrir como removê-lo na configuração AWS antes de chegar ao destino LOL!)
  • Graças a pelo incrível patch do X-Forwarded-For em menos de 1 hora!
• Não sou responsável se você não respeitar o robots.txt :)
• O CloudFlare parece às vezes detectar o X-Forwarded-For ao bloquear scrapers (PRECISA TESTAR COM O NOVO PATCH)
• O uso desta ferramenta em sistemas que não sejam de sua propriedade provavelmente viola a Política de Uso Aceitável da AWS e pode potencialmente levar ao encerramento ou suspensão da sua conta AWS. Além disso, mesmo o uso desta ferramenta em sistemas que você possui, ou para os quais tenha permissão explícita para realizar testes de penetração, está sujeito à política da AWS sobre testes de penetração.

Crédito

Após lançar o FireProx publicamente, soube que outras duas pessoas já estavam usando a técnica do AWS API Gateway. Pesquisando a cadeia de eventos e tendo ótimas conversas, percebi que a única razão pela qual eu sabia disso era por causa dessas pessoas. Achei que seria legal dar um agradecimento e crédito a elas. Siga essas pessoas — elas são incríveis.

Crédito para Ryan Hanson - @ryHanson, a primeira fonte conhecida da técnica do API Gateway

Agradecimento a Mike Hodges - @rmikehodges por torná-la pública no no BlackHat Arsenal 2018

Agradecimento especial, mais uma vez, ao meu bom amigo Ralph May - @ralphte1 por me apresentar a técnica há um tempo.

Uso Básico

Requer chave de acesso AWS e chave de acesso secreta ou aws cli configurado

usage: fire.py [-h] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

usage: fire.py [-h] [--profile_name PROFILE_NAME] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--session_token SESSION_TOKEN] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

optional arguments:
  -h, --help            show this help message and exit
  --profile_name PROFILE_NAME
                        AWS Profile Name to store/retrieve credentials
  --access_key ACCESS_KEY
                        AWS Access Key
  --secret_access_key SECRET_ACCESS_KEY
                        AWS Secret Access Key
  --session_token SESSION_TOKEN
                        AWS Session Token
  --region REGION       AWS Region
  --command COMMAND     Commands: list, create, delete, update
  --api_id API_ID       API ID
  --url URL             URL end-point

• Exemplos
  • exemplos/google.py: Use um proxy FireProx para raspar a pesquisa do Google.
  • exemplos/bing.py: Use um proxy FireProx para raspar a pesquisa do Bing.

Instalação

Você pode instalar e executar com o seguinte comando:

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
~/fireprox$ virtualenv -p python3 .
~/fireprox$ source bin/activate
(fireprox) ~/fireprox$ pip install -r requirements.txt
(fireprox) ~/fireprox$ python fire.py

Observe que é necessário Python 3.6.

Criando uma imagem Docker: (Atualmente não funciona no Docker for Windows, possivelmente devido às quebras de linha no entrypoint.sh.)

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
$ docker build -t fireprox .
$ docker run --rm -it fireprox -h

Capturas de Tela

Contribuindo

1. Crie uma issue para discutir sua ideia
2. Faça um fork do FireProx (https://github.com/ustayready/fireprox/fork)
3. Crie seu branch de funcionalidade (git checkout -b my-new-feature)
4. Faça commit das suas alterações (git commit -am 'Add some feature')
5. Envie para o branch (git push origin my-new-feature)
6. Crie um novo Pull Request

Relatórios de bugs, solicitações de funcionalidades e patches são bem-vindos.