FireProx

• Übersicht
  • Vorteile
  • Haftungsausschlüsse
• Betreuer
• Anerkennung
• Grundlegende Nutzung
• Installation
• Screenshots
• Mitwirken

Übersicht

Die Quell-IP-Adresse bei Webaufrufen verbergen oder kontinuierlich rotieren zu können, kann schwierig oder teuer sein. Es gibt seit einiger Zeit eine Reihe von Tools, die jedoch entweder in der Anzahl der IP-Adressen begrenzt, teuer waren oder die Bereitstellung vieler VPS erforderten. FireProx nutzt die AWS API Gateway, um Durchgangs-Proxys zu erstellen, die die Quell-IP-Adresse bei jeder Anfrage rotieren! Verwenden Sie FireProx, um eine Proxy-URL zu erstellen, die auf einen Zielserver verweist, und senden Sie dann Webanfragen an die Proxy-URL, die die Antwort des Zielservers zurückgibt!

Bereitgestellt von:

Betreuer

• Folgen Sie mir auf Twitter für weitere Tipps, Tricks und Tools (oder einfach um Hallo zu sagen)! (Mike Felch - @ustayready)

Vorteile

• Rotiert die IP-Adresse bei jeder Anfrage
• Konfigurierbare verschiedene Regionen
• Alle HTTP-Methoden werden unterstützt
• Alle Parameter und URIs werden durchgereicht
• Erstellen, Löschen, Auflisten oder Aktualisieren von Proxys
• Spoofen des X-Forwarded-For-Quell-IP-Headers durch Setzen eines X-My-X-Forwarded-For-Headers in der Anfrage

Haftungsausschlüsse

• Die Quell-IP-Adresse wird von AWS im X-Forwarded-For-Header an das Ziel weitergegeben
  • (100 $ für die erste Person, die herausfindet, wie man sie in der AWS-Konfiguration entfernt, bevor sie das Ziel erreicht LOL!)
  • Dank an für den großartigen X-Forwarded-For-Patch innerhalb einer Stunde!
• Ich bin nicht verantwortlich, wenn Sie sich nicht an die robots.txt halten :)
• CloudFlare scheint manchmal X-Forwarded-For zu erkennen, wenn Scraper blockiert werden (MUSS MIT NEUEM PATCH GETESTET WERDEN)
• Die Verwendung dieses Tools auf anderen Systemen als den eigenen verstößt wahrscheinlich gegen die AWS Acceptable Use Policy und könnte zur Kündigung oder Sperrung Ihres AWS-Kontos führen. Darüber hinaus unterliegt selbst die Verwendung dieses Tools auf Systemen, die Ihnen gehören oder für die Sie ausdrücklich die Erlaubnis zur Durchführung von Penetrationstests haben, der AWS-Richtlinie für Penetrationstests.

Anerkennung

Nach der öffentlichen Veröffentlichung von FireProx erfuhr ich, dass zwei andere bereits die AWS API Gateway-Technik verwendeten. Bei der Recherche der Ereigniskette und nach großartigen Gesprächen wurde mir klar, dass ich nur wegen dieser Personen überhaupt davon wusste. Ich dachte, es wäre cool, ihnen ein paar Shout-outs und Anerkennung zu geben – folgt diesen Leuten, sie sind großartig.

Anerkennung gilt Ryan Hanson - @ryHanson, der die erste bekannte Quelle der API Gateway-Technik ist

Shout-out an Mike Hodges - @rmikehodges für die Veröffentlichung in auf der BlackHat Arsenal 2018

Großer Shout-out, noch einmal, an meinen guten Freund Ralph May - @ralphte1, der mich vor einiger Zeit mit der Technik bekannt gemacht hat.

Grundlegende Nutzung

Erfordert AWS Access Key und Secret Access Key oder konfigurierte AWS CLI

Verwendung: fire.py [-h] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

usage: fire.py [-h] [--profile_name PROFILE_NAME] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--session_token SESSION_TOKEN] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

optional arguments:
  -h, --help            show this help message and exit
  --profile_name PROFILE_NAME
                        AWS Profile Name to store/retrieve credentials
  --access_key ACCESS_KEY
                        AWS Access Key
  --secret_access_key SECRET_ACCESS_KEY
                        AWS Secret Access Key
  --session_token SESSION_TOKEN
                        AWS Session Token
  --region REGION       AWS Region
  --command COMMAND     Commands: list, create, delete, update
  --api_id API_ID       API ID
  --url URL             URL end-point

• Beispiele
  • examples/google.py: Verwenden Sie einen FireProx-Proxy, um die Google-Suche zu scrapen.
  • examples/bing.py: Verwenden Sie einen FireProx-Proxy, um die Bing-Suche zu scrapen.

Installation

Sie können die Installation und Ausführung mit folgendem Befehl durchführen:

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
~/fireprox$ virtualenv -p python3 .
~/fireprox$ source bin/activate
(fireprox) ~/fireprox$ pip install -r requirements.txt
(fireprox) ~/fireprox$ python fire.py

Beachten Sie, dass Python 3.6 erforderlich ist.

Erstellen eines Docker-Images: (Funktioniert derzeit nicht unter Docker für Windows, möglicherweise aufgrund von Zeilenumbrüchen in entrypoint.sh.)

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
$ docker build -t fireprox .
$ docker run --rm -it fireprox -h

Screenshots

Mitwirken

1. Erstellen Sie ein Issue, um Ihre Idee zu besprechen
2. Forken Sie FireProx (https://github.com/ustayready/fireprox/fork)
3. Erstellen Sie Ihren Feature-Branch (git checkout -b my-new-feature)
4. Übertragen Sie Ihre Änderungen (git commit -am 'Add some feature')
5. Pushen Sie zum Branch (git push origin my-new-feature)
6. Erstellen Sie einen neuen Pull Request

Fehlerberichte, Funktionswünsche und Patches sind willkommen.