FireProx

• Panoramica
  • Vantaggi
  • Avvertenze
• Manutentore
• Crediti
• Utilizzo Base
• Installazione
• Screenshot
• Contribuire

Panoramica

Potere nascondere o ruotare continuamente l'indirizzo IP di origine quando si effettuano chiamate web può essere difficile o costoso. Esistono diversi strumenti da tempo, ma sono limitati nel numero di indirizzi IP, costosi o richiedono il deployment di molti VPS. FireProx sfrutta AWS API Gateway per creare proxy di passaggio che ruotano l'indirizzo IP di origine ad ogni richiesta! Usa FireProx per creare un URL proxy che punta a un server di destinazione e poi effettua richieste web all'URL proxy che restituisce la risposta del server di destinazione!

Presentato da:

Manutentore

• Seguimi su Twitter per ulteriori suggerimenti, trucchi e strumenti (o solo per salutarmi)! (Mike Felch - @ustayready)

Vantaggi

• Ruota l'indirizzo IP ad ogni richiesta
• Configura regioni separate
• Supporta tutti i metodi HTTP
• Tutti i parametri e gli URI vengono passati attraverso
• Crea, elimina, elenca o aggiorna i proxy
• Spoof dell'intestazione IP di origine X-Forwarded-For richiedendo con un'intestazione X-My-X-Forwarded-For

Avvertenze

• L'indirizzo IP di origine viene passato alla destinazione nell'intestazione X-Forwarded-For da AWS
  • ($100 alla prima persona che capisce come rimuoverlo nella configurazione AWS prima che raggiunga la destinazione LOL!)
  • Grazie a per la fantastica patch X-Forwarded-For in meno di un'ora!
• Non sono responsabile se non rispetti il robots.txt :)
• CloudFlare sembra talvolta rilevare X-Forwarded-For quando blocca gli scraper (DA TESTARE CON LA NUOVA PATCH)
• L'uso di questo strumento su sistemi diversi da quelli di tua proprietà probabilmente viola la AWS Acceptable Use Policy e potrebbe potenzialmente portare alla terminazione o sospensione del tuo account AWS. Inoltre, anche l'uso di questo strumento su sistemi di tua proprietà, o per i quali hai esplicita autorizzazione per effettuare penetration testing, è soggetto alla politica AWS sul penetration testing.

Crediti

Dopo aver rilasciato FireProx pubblicamente, ho scoperto che altri due già utilizzavano la tecnica AWS API Gateway. Ricercando la catena di eventi e dopo alcune ottime conversazioni, ho realizzato che l'unico motivo per cui ne ero a conoscenza era grazie a queste persone. Ho pensato che sarebbe stato bello dare loro qualche ringraziamento e credito, seguiteli — sono fantastici.

Il credito va a Ryan Hanson - @ryHanson che è la prima fonte conosciuta della tecnica API Gateway

Un ringraziamento a Mike Hodges - @rmikehodges per averla resa pubblica in al BlackHat Arsenal 2018

Un grande ringraziamento, ancora una volta, al mio buon amico Ralph May - @ralphte1 per avermi introdotto alla tecnica qualche tempo fa.

Utilizzo Base

Richiede una chiave di accesso AWS e una chiave di accesso segreta o aws cli configurati

usage: fire.py [-h] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

usage: fire.py [-h] [--profile_name PROFILE_NAME] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--session_token SESSION_TOKEN] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

optional arguments:
  -h, --help            show this help message and exit
  --profile_name PROFILE_NAME
                        AWS Profile Name to store/retrieve credentials
  --access_key ACCESS_KEY
                        AWS Access Key
  --secret_access_key SECRET_ACCESS_KEY
                        AWS Secret Access Key
  --session_token SESSION_TOKEN
                        AWS Session Token
  --region REGION       AWS Region
  --command COMMAND     Commands: list, create, delete, update
  --api_id API_ID       API ID
  --url URL             URL end-point

• Esempi
  • examples/google.py: Utilizza un proxy FireProx per fare scraping di Google Search.
  • examples/bing.py: Utilizza un proxy FireProx per fare scraping di Bing Search.

Installazione

Puoi installare ed eseguire con il seguente comando:

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
~/fireprox$ virtualenv -p python3 .
~/fireprox$ source bin/activate
(fireprox) ~/fireprox$ pip install -r requirements.txt
(fireprox) ~/fireprox$ python fire.py

Nota che è richiesto Python 3.6.

Costruzione di un'immagine Docker: (Attualmente non funziona su Docker per Windows, probabilmente a causa delle terminazioni di riga in entrypoint.sh.)

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
$ docker build -t fireprox .
$ docker run --rm -it fireprox -h

Screenshot

Contribuire

1. Crea un issue per discutere la tua idea
2. Fork di FireProx (https://github.com/ustayready/fireprox/fork)
3. Crea il tuo branch per la funzionalità (git checkout -b my-new-feature)
4. Esegui il commit delle tue modifiche (git commit -am 'Add some feature')
5. Carica sul branch (git push origin my-new-feature)
6. Crea una nuova Pull Request

Segnalazioni di bug, richieste di funzionalità e patch sono benvenute.