FireProx

• 概要
  • 利点
  • 免責事項
• メンテナー
• クレジット
• 基本的な使い方
• インストール
• スクリーンショット
• 貢献

概要

Web呼び出しの送信元IPアドレスを隠したり継続的にローテーションすることは、難しくてコストがかかる場合があります。これまでにもいくつかのツールが存在しましたが、IPアドレスの数が限られていたり、高価だったり、多数のVPSをデプロイする必要がありました。FireProxはAWS API Gatewayを活用して、リクエストごとに送信元IPアドレスをローテーションするパススループロキシを作成します！FireProxを使用して宛先サーバーを指すプロキシURLを作成し、そのプロキシURLにWebリクエストを送ると宛先サーバーのレスポンスが返ってきます。

提供:

メンテナー

• Twitterでフォローしてください（詳しいヒントやツールや、単に挨拶でも！） (Mike Felch - @ustayready)

利点

• リクエストごとにIPアドレスをローテーション
• 個別のリージョンを設定可能
• すべてのHTTPメソッドに対応
• すべてのパラメータとURIが透過的に渡される
• プロキシの作成、削除、一覧表示、更新が可能
• X-My-X-Forwarded-Forヘッダーを付けてリクエストすることで、X-Forwarded-For送信元IPヘッダーを偽装可能

免責事項

• 送信元IPアドレスはAWSのX-Forwarded-Forヘッダーを介して宛先に渡されます
  • (AWS設定で宛先に到達する前にこれを除去する方法を見つけた最初の人に100ドル進呈 LOL!)
  • さん、1時間以内に素晴らしいX-Forwarded-Forパッチを提供してくれてありがとう！
• robots.txtを尊重しない場合の責任は負いません :)
• CloudFlareはスクレイパーをブロックする際にX-Forwarded-Forを検出することがあるようです (新しいパッチでテストが必要)
• 自分が所有していないシステムでのこのツールの使用は、AWS Acceptable Use Policy に違反する可能性が高く、AWSアカウントの停止や解約につながる恐れがあります。また、自分が所有しているか、ペネトレーションテストの明示的な許可を得ているシステムでの使用であっても、AWSのペネトレーションテストに関するポリシー の対象となります。

クレジット

FireProxを公開した後、他の二人がすでにAWS API Gatewayの手法を使用していることを知りました。一連の出来事を調査し、素晴らしい会話をした結果、私がこの手法を知ったのはこれらの人々のおかげだと気付きました。彼らに感謝とクレジットを送りたいと思います。フォローしてください — 彼らは素晴らしいです。

クレジットは Ryan Hanson - @ryHanson に贈ります。彼はAPI Gateway手法の最初の既知の情報源です。

Mike Hodges - @rmikehodges に shout-out。彼はBlackHat Arsenal 2018で を公開しました。

もう一度、私の良き友人 Ralph May - @ralphte1 に大きな shout-out。彼がしばらく前にこの手法を教えてくれました。

基本的な使い方

AWSアクセスキーとシークレットアクセスキー、または設定済みのAWS CLIが必要

使い方: fire.py [-h] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

usage: fire.py [-h] [--profile_name PROFILE_NAME] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--session_token SESSION_TOKEN] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

optional arguments:
  -h, --help            show this help message and exit
  --profile_name PROFILE_NAME
                        AWS Profile Name to store/retrieve credentials
  --access_key ACCESS_KEY
                        AWS Access Key
  --secret_access_key SECRET_ACCESS_KEY
                        AWS Secret Access Key
  --session_token SESSION_TOKEN
                        AWS Session Token
  --region REGION       AWS Region
  --command COMMAND     Commands: list, create, delete, update
  --api_id API_ID       API ID
  --url URL             URL end-point

• 例
  • examples/google.py: FireProxプロキシを使用してGoogle検索をスクレイピング。
  • examples/bing.py: FireProxプロキシを使用してBing検索をスクレイピング。

インストール

以下のコマンドでインストールして実行できます:

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
~/fireprox$ virtualenv -p python3 .
~/fireprox$ source bin/activate
(fireprox) ~/fireprox$ pip install -r requirements.txt
(fireprox) ~/fireprox$ python fire.py

Python 3.6 が必要です。

Dockerイメージのビルド: (現在Docker for Windowsでは動作しません。原因はentrypoint.shの改行コードの可能性があります。)

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
$ docker build -t fireprox .
$ docker run --rm -it fireprox -h

スクリーンショット

貢献

1. アイデアを議論するためにIssueを作成してください
2. FireProxをフォークしてください (https://github.com/ustayready/fireprox/fork)
3. 機能ブランチを作成してください (git checkout -b my-new-feature)
4. 変更をコミットしてください (git commit -am 'Add some feature')
5. ブランチにプッシュしてください (git push origin my-new-feature)
6. 新しいPull Requestを作成してください

バグ報告、機能リクエスト、パッチはいつでも歓迎します。