FireProx

• 개요
  • 이점
  • 면책 조항
• 관리자
• 크레딧
• 기본 사용법
• 설치
• 스크린샷
• 기여

개요

웹 호출 시 소스 IP 주소를 숨기거나 지속적으로 변경하는 것은 어렵거나 비용이 많이 들 수 있습니다. 몇 가지 도구가 오랫동안 존재해 왔지만 IP 주소 수가 제한되어 있거나, 비용이 비싸거나, 많은 VPS를 배포해야 했습니다. FireProx는 AWS API Gateway를 활용하여 매 요청마다 소스 IP 주소를 회전시키는 통과 프록시(pass-through proxy)를 생성합니다! FireProx를 사용하여 대상 서버를 가리키는 프록시 URL을 생성한 다음 프록시 URL에 웹 요청을 보내면 대상 서버 응답이 반환됩니다!

제공:

관리자

• 더 많은 팁, 트릭, 도구를 보거나 인사하려면 Twitter에서 저를 팔로우하세요! (Mike Felch - @ustayready)

이점

• 모든 요청 시 IP 주소 회전
• 별도 리전 구성 가능
• 모든 HTTP 메서드 지원
• 모든 매개변수 및 URI 전달
• 프록시 생성, 삭제, 목록 조회, 업데이트
• X-My-X-Forwarded-For 헤더로 요청하여 X-Forwarded-For 소스 IP 헤더 스푸핑

면책 조항

• 소스 IP 주소는 AWS에 의해 X-Forwarded-For 헤더로 대상에 전달됩니다
  • (AWS 구성에서 대상에 도달하기 전에 제거하는 방법을 찾은 첫 번째 사람에게 $100를 드립니다 LOL!)
  • 단 1시간 만에 멋진 X-Forwarded-For 패치를 제공해 준 님께 감사드립니다!
• robots.txt를 준수하지 않아 발생하는 문제에 대해 책임지지 않습니다.
• CloudFlare는 스크래퍼 차단 시 X-Forwarded-For를 감지하는 경우가 있습니다 (새 패치로 테스트 필요)
• 본 도구를 소유하지 않은 시스템에서 사용하는 경우 AWS Acceptable Use Policy를 위반할 가능성이 높으며 AWS 계정이 정지되거나 해지될 수 있습니다. 또한, 소유한 시스템이나 침투 테스트를 수행할 명시적 허가를 받은 시스템에서 사용하는 경우에도 침투 테스트에 관한 AWS 정책의 적용을 받습니다.

크레딧

FireProx를 공개적으로 발표한 후, 다른 두 사람도 이미 AWS API Gateway 기술을 사용하고 있다는 것을 알게 되었습니다. 일련의 사건을 조사하고 좋은 대화를 나눈 끝에, 이 기술에 대해 알게 된 이유가 전적으로 이 사람들 덕분임을 깨달았습니다. 그들에게 감사와 크레딧을 전하고 싶습니다. 이 멋진 분들을 팔로우하세요.

크레딧은 이 API Gateway 기술의 최초 공개 출처로 알려진 Ryan Hanson - @ryHanson 님에게 돌아갑니다.

BlackHat Arsenal 2018에서 를 공개한 Mike Hodges - @rmikehodges 님께 감사 인사를 전합니다.

다시 한 번, 얼마 전 이 기술을 소개해 준 좋은 친구 Ralph May - @ralphte1 님께 큰 감사를 드립니다.

기본 사용법

AWS access key와 secret access key 또는 aws cli 구성 필요

사용법: fire.py [-h] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

usage: fire.py [-h] [--profile_name PROFILE_NAME] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--session_token SESSION_TOKEN] [--region REGION] [--command COMMAND] [--api_id API_ID] [--url URL]

FireProx API Gateway Manager

optional arguments:
  -h, --help            show this help message and exit
  --profile_name PROFILE_NAME
                        AWS Profile Name to store/retrieve credentials
  --access_key ACCESS_KEY
                        AWS Access Key
  --secret_access_key SECRET_ACCESS_KEY
                        AWS Secret Access Key
  --session_token SESSION_TOKEN
                        AWS Session Token
  --region REGION       AWS Region
  --command COMMAND     Commands: list, create, delete, update
  --api_id API_ID       API ID
  --url URL             URL end-point

• 예제
  • examples/google.py: FireProx 프록시를 사용하여 Google 검색을 스크랩합니다.
  • examples/bing.py: FireProx 프록시를 사용하여 Bing 검색을 스크랩합니다.

설치

다음 명령어로 설치 및 실행할 수 있습니다:

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
~/fireprox$ virtualenv -p python3 .
~/fireprox$ source bin/activate
(fireprox) ~/fireprox$ pip install -r requirements.txt
(fireprox) ~/fireprox$ python fire.py

참고: Python 3.6이 필요합니다.

Docker 이미지 빌드: (현재 Docker for Windows에서 작동하지 않을 수 있으며, entrypoint.sh의 줄 끝 문제 때문일 수 있습니다.)

$ git clone https://github.com/ustayready/fireprox
$ cd fireprox
$ docker build -t fireprox .
$ docker run --rm -it fireprox -h

스크린샷

기여

1. 아이디어를 논의할 이슈를 생성하세요
2. FireProx를 포크하세요 (https://github.com/ustayready/fireprox/fork)
3. 기능 브랜치를 생성하세요 (git checkout -b my-new-feature)
4. 변경 사항을 커밋하세요 (git commit -am 'Add some feature')
5. 브랜치에 푸시하세요 (git push origin my-new-feature)
6. 새 Pull Request를 생성하세요

버그 리포트, 기능 요청 및 패치는 환영합니다.