Photon

OSINT을 위해 설계된 매우 빠른 크롤러.

Photon 위키 • 사용 방법 • 호환성 • Photon 라이브러리 • 기여 • 로드맵

후원

주요 기능

데이터 추출

Photon은 크롤링하는 동안 다음 데이터를 추출할 수 있습니다:

• URL (범위 내 및 범위 외)
• 매개변수가 있는 URL (example.com/gallery.php?id=2)
• 정보 (이메일, 소셜 미디어 계정, amazon 버킷 등)
• 파일 (pdf, png, xml 등)
• 비밀 키 (인증/API 키 및 해시)
• JavaScript 파일 및 그 안에 존재하는 엔드포인트
• 사용자 지정 정규식 패턴과 일치하는 문자열
• 서브도메인 및 DNS 관련 데이터

추출된 정보는 체계적으로 저장되거나 json으로 내보낼 수 있습니다.

유연성

타임아웃, 지연 설정, 시드 추가, 정규식 패턴과 일치하는 URL 제외 및 기타 유용한 기능을 제어할 수 있습니다. Photon이 제공하는 광범위한 옵션을 통해 원하는 방식으로 정확히 웹을 크롤링할 수 있습니다.

탁월함

Photon의 스마트한 스레드 관리와 정교한 로직은 최고 수준의 성능을 제공합니다.

여전히 크롤링은 리소스를 많이 소모할 수 있지만 Photon은 몇 가지 비책을 가지고 있습니다. --wayback 옵션을 사용하여 archive.org에 의해 아카이브된 URL을 시드로 가져올 수 있습니다.

플러그인

• wayback
• dnsdumpster
• Exporter

Docker

Photon은 경량 Python-Alpine (103 MB) Docker 이미지를 사용하여 실행할 수 있습니다.

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

결과를 보려면 로컬 Docker 볼륨으로 이동하거나, docker inspect photon을 실행하여 찾을 수 있으며, 또는 대상 loot 폴더를 마운트할 수 있습니다:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

빈번하고 원활한 업데이트

Photon은 버그 수정을 위한 활발한 개발과 업데이트가 진행 중입니다. 성능 최적화 및 새로운 기능이 정기적으로 배포되고 있습니다.

작업 중인 기능과 이슈를 확인하려면 Development 프로젝트 보드에서 확인할 수 있습니다.

업데이트는 --update 옵션으로 설치하고 확인할 수 있습니다. Photon은 원활한 업데이트 기능을 갖추고 있어 저장된 데이터를 잃지 않고 Photon을 업데이트할 수 있습니다. Control + Shift + m을 사용하여 탭 키의 포커스 이동을 전환하세요. 또는 esc를 누른 다음 tab을 눌러 페이지의 다음 대화형 요소로 이동하세요. 파일을 드래그 앤 드롭하거나 선택하거나 붙여넣어 첨부하세요. (https://www.thordata.com/?ls=github&lk=Photon)

Photon Wiki • 사용 방법 • 호환성 • Photon 라이브러리 • 기여 • 로드맵

주요 기능

데이터 추출

Photon은 크롤링 중에 다음 데이터를 추출할 수 있습니다:

• URL (범위 내 및 범위 외)
• 매개변수가 있는 URL (example.com/gallery.php?id=2)
• 정보 (이메일, 소셜 미디어 계정, amazon 버킷 등)
• 파일 (pdf, png, xml 등)
• 비밀 키 (인증/API 키 및 해시)
• JavaScript 파일 및 그 안에 존재하는 엔드포인트
• 사용자 정의 정규식 패턴과 일치하는 문자열
• 서브도메인 및 DNS 관련 데이터

추출된 정보는 정리된 형태로 저장되거나 json으로 내보낼 수 있습니다.

유연성

타임아웃, 지연 제어, 시드 추가, 정규식 패턴과 일치하는 URL 제외 및 기타 유용한 기능을 제공합니다. Photon이 제공하는 광범위한 옵션을 통해 원하는 방식으로 정확하게 웹을 크롤링할 수 있습니다.

탁월함

Photon의 스마트한 스레드 관리와 정교한 로직은 최고 수준의 성능을 제공합니다.

여전히 크롤링은 리소스를 많이 소모할 수 있지만 Photon은 몇 가지 비책을 가지고 있습니다. --wayback 옵션을 사용하여 archive.org에 의해 아카이브된 URL을 시드로 가져올 수 있습니다.

플러그인

• wayback
• dnsdumpster
• Exporter

Docker

Photon은 경량 Python-Alpine (103 MB) Docker 이미지를 사용하여 실행할 수 있습니다.

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

결과를 보려면 로컬 Docker 볼륨으로 이동하거나, docker inspect photon을 실행하여 찾을 수 있으며, 또는 대상 loot 폴더를 마운트할 수 있습니다:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

빈번하고 원활한 업데이트

Photon은 버그 수정을 위한 활발한 개발과 업데이트가 진행 중입니다. 성능 최적화 및 새로운 기능이 정기적으로 배포되고 있습니다.

작업 중인 기능과 이슈를 확인하려면 Development 프로젝트 보드에서 확인할 수 있습니다.

업데이트는 --update 옵션으로 설치하고 확인할 수 있습니다. Photon은 원활한 업데이트 기능을 갖추고 있어 저장된 데이터를 잃지 않고 Photon을 업데이트할 수 있습니다.

기여 및 라이선스

다음과 같은 방법으로 기여할 수 있습니다:

• 버그 신고
• 플러그인 개발
• ninja 모드를 위한 "API" 추가
• 더 나은 방향을 위한 제안
• 이슈 수정 및 풀 리퀘스트 제출

풀 리퀘스트나 이슈를 제출하기 전에 가이드라인을 읽어 주세요.

비공개로 대화하고 싶으신가요? 제 twitter로 연락 주세요, 인박스는 열려 있습니다 :)

Photon은 GPL v3.0 라이선스에 따라 라이선스가 부여됩니다.