Photon

OSINT를 위해 설계된 엄청나게 빠른 크롤러.

Photon Wiki • 사용 방법 • 호환성 • Photon 라이브러리 • 기여 • 로드맵

주요 기능

데이터 추출

Photon은 크롤링 중에 다음 데이터를 추출할 수 있습니다:

• URL (범위 내 및 범위 외)
• 파라미터가 포함된 URL (example.com/gallery.php?id=2)
• 인텔 (이메일, 소셜 미디어 계정, Amazon 버킷 등)
• 파일 (pdf, png, xml 등)
• 비밀 키 (인증/API 키 및 해시)
• JavaScript 파일 및 그 안에 있는 엔드포인트
• 사용자 정의 정규식 패턴과 일치하는 문자열
• 서브도메인 및 DNS 관련 데이터

추출된 정보는 체계적으로 저장되거나 json으로 내보낼 수 있습니다.

유연함

타임아웃, 지연 시간 제어, 시드 추가, 정규식 패턴과 일치하는 URL 제외 등 유용한 기능을 제공합니다. Photon이 제공하는 광범위한 옵션을 통해 원하는 방식으로 웹을 크롤링할 수 있습니다.

Genius

Photon의 스마트한 스레드 관리와 정제된 로직은 최고 수준의 성능을 제공합니다.

그래도 크롤링은 리소스를 많이 사용할 수 있지만 Photon에는 몇 가지 비책이 있습니다. --wayback 옵션을 사용하여 archive.org에 보관된 URL을 시드로 가져올 수 있습니다.

플러그인

• wayback
• dnsdumpster
• Exporter

Docker

Photon은 경량 Python-Alpine (103 MB) Docker 이미지를 사용하여 실행할 수 있습니다.

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

결과를 보려면 docker inspect photon을 실행하여 찾을 수 있는 로컬 Docker 볼륨으로 이동하거나 대상 loot 폴더를 마운트하면 됩니다:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

빈번하고 매끄러운 업데이트

Photon은 활발히 개발 중이며 버그 수정, 성능 최적화 및 새로운 기능을 위한 업데이트가 정기적으로 제공됩니다.

현재 작업 중인 기능과 이슈를 확인하고 싶다면 개발 프로젝트 보드에서 확인할 수 있습니다.

업데이트는 --update 옵션으로 설치 및 확인할 수 있습니다. Photon은 매끄러운 업데이트 기능을 제공하므로 저장된 데이터를 잃지 않고 Photon을 업데이트할 수 있습니다. Control + Shift + m을 사용하여 탭 키 포커스 이동을 전환하세요. 또는 esc를 누른 후 tab을 사용하여 페이지의 다음 대화형 요소로 이동할 수 있습니다. 파일을 끌어다 놓거나, 선택하거나, 붙여넣어 첨부하세요. (https://www.thordata.com/?ls=github&lk=Photon)

Photon Wiki • 사용 방법 • 호환성 • Photon 라이브러리 • 기여 • 로드맵

주요 기능

데이터 추출

Photon은 크롤링 중에 다음 데이터를 추출할 수 있습니다:

• URL (범위 내 및 범위 외)
• 파라미터가 포함된 URL (example.com/gallery.php?id=2)
• 인텔 (이메일, 소셜 미디어 계정, Amazon 버킷 등)
• 파일 (pdf, png, xml 등)
• 비밀 키 (인증/API 키 및 해시)
• JavaScript 파일 및 그 안에 있는 엔드포인트
• 사용자 정의 정규식 패턴과 일치하는 문자열
• 서브도메인 및 DNS 관련 데이터

추출된 정보는 체계적으로 저장되거나 json으로 내보낼 수 있습니다.

유연함

타임아웃, 지연 시간 제어, 시드 추가, 정규식 패턴과 일치하는 URL 제외 등 유용한 기능을 제공합니다. Photon이 제공하는 광범위한 옵션을 통해 원하는 방식으로 웹을 크롤링할 수 있습니다.

Genius

Photon의 스마트한 스레드 관리와 정제된 로직은 최고 수준의 성능을 제공합니다.

그래도 크롤링은 리소스를 많이 사용할 수 있지만 Photon에는 몇 가지 비책이 있습니다. --wayback 옵션을 사용하여 archive.org에 보관된 URL을 시드로 가져올 수 있습니다.

플러그인

• wayback
• dnsdumpster
• Exporter

Docker

Photon은 경량 Python-Alpine (103 MB) Docker 이미지를 사용하여 실행할 수 있습니다.

$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com

결과를 보려면 docker inspect photon을 실행하여 찾을 수 있는 로컬 Docker 볼륨으로 이동하거나 대상 loot 폴더를 마운트하면 됩니다:

$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com

빈번하고 매끄러운 업데이트

Photon은 활발히 개발 중이며 버그 수정, 성능 최적화 및 새로운 기능을 위한 업데이트가 정기적으로 제공됩니다.

현재 작업 중인 기능과 이슈를 확인하고 싶다면 개발 프로젝트 보드에서 확인할 수 있습니다.

업데이트는 --update 옵션으로 설치 및 확인할 수 있습니다. Photon은 매끄러운 업데이트 기능을 제공하므로 저장된 데이터를 잃지 않고 Photon을 업데이트할 수 있습니다.

기여 및 라이선스

다음과 같은 방식으로 기여할 수 있습니다:

• 버그 신고
• 플러그인 개발
• 닌자 모드를 위한 "API" 추가
• 개선을 위한 제안 제공
• 이슈 수정 및 풀 리퀘스트 제출

풀 리퀘스트나 이슈를 제출하기 전에 가이드라인을 읽어주세요.

비공개 대화를 원하시나요? 제 트위터로 메시지를 보내주세요. 받은 편지함은 열려 있습니다 :)

Photon은 GPL v3.0 라이선스에 따라 라이선스가 부여됩니다.