Scavenger - OSINT 봇 - 3.0

소개

페이스트 사이트에서 민감한 데이터 유출을 검색하는 내 OSINT 봇의 코드입니다. email:password 조합은 항상 수집됩니다.

searchterms.txt 파일과 classes/utility.py의 일부 정규식을 기반으로 민감한 정보를 탐지합니다.

검색어:

mysqli_connect(
BEGIN RSA PRIVATE KEY
-----BEGIN
The name of the database for WordPress
Return-Path:
insert into
INSERT INTO
.onion
github_pat_
AIza
sk_live_
rk_live_
client_secret
jdbc:
mongodb://
mongodb+srv://
mysql://
postgresql://
redis://
authorization: basic

검색어는 사용자 정의할 수 있습니다. 구성 섹션에서 자세히 알아볼 수 있습니다.

Scavenger에 관한 기사

https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/
https://jakecreps.com/2019/01/08/scavenger/
https://youtu.be/VCwiZ2dh17Q?t=51 (여기서 봇이 언급됩니다)

주요 기능

pastebin.com의 경우 봇은 두 가지 모드를 가집니다:

스크래핑을 통해 아카이브에서 민감한 데이터 검색
유출을 게시하는 사용자를 추적하여 민감한 데이터 검색

pastes.io의 경우:

페이스트를 추측하고 민감한 정보를 검색
configs/pastesio.json에 API 키를 추가하고 free 또는 pro 등급인지 설정하는 것을 잊지 마세요

GitHub Gist의 경우:

최신 gist를 스크래핑하고 민감한 정보를 검색

dpaste.com의 경우:

아카이브를 정기적으로 스크래핑

추가 기능:

사용자 정의 가능한 검색어

구성

setup.sh를 실행하여 필요한 비표준 Python 라이브러리를 설치하세요
모든 하위 폴더의 README.md 파일은 자리 표시자일 뿐이므로 삭제하세요
봇은 기본적으로 email:password 조합 및 기타 민감한 데이터를 검색합니다. 검색어를 더 추가하려면 configs/searchterms.txt 파일을 편집하거나 제어 스크립트에서 -2 스위치를 사용하세요 기본 configs/searchterms.txt 구성:

다른 검색어를 추가하려면 파일에 한 줄씩 추가하세요. 여기에 없는 유용한 검색어를 알고 계신가요? 알려주세요! :-) 3. pastebin.com의 사용자 추적 모듈을 사용하려면 대상 사용자를 configs/users.txt 파일에 한 줄씩 추가해야 합니다.

사용법

프로그램 도움말:

$ python3 scavenger.py -h
╭── Scavenger 3.0 ─────────────────────────────────╮
│ multi-source credential-leak crawler             │
│                                                  │
│   -0  pastebin archive scrape module             │
│   -1  pastebin user track module                 │
│   -2  pastes.io random-ID scraper                │
│   -3  GitHub gist scraper                        │
│   -4  dpaste.com scraper                         │
│   -5  edit search terms                          │
│   -6  edit tracked users                         │
│   -7  dashboard                                  │
│                                                  │
│ python3 scavenger.py -0 -1  (combine flags)      │
╰──────────────────────────────────────────────────╯
usage: scavenger.py [-h] [-0] [-1] [-2] [-3] [-4] [-5] [-6] [-7]

control script

options:
  -h, --help          show this help message and exit
  -0, --pbincom       Activate pastebin.com archive scraping module
  -1, --pbincomTrack  Activate pastebin.com user track module
  -2, --pastesio      Activate pastes.io random-ID scraper
  -3, --githubgist    Activate GitHub gist scraper
  -4, --dpaste        Activate dpaste.com public archive scraper
  -5, --editsearch    Edit search terms file for additional search terms (email:password combinations will always be searched)
  -6, --editusers     Edit user file of the pastebin.com user track module
  -7, --dashboard     Start the web dashboard

example usage: python3 scavenger.py -0 -1

크롤링된 페이스트는 상태에 따라 다른 위치에 저장됩니다.

페이스트가 크롤링되었지만 아무것도 탐지되지 않음 -> data/raw_pastes
페이스트가 크롤링되었고 email:password 조합이 탐지됨 -> data/raw_pastes 및 data/files_with_passwords
페이스트가 크롤링되었고 기타 민감한 데이터가 탐지됨 -> data/raw_pastes 및 data/otherSensitivePastes

페이스트는 48000개 파일 한도에 도달할 때까지 data/raw_pastes에 저장됩니다. 48000개 이상의 페이스트가 있으면 압축되어 아카이브 폴더로 이동됩니다.

pastebin.com 아카이브 스크래핑 모듈 시작

$ python3 scavenger.py -0

pastebin.com 사용자 추적 모듈 시작

$ python3 scavenger.py -1

이러한 모듈 중 하나를 시작하면 실행 중인 모듈과 함께 백그라운드에서 tmux 세션이 생성됩니다.

tmux 세션 목록

$ tmux ls
pastebincomArchive: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]
pastebincomTrack: 1 windows (created Sun Apr 14 06:33:32 2021) [204x58]

tmux 세션과 상호작용하는 예

$ tmux a -t pastebincomArchive
$ tmux a -t pastebincomTrack

세션에서 분리하려면 STRG+b d를 누르세요.

제어 소프트웨어를 사용하지 않고 모듈을 시작하려면 직접 호출하면 됩니다.

Pastebin.com 아카이브 스크래퍼

$ python3 pbincomArchiveScrape.py

Pastebin.com 사용자 추적기

$ python3 pbincomTrackUser.py

봇의 통계를 보여주는 통합 (dashboard) 시작 (IP와 포트를 사용자 정의하고 싶을 수 있습니다)

$ python3 scavenger.py -6

할 일

빠진 것이 있거나 기능 추가 또는 변경을 원하시면 Twitter나 GitHub 이슈를 통해 알려주세요 :-)

Scavenger

인기

Scavenger - OSINT 봇 - 3.0

소개

Scavenger에 관한 기사

주요 기능

구성

사용법

할 일