darkdump

소개

Darkdump는 딥 웹 조사를 위한 오픈소스 OSINT 도구입니다. 검색어가 주어지면 여러 다크 웹 검색 엔진에서 결과를 가져오고, 선택적으로 각 결과 사이트에서 이메일, 메타데이터, 키워드, 문서 및 이미지를 스크래핑하며, 모든 것을 터미널 또는 로컬 브라우저 기반 인터페이스로 실시간 스트리밍합니다. 사용된 엔진에 관계없이 모든 결과는 Ahmia의 공개 남용 블랙리스트에 대해 자동으로 필터링됩니다.

설치

빠른 설치 (Linux & macOS)

git clone https://github.com/josh0xA/darkdump
cd darkdump
chmod +x install.sh
./install.sh
darkdump

참고: ./install.sh는 macOS에서 sudo가 필요할 수 있습니다.

이것은 모든 종속성을 설치하고 두 가지 명령을 생성합니다:

수동 설치

git clone https://github.com/josh0xA/darkdump
cd darkdump
pip3 install -r requirements.txt
pip3 install -r darkdump-web/requirements.txt

런처를 제거하려면: ./uninstall.sh

Tor 설정

Darkdump를 효과적으로 사용하려면 Tor 제어 포트를 통해 스크립트가 Tor를 제어할 수 있도록 Tor를 구성해야 합니다. torrc 파일을 설정하고 Tor가 실행 중인지 확인하는 방법은 다음과 같습니다:

1단계: Tor 설치

시스템에 Tor가 아직 설치되지 않은 경우 설치해야 합니다. 다양한 운영 체제에서 Tor를 설치하는 방법은 다음과 같습니다:

Debian/Kali/Ubuntu: sudo apt install tor
MacOS: brew install tor

2단계: Tor torrc 파일 구성

torrc 파일을 찾습니다. 이 파일은 일반적으로 Linux 및 때로는 Mac에서 /etc/tor/torrc에 있습니다.

제어 포트를 활성화하고 제어 포트 비밀번호를 설정하려면 torrc에 다음 줄을 추가하세요:

ControlPort 9051
HashedControlPassword [YourHashedPasswordHere]

[YourHashedPasswordHere]를 tor --hash-password 명령을 사용하여 생성할 수 있는 해시된 비밀번호로 바꾸세요: tor --hash-password "my_password"

3단계: Tor 서비스 시작

Linux: sudo systemctl start tor.service
MacOS: brew services start tor

검색 엔진

-e / --engine을 통해 6개의 엔진을 사용할 수 있습니다:

모든 엔진의 결과는 Ahmia의 블랙리스트와 대조 확인됩니다. 필터링되지 않은 엔진은 실행 전에 확인을 요청합니다. 이 전략은 여전히 완벽하지 않으므로, 필터링되지 않은 엔진을 검색하고 스크래핑할 때는 항상 각별한 주의와 판단을 사용하십시오.

Darkdump 웹 미리보기 (권장)

CLI 사용법

darkdump-cli [-h] [-v] [-q QUERY] [-a AMOUNT] [-e ENGINE]
             [-p] [-s] [-i] [-d] [-u] [-o FILE]
             [--breach] [--breach-deep] [--breach-delay SECONDS]

예시

# Ahmia를 통한 기본 검색 (Tor 불필요)
darkdump-cli -q "privacy tools" -a 10

# Tor를 통해 검색 및 각 결과 심층 스크래핑
darkdump-cli -q "hacking" -a 10 -s -p

# 검색, 스크래핑 및 이미지 수집
darkdump-cli -q "marketplaces" -a 15 -s -p -i

# Not Evil 엔진 사용, 중복 제거, JSON으로 저장
darkdump-cli -q "security research" -a 20 -e notevil -p -u -o results.json

# OnionLand 엔진 사용, CSV로 저장
darkdump-cli -q "crypto" -a 10 -e onionland -p -o results.csv

# 이메일 주소에 대한 침해 인텔리전스 스캔
darkdump-cli --breach -q [email protected] -e ahmia -p

# 심층 스크래핑을 포함한 침해 스캔
darkdump-cli --breach --breach-deep -q example.com -e ahmia

웹 인터페이스

Darkdump는 로컬 브라우저 기반 인터페이스를 포함합니다.

# install.sh로 설치한 경우
darkdump

# 또는 직접 실행
python3 darkdump-web/app.py

그런 다음 브라우저에서 http://127.0.0.1:50001을 엽니다.

기능

• 도착하는 대로 결과를 실시간 스트리밍
• 드롭다운으로 모든 6개 엔진 사용 가능
• Tor 프록시 토글 및 실시간 종료 IP 표시
• 선택적 이미지 수집을 포함한 심층 스크래핑
• 메타데이터 기반 중복 제거
• 침해 인텔리전스 스캔 모드
• JSON, CSV 또는 TXT로 결과 내보내기

윤리적 고지

이 도구는 합법적인 보안 연구 및 OSINT 조사 전용입니다. 개발자 Josh Schiavone은 어떠한 오용에 대해서도 책임을 지지 않습니다. 귀하의 관할권 법률 및 규정에 따라 불법 활동에 관여하는 사이트에 접근하거나 조사하기 위해 Darkdump를 사용하지 마십시오. 신의 축복이 있기를 바랍니다.

라이선스

MIT 라이선스 — Copyright (c) Josh Schiavone