DorXNG 🔎🌎

DorXNG는 고급 검색 엔진 연산자를 여러 업스트림 검색 제공자를 통해 활용하여 OSINT 데이터를 수집하는 현대적인 솔루션입니다. 백엔드에서는 목적에 맞게 제작된 SearXNG 컨테이너 이미지를 사용합니다. SearXNG는 자체 호스팅 가능하고, 해킹이 가능하며, 개인 정보 보호에 중점을 둔 메타 검색 엔진입니다.

당사의 SearXNG 구현은 모든 검색 쿼리를 Tor 네트워크를 통해 라우팅하며, Tor의 MaxCircuitDirtiness 구성 지시문을 사용하여 10초마다 회로를 새로 고칩니다. 또한 SearXNG의 모든 클라이언트 측 타임아웃 기능을 비활성화했습니다. 이러한 설정은 반복적인 검색 쿼리를 많이 실행할 때 일반적으로 발생하는 검색 엔진 제한을 회피할 수 있게 해줍니다.

DorXNG 클라이언트 애플리케이션은 Python3로 작성되었으며, SearXNG API와 상호작용하여 검색 쿼리를 동시에 실행합니다. 여러 SearXNG 인스턴스에 걸쳐 요청을 보낼 수도 있습니다. 수집된 검색 결과는 SQLite3 데이터베이스에 저장됩니다.

DorXNG

고급 검색 연산자 쿼리를 지원하는 모든 지원 업스트림 검색 엔진을 활성화했습니다:

Google
DuckDuckGo
Qwant
Bing
Brave
Startpage
Yahoo

SearXNG가 지원하는 검색 엔진에 대한 자세한 내용은 다음 문서를 참조하세요: Configured Engines

SearXNG 클라이언트 애플리케이션을 공용 SearXNG 인스턴스에 사용하지 마십시오.

저희에게 맥주 한 잔 사주세요! 🍺

외침 🙌

Tor와 SearXNG 개발자분들께 감사드립니다. 이 프로젝트를 가능하게 해주셨습니다. 두 프로젝트 모두에 기부해 주세요!

pagodo 개발자분께 감사드립니다. 영감과 그 멋진 ghdb_scraper.py 스크립트에 감사드립니다!

마지막으로, j0hnny에게도 감사드립니다. OG Dork. 🧠🏴‍☠

설정 🛠️

LINUX ONLY 일반인 여러분, 죄송합니다 🤓

DorXNG 설치

git clone https://github.com/researchanddestroy/dorxng
cd dorxng
pip install -r requirements.txt
./DorXNG.py -h

당사의 맞춤 SearXNG Docker 컨테이너 다운로드 및 실행 (최소 1개). 여러 SearXNG 인스턴스를 사용할 수 있습니다. DorXNG와 함께 --serverlist 옵션을 사용하세요. 참조: server.lst

여러 컨테이너를 시작할 때 각 컨테이너 시작 사이에 최소 몇 초간 기다리십시오.

docker run researchanddestroy/searxng:latest

직접 컨테이너를 빌드하려는 경우:

git clone https://github.com/researchanddestroy/searxng # 빌드 프로세스가 완료되려면 URL이 모두 소문자여야 합니다.
cd searxng
DOCKER_BUILDKIT=1 make docker.build
docker images
docker run <image-id>

기본적으로 DorXNG는 parse_args.py에 하드 코딩된 server 변수를 가지고 있으며, 이 변수는 Docker가 머신에서 실행하는 첫 번째 컨테이너에 할당할 IP 주소 172.17.0.2로 설정됩니다. 이 값은 변경하거나 --server 또는 --serverlist로 덮어쓸 수 있습니다.

검색 쿼리 실행 시작

./DorXNG.py -q 'search query'

DorXNG 데이터베이스 쿼리

./DorXNG.py -D 'regex search string'

지침 📖

-h, --help            show this help message and exit
-s SERVER, --server SERVER
                      DorXNG Server Instance - Example: 'https://172.17.0.2/search'
-S SERVERLIST, --serverlist SERVERLIST
                      Issue Search Queries Across a List of Servers - Format: Newline Delimited
-q QUERY, --query QUERY
                      Issue a Search Query - Examples: 'search query' | '!tch search query' | 'site:example.com intext:example'
-Q QUERYLIST, --querylist QUERYLIST
                      Iterate Through a Search Query List - Format: Newline Delimited
-n NUMBER, --number NUMBER
                      Define the Number of Page Result Iterations
-c CONCURRENT, --concurrent CONCURRENT
                      Define the Number of Concurrent Page Requests
-l LIMITDATABASE, --limitdatabase LIMITDATABASE
                      Set Maximum Database Size Limit - Starts New Database After Exceeded - Example: --limitdatabase 10 (10k Database Entries) - Suggested Maximum Database Size is 50k
                      when doing Deep Recursion
-L LOOP, --loop LOOP  Define the Number of Main Function Loop Iterations - Infinite Loop with 0
-d DATABASE, --database DATABASE
                      Specify SQL Database File - Default: 'dorxng.db'
-D DATABASEQUERY, --databasequery DATABASEQUERY
                      Issue Database Query - Format: Regex
-m MERGEDATABASE, --mergedatabase MERGEDATABASE
                      Merge SQL Database File - Example: --mergedatabase database.db
-t TIMEOUT, --timeout TIMEOUT
                      Specify Timeout Interval Between Requests - Default: 4 Seconds - Disable with 0
-r NONEWRESULTS, --nonewresults NONEWRESULTS
                      Specify Number of Iterations with No New Results - Default: 4 (3 Attempts) - Disable with 0
-v, --verbose         Enable Verbose Output
-vv, --veryverbose    Enable Very Verbose Output - Displays Raw JSON Output

팁 📝

때로는 이미 업스트림 검색 제공자에 의해 차단된 Tor 종료 노드를 만나 최소한의 검색 결과만 받을 수도 있습니다. 걱정하지 마세요... 계속 쿼리를 보내면 됩니다. 😉

DorXNG SQL 데이터베이스 파일을 보관하고 명령을 다시 실행하거나, --loop 스위치를 사용하여 메인 함수를 반복해서 실행하세요. 🔁

대부분의 경우 검색 쿼리를 여러 번 반복할수록 더 많은 결과를 찾을 수 있습니다. 🍻

또한 속도를 희생하여 더 높은 수준의 데이터 출력을 얻었다는 점을 명심하세요. 결국 이는 OSINT 프로젝트입니다. 🔎🌎

각 검색 쿼리는 7개의 업스트림 검색 제공자에게 전송됩니다... 특히 --concurrent 쿼리를 사용하면 많은 업스트림 요청이 발생합니다... 그러니 인내심을 가지세요.

DorXNG는 계속해서 새 검색 결과를 데이터베이스 파일에 추가한다는 점을 기억하세요. --database 스위치를 사용하여 데이터베이스 파일 이름을 지정할 수 있으며, 기본 파일 이름은 dorxng.db입니다. 대부분의 사용자에게는 중요하지 않을 수 있지만, OSINT 조사를 분리해서 유지하려면 이 기능을 사용하세요.

동시 검색 요청 4개가 최적의 수인 것 같습니다. 더 많은 요청을 보낼 수는 있지만, 한 번에 더 많은 쿼리를 보낼수록 결과를 받는 데 시간이 더 오래 걸립니다. 또한 특정 Tor 회로에서 업스트림 검색 제공자로부터 HTTP/429 Too Many Requests 응답을 받을 가능성도 높아집니다.

여러 SearXNG Docker 컨테이너를 너무 빨리 시작하면 Tor 연결이 설정되지 않을 수 있습니다. 컨테이너를 초기화하는 동안 Tor 연결 확인 기능의 유효한 응답은 다음과 같습니다:

Checking Tor Connectivity..
{"IsTor":true,"IP":"<tor-exit-node>"}

이와 다른 응답이 보이거나 SearXNG 모니터 스크립트(컨테이너 내 STDOUT)에서 HTTP/500 응답 코드가 나타나기 시작하면 Docker 컨테이너를 종료하고 새로 시작하세요.

DorXNG 내에서 HTTP/504 Gateway Time-out 응답 코드가 가끔 나타날 수 있습니다. 이는 SearXNG 인스턴스가 1분 이내에 유효한 응답을 받지 못했음을 의미합니다. 해당 Tor 회로가 너무 느린 것입니다. 계속 진행하세요!

굳이 많은 컨테이너를 실행할 필요는 없습니다... 아직은... 😉 얼마나 많이 실행할지는 작업 내용에 따라 다릅니다. 각 컨테이너는 약 1.25GB의 RAM을 사용합니다.

컨테이너 하나를 실행해도 완벽하게 작동하지만, 검색 결과를 놓칠 가능성이 있습니다. 따라서 --loop를 사용하고 --timeout을 비활성화하지 마세요.

여러 컨테이너를 실행하면 각 컨테이너가 10초마다 새로 고쳐지는 자체 Tor 회로를 가지므로 좋습니다.

--serverlist 모드를 실행할 때는 --timeout 기능을 비활성화하여 요청 간 지연이 없도록 하세요(기본 지연 간격은 4초입니다).

컨테이너를 더 많이 실행할수록 더 많은 메모리가 필요하다는 점을 명심하세요. 이는 깊은 재귀에도 해당됩니다... Python의 최대 재귀 제한을 비활성화했습니다... 🔁😉

명령이 main으로 돌아오지 않고 더 많은 재귀를 거칠수록 프로세스가 더 많은 메모리를 소비합니다. 나중에 돌아와서 프로세스가 Killed 오류 메시지와 함께 충돌한 것을 발견할 수 있습니다. 이런 경우 머신의 메모리가 부족하여 프로세스가 종료된 것입니다. 하지만 걱정하지 마세요... 데이터베이스 파일은 여전히 유효합니다. 👍👍

데이터베이스 파일이 비정상적으로 커지면 프로그램 속도가 느려지고 각 반복마다 더 많은 메모리를 소비하게 됩니다...

Python 스택 프레임은 두껍습니다... 🍑😅

약 5만 개 항목을 초과하는 데이터베이스 파일에서는 성능이 현저히 저하되는 것을 확인했습니다.

--limitdatabase 옵션은 이러한 메모리 소비 문제를 완화하기 위해 구현되었습니다. --loop와 함께 사용하여 iterator.py 내부의 깊은 재귀 반복을 중단하고 중단했던 지점부터 main에서 다시 시작하세요.

일련의 데이터베이스 파일을 확보한 후에는 --mergedatabase로 하나씩 병합할 수 있습니다. --database로 사용되지 않은 파일 이름을 지정하면 모든 데이터를 새 데이터베이스 파일로 병합할 수도 있습니다.

실행 중인 DorXNG 프로세스가 현재 사용 중인 데이터베이스에 데이터를 병합하지 마십시오. 오류가 발생하거나 데이터베이스가 손상될 수 있습니다.

포함된 query.lst 파일은 Google Hacking Database(GHDB)에 현재 존재하는 모든 dork입니다. 참조: ghdb_scraper.py

우리가 이미 실행해 보았습니다... 😉 ghdb.db 파일에는 백만 개 이상의 항목이 포함되어 있습니다! 🤩 원하신다면 여기 ghdb.db에서 다운로드할 수 있습니다. 😉

ghdb.db 데이터베이스 쿼리 예시:

./DorXNG.py -d ghdb.db -D '^http.*\.sql$'

DorXNG를 Golang으로 다시 작성하는 작업이 이미 진행 중입니다. 😉 (GorXNG? | DorXNGNG?) 😆

더 많은 dork가 필요합니다... 😅 DorkGPT를 확인해보세요 👀

예시 💡

단일 검색 쿼리

./DorXNG.py -q 'search query'

동시 검색 쿼리

./DorXNG.py -q 'search query' -c4

페이지 반복 모드

./DorXNG.py -q 'search query' -n4

반복 동시 검색 쿼리

./DorXNG.py -q 'search query' -c4 -n64

서버 목록 반복 모드

./DorXNG.py -S server.lst -q 'search query' -c4 -n64 -t0

쿼리 목록 반복 모드

./DorXNG.py -Q query.lst -c4 -n64

쿼리 및 서버 목록 반복

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0

메인 함수 루프 반복 모드

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0 -L4

데이터베이스 파일 크기 제한을 10k 항목으로 설정한 무한 메인 함수 루프 반복 모드

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0 -L0 -l10

데이터베이스 병합 (한 번에 하나씩)하여 새 데이터베이스 파일로 만들기

./DorXNG.py -d new-database.db -m dorxng.db

현재 작업 디렉토리의 모든 데이터베이스 파일을 새 데이터베이스 파일로 병합

for i in `ls *.db`; do ./DorXNG.py -d new-database.db -m $i; done

데이터베이스 쿼리

./DorXNG.py -d new-database.db -D 'regex search string'