Robin: AI 기반 다크 웹 OSINT 도구

Robin은 다크 웹 OSINT 조사를 수행하기 위한 AI 기반 도구입니다. LLM을 활용하여 쿼리를 정제하고, 다크 웹 검색 엔진의 검색 결과를 필터링하며, 조사 요약을 제공합니다.

설치 • 기여 • 감사의 말

아키텍처

기능

• ⚙️ 모듈형 아키텍처 – 검색, 스크래핑, LLM 워크플로우 간의 명확한 분리.
• 🤖 멀티 모델 지원 – OpenAI, Claude, Gemini, Ollama 또는 OpenAI 호환 API(LM Studio, llama.cpp, Groq 등) 간에 쉽게 전환 가능.
• 🌐 웹 UI – 대화형 조사를 위한 Streamlit 기반 인터페이스.
• 💬 대화형 후속 질문 – 검색을 다시 실행하지 않고 조사에 대해 근거 기반의 후속 질문을 할 수 있으며, 해당 조사의 자체 데이터에서 답변을 제공합니다.
• 🔀 원클릭 피벗 – 조사 결과에서 제안된 후속 쿼리를 표시하며, 클릭 한 번으로 새로운 조사를 시작할 수 있습니다.
• 🐳 Docker 지원 – 깔끔하고 격리된 사용을 위한 권장 Docker 배포 방식.
• 📝 맞춤형 보고서 – 보고 또는 추가 분석을 위해 조사 출력을 파일로 저장.
• 🧩 확장 가능 – 새로운 검색 엔진, 모델 또는 출력 형식을 쉽게 추가할 수 있습니다.

⚠️ 면책 조항

이 도구는 교육 및 합법적인 조사 목적으로만 사용됩니다. 특정 다크 웹 콘텐츠에 접근하거나 상호작용하는 것은 관할권에 따라 불법일 수 있습니다. 저자는 이 도구의 오용 또는 이를 사용하여 수집된 데이터에 대해 책임을 지지 않습니다.

책임감 있게 사용하고 본인의 책임 하에 사용하십시오. OSINT 조사를 수행하기 전에 모든 관련 법률 및 기관 정책을 준수해야 합니다.

또한 Robin은 타사 API(LLM 포함)를 활용합니다. 잠재적으로 민감한 쿼리를 보낼 때 주의하고, 사용하는 모든 API 또는 모델 제공업체의 서비스 약관을 검토하십시오.

설치

[!NOTE] 이 도구는 검색을 수행하기 위해 Tor가 필요합니다. Linux/Windows(WSL)에서는 apt install tor를, Mac에서는 brew install tor를 사용하여 Tor를 설치할 수 있습니다. 설치 후 Tor가 백그라운드에서 실행 중인지 확인하십시오.

[!TIP] .env 파일을 생성하거나(저장소의 샘플 env 파일 참조) PATH에 환경 변수를 설정하여 원하는 LLM의 API 키를 제공할 수 있습니다.

Ollama의 경우, Docker 방식으로 실행할 때는 환경 변수에 OLLAMA_BASE_URL로 http://host.docker.internal:11434를 제공하고, 다른 방식에서는 http://127.0.0.1:11434를 제공하십시오. OS에 따라 Ollama를 0.0.0.0에서 서비스해야 할 수 있습니다. 터미널에서 OLLAMA_HOST=0.0.0.0 ollama serve &를 실행하여 수행할 수 있습니다.

다른 OpenAI 호환 제공업체(LM Studio, llama.cpp, Groq 등)의 경우, 사이드바의 🔌 사용자 정의 API 제공업체 확장기를 사용하십시오 — .env 변경이 필요 없습니다. 기본 URL, 선택적 API 키, 그리고 제공업체가 자동 검색을 위해 /v1/models를 노출하지 않는 경우 선택적으로 모델 이름을 입력하십시오.

Docker [권장]

• 최신 Robin Docker 이미지를 가져옵니다

docker pull apurvsg/robin:latest

• Docker 이미지를 다음과 같이 실행합니다:

docker run --rm \
   -v "$(pwd)/.env:/app/.env" \
   --add-host=host.docker.internal:host-gateway \
   -p 8501:8501 \
   apurvsg/robin:latest

[!TIP] Docker 재시작 후에도 저장된 조사를 유지하려면 로컬 디렉토리를 마운트하십시오:

root@kitploit:~

docker run --rm \
   -v "$(pwd)/.env:/app/.env" \
   -v "$(pwd)/investigations:/app/investigations" \
   --add-host=host.docker.internal:host-gateway \
   -p 8501:8501 \
   apurvsg/robin:latest

조사는 작업 디렉토리의 investigations/ 폴더에 저장되며, 사이드바의 과거 조사 패널에서 불러올 수 있습니다.

• 브라우저를 열고 http://localhost:8501로 이동합니다

Python 사용 (개발 버전)

• Python 3.10+와 Tor가 설치된 상태에서 다음을 실행합니다:

pip install -r requirements.txt
streamlit run ui.py

• 브라우저를 열고 http://localhost:8501로 이동합니다

기여

기여를 환영합니다! 주요 기능 업데이트가 있다면 자유롭게 Pull Request를 제출해 주십시오.

• 저장소를 포크합니다
• 기능 브랜치를 생성합니다 (git checkout -b feature/amazing-feature)
• 변경 사항을 커밋합니다 (git commit -m 'Add some amazing feature')
• 브랜치에 푸시합니다 (git push origin feature/amazing-feature)
• Pull Request를 엽니다

다음 상황에서는 Issue를 열어 주십시오:

• 버그나 잘못된 코드를 발견한 경우
• 기능 요청 아이디어가 있는 경우
• 사용법에 대한 질문이나 의문이 있는 경우
• 사소한 코드 변경이 있는 경우

감사의 말

• Thomas Roccia와 그의 다크 웹의 Perplexity 데모에서 아이디어 영감을 얻었습니다.
• 제 다크 웹용 OSINT 도구 저장소에서 도구 영감을 얻었습니다.
• OSINT-Assistant 저장소에서 LLM 프롬프트 영감을 얻었습니다.
• 제 친구 Tanishq Rupaal이 로고를 디자인했습니다.