TorBot

                         ████████╗ ██████╗ ██████╗     ██████╗  ██████╗ ████████╗
                         ╚══██╔══╝██╔═══██╗██╔══██╗    ██╔══██╗██╔═████╗╚══██╔══╝
                            ██║   ██║   ██║██████╔╝    ██████╔╝██║██╔██║   ██║
                            ██║   ██║   ██║██╔══██╗    ██╔══██╗████╔╝██║   ██║
                            ██║   ╚██████╔╝██║  ██║    ██████╔╝╚██████╔╝   ██║
                            ╚═╝    ╚═════╝ ╚═╝  ╚═╝    ╚═════╝  ╚═════╝    ╚═╝

                            डार्क वेब के लिए ओपन सोर्स इंटेलिजेंस टूल

स्थिति/सोशल लिंक

विशेषताएँ

1. ओनियन क्रॉलर (.onion)
2. पेज शीर्षक लौटाता है या यदि कोई पेज शीर्षक उपलब्ध न हो तो होस्ट नाम और साइट का संक्षिप्त विवरण के साथ पता लौटाता है।
3. लिंक को डेटाबेस में सहेजें (पूर्ण नहीं)
4. किसी साइट से HTML आउटपुट करें या उसे HTML फ़ाइल में सहेजें। (पूर्ण नहीं)
5. लिंक ट्री को JSON फ़ाइल के रूप में सहेजें।
6. कस्टम डोमेन क्रॉल करें
7. जाँचें कि लिंक लाइव है या नहीं
8. अंतर्निहित अपडेटर
9. लिंक संबंधों का एक दृश्य ट्री बनाएँ जिसे शीघ्रता से देखा जा सके या फ़ाइल में सहेजा जा सके

हाल के सुधार

• CLI अब --version और --update को URL की आवश्यकता के बिना चलाने की अनुमति देता है।
• क्रॉलर अब वर्तमान पेज के सापेक्ष सापेक्ष लिंक को हल करता है और असमर्थित या विकृत hrefs को अधिक सहजता से छोड़ देता है।
• वैकल्पिक TorBotApp डेस्कटॉप UI को CLI से torbot app के साथ लॉन्च किया जा सकता है जब इसे सहोदर चेकआउट के रूप में इंस्टॉल किया गया हो।

...(अपडेट किया जाएगा)

निर्भरताएँ

• Tor (वैकल्पिक)
• Python 3.10+
• pip

त्वरित शुरुआत

स्थानीय सेटअप

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
python -m pip install -e .

CLI चलाएँ

python main.py --help
python main.py --version
python main.py -u https://example.com --depth 2 --visualize table

सामान्य उदाहरण

# Gather basic site information
python main.py -u https://example.com --info

# Save the crawl tree as JSON
python main.py -u https://example.com --depth 2 --save json

# Disable SOCKS5 if you are not using Tor locally
python main.py -u https://example.com --disable-socks5 --visualize tree

# Launch the optional desktop app when TorBotApp is installed
torbot app

साक्ष्य-प्रथम AI विश्लेषण

एक संस्करणित क्रॉल परिणाम सहेजें और उसे उद्धृत अन्वेषण बंडल में बदलें:

torbot --url https://example.com --disable-socks5 \
  --save result --result-file crawl-result.json
torbot analyze crawl-result.json --provider ollama --model qwen3 \
  --output investigation/

Analyst डिफ़ॉल्ट रूप से एक स्थानीय Ollama endpoint का उपयोग करता है। रिमोट OpenAI-संगत प्रदाताओं के लिए स्पष्ट --allow-remote फ़्लैग आवश्यक है। प्रत्येक समर्थित finding को कैप्चर किए गए साक्ष्य का हवाला देना चाहिए, और किसी प्रदाता के आउटेज से deterministic evidence bundle लिखे जाने में कभी बाधा नहीं आती। ऑफ़लाइन क्विक स्टार्ट, आउटपुट फ़ॉर्मेट, प्राइवेसी सीमा, और schemas के लिए TorBot Analyst देखें।

विकल्प

usage: Gather and analyze data from Tor sites.

optional arguments:
  -u URL, --url URL     Specify a website link to crawl
  --depth DEPTH         Specify max depth of crawler (default 1)
  -h, --help            Show this help message and exit
  --host                Set IP address for SOCKS5 proxy (defaults to 127.0.0.1)
  --port                Set port for SOCKS5 proxy (defaults to 9050)
  -v                    Displays DEBUG level logging, default is INFO
  --version             Show the current version of TorBot.
  --update              Update TorBot to the latest stable version
  --app                 Run optional TorBot desktop app
  --app-dir APP_DIR     Path to a TorBotApp checkout
  -q, --quiet           Prevents display of header and IP address
  --save FORMAT         Save results in a file. (tree, JSON)
  --visualize FORMAT    Visualizes tree of data gathered. (tree, JSON, table)
  -i, --info            Info displays basic info of the scanned site
  --disable-socks5      Executes HTTP requests without using SOCKS5 proxy

--info, --save, और --visualize जैसे crawl-संबंधित कमांड के लिए -u/--url आवश्यक है।

यदि आप स्थानीय रूप से Tor का उपयोग कर रहे हैं, तो SOCKS5 प्रॉक्सी सक्षम रखें। यदि आप Tor का उपयोग नहीं कर रहे हैं, तो प्रॉक्सी कनेक्शन त्रुटियों से बचने के लिए --disable-socks5 जोड़ें।

torrc के बारे में अधिक पढ़ें यहाँ: Torrc

वैकल्पिक डेस्कटॉप ऐप

TorBot एक CLI-प्रथम Python टूल बना हुआ है। डेस्कटॉप UI अलग TorBotApp Electron प्रोजेक्ट में रहता है ताकि CLI उपयोगकर्ताओं के लिए Node और Electron की आवश्यकता न हो।

इसे इस CLI से लॉन्च करने के लिए, TorBotApp को सहोदर चेकआउट के रूप में इंस्टॉल करें:

code/
+-- TorBot/
+-- TorBotApp/

फिर चलाएँ:

torbot app

यदि TorBotApp कहीं और है, तो इनमें से किसी एक का उपयोग करें:

TORBOT_APP_DIR=/path/to/TorBotApp torbot app
torbot --app --app-dir /path/to/TorBotApp

CLI, वैकल्पिक UI और बैकएंड सेवाएँ एक साथ कैसे काम करती हैं, यह जानने के लिए Desktop App Architecture देखें।

क्यूरेटेड फ़ीचर्स

• विज़ुअलाइज़ेशन मॉड्यूल का पुनर्निर्माण
• webcrawler के लिए BFS सर्च लागू करें
• स्थिरता में सुधार करें (त्रुटियों को सुचारु रूप से संभालें, टेस्ट कवरेज बढ़ाएँ, आदि)
• टेस्ट कवरेज बढ़ाएँ
• सबसे हाल के सर्च परिणामों को डेटाबेस में सहेजें
• Tor कनेक्शन को रैंडमाइज़ करें (रैंडम हेडर और आइडेंटिटी)
• कीवर्ड/फ़्रेज़ सर्च
• सोशल मीडिया इंटीग्रेशन
• अनामिका बढ़ाएँ
• स्क्रीनशॉट कैप्चर

योगदान दिशानिर्देश

कोई समस्या मिली?

यदि आपको प्रोजेक्ट में कोई समस्या आती है, तो कृपया यहाँ नया issue बनाकर हमें बताएँ।

डेवलपर दिशानिर्देश

हम इस प्रोजेक्ट में योगदान का स्वागत करते हैं! यहाँ कुछ दिशानिर्देश दिए गए हैं जिनका पालन करना है: