waymore

परिचय - v8.9

waymore के पीछे का विचार वेबैक मशीन (और अन्य स्रोतों) से मौजूदा उपकरणों की तुलना में और भी अधिक लिंक खोजना है।

👉 waymore और अन्य उपकरणों के बीच सबसे बड़ा अंतर यह है कि यह वेबैक मशीन (और URLScan) पर URL के लिए संग्रहीत प्रतिक्रियाओं को भी डाउनलोड कर सकता है, जिससे आप इन्हें और भी अधिक लिंक, डेवलपर टिप्पणियाँ, अतिरिक्त पैरामीटर आदि खोजने के लिए खोज सकते हैं। 👉 इसके अलावा, अन्य उपकरण वर्तमान में स्रोतों द्वारा लागू दर सीमा (rate limiting) से निपटते नहीं हैं, और अक्सर अधूरे परिणामों के साथ रुक जाते हैं और आपको यह नहीं बताते कि वे अधूरे हैं।

बग बाउंटी करने वाले किसी भी व्यक्ति ने संभवतः @TomNomNoms द्वारा अद्भुत waybackurls का उपयोग किया होगा। यह उपकरण web.archive.org से URL और index.commoncrawl.org पर इंडेक्स संग्रहों में से एक से अतिरिक्त लिंक (यदि कोई हो) प्राप्त करता है। आपने संभवतः @hacker_ द्वारा अद्भुत gau का भी उपयोग किया होगा जो वेबैक आर्काइव, कॉमन क्रॉल, और एलियन वॉल्ट, URLScan, वायरस टोटल और इंटेलिजेंस X से भी URL ढूंढता है। अब waymore उन सभी स्रोतों से भी URL प्राप्त करता है (अपनी ज़रूरत की चीज़ें पाने के लिए अधिक फ़िल्टर करने की क्षमता के साथ):

• Wayback Machine (web.archive.org)
• Common Crawl (index.commoncrawl.org)
• Alien Vault OTX (otx.alienvault.com)
• URLScan (urlscan.io)
• Virus Total (virustotal.com)
• GhostArchive (ghostarchive.org)
• Intelligence X (intelx.io) - केवल शैक्षणिक या भुगतान स्तरों के लिए

👉 यह एक बिंदु है जिसे कई लोग अनदेखा करते हैं, इसलिए मैं इसे फिर से जोड़ रहा हूँ :) ... waymore और अन्य उपकरणों के बीच सबसे बड़ा अंतर यह है कि यह वेबैक मशीन पर URL के लिए संग्रहीत प्रतिक्रियाओं को डाउनलोड कर सकता है ताकि आप इन्हें और भी अधिक लिंक, डेवलपर टिप्पणियाँ, अतिरिक्त पैरामीटर आदि खोजने के लिए खोज सकें।

👉 इस उपकरण का अधिकतम लाभ उठाने के लिए कृपया इस पृष्ठ पर सभी जानकारी पढ़ें, और विशेष रूप से कोई भी समस्या उठाने से पहले 🤘

👉 यह उपकरण बहुत धीमा हो सकता है, लेकिन यह गति के लिए नहीं, बल्कि कवरेज के लिए है

⚠️ एक सामान्य गलती जो की जाती है वह है किसी डोमेन के लिए सब कुछ प्राप्त करने हेतु सबडोमेन की फ़ाइल पास करना। ऐसा न करें! केवल डोमेन पास करें ताकि उस डोमेन के सभी सबडोमेन प्राप्त हो सकें। यह बहुत तेज़ होगा, और आप कुछ भी नहीं चूकेंगे।

स्थापना

नोट: यदि आपके पास पहले से config.yml फ़ाइल है, तो इसे अधिलेखित नहीं किया जाएगा। उसी निर्देशिका में config.yml.NEW फ़ाइल बनाई जाएगी। यदि आपको नई कॉन्फ़िग चाहिए, तो config.yml हटाएँ और config.yml.NEW का नाम बदलकर config.yml करें।

waymore Python 3.7+ का समर्थन करता है (async/await समर्थन के लिए Python 3.7 या उच्चतर आवश्यक है)।

waymore को डिफ़ॉल्ट (ग्लोबल) python वातावरण में स्थापित करें।```bash pip install waymore

या```bash
pip install git+https://github.com/xnl-h4ck3r/waymore.git -v

आप अपग्रेड कर सकते हैं```bash pip install --upgrade waymore

### pipx

पृथक पायथन वातावरण में त्वरित सेटअप [pipx](https://pypa.github.io/pipx/) का उपयोग करके```bash
pipx install git+https://github.com/xnl-h4ck3r/waymore.git

उपयोग| Arg | Long Arg | विवरण |

| ------------- | -------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | -i | --input | लक्ष्य डोमेन (या डोमेन की फ़ाइल) जिसके लिए लिंक खोजने हैं। यह केवल एक डोमेन हो सकता है, या किसी विशिष्ट पथ वाला डोमेन। यदि यह केवल डोमेन है तो उस डोमेन के लिए सब कुछ प्राप्त करने के लिए www. उपसर्ग न लगाएं। आप अवधि के साथ उपसर्ग करके केवल एक TLD भी निर्दिष्ट कर सकते हैं, जैसे .mil, जो उस TLD वाले सभी डोमेन के लिए सभी उप डोमेन प्राप्त करेगा (नोट: Alien Vault OTX स्रोत को TLD खोजने पर बाहर रखा गया है क्योंकि इसे पूर्ण डोमेन की आवश्यकता है)। नोट: इनपुट मानों से कोई भी स्कीम, पोर्ट नंबर, क्वेरी स्ट्रिंग या URL खंड हटा दिया जाएगा। हालांकि, यदि आप एक पथ प्रदान करते हैं, तो विशेष रूप से उसकी खोज की जाएगी, जिससे आपके परिणाम सीमित होंगे। | | -mode | | चलाने का तरीका: U (केवल URL प्राप्त करें), R (केवल प्रतिक्रियाएँ डाउनलोड करें) या B (दोनों)। यदि -i केवल एक डोमेन है, तो -mode डिफ़ॉल्ट रूप से B होगा। यदि -i पथ वाला डोमेन है तो डिफ़ॉल्ट रूप से होगा। | | -oU | --output-urls | लिंक आउटपुट को सहेजने के लिए फ़ाइल, आवश्यकतानुसार पथ सहित। यदि तर्क पारित नहीं किया गया है, तो फ़ाइल में कुंजी द्वारा निर्दिष्ट पथ में एक निर्देशिका बनाई जाएगी (आमतौर पर पर डिफ़ॉल्ट)। उसके अंदर, के साथ पारित लक्ष्य डोमेन (या पथ वाले डोमेन) के नाम पर एक निर्देशिका बनाई जाएगी (या के साथ पारित फ़ाइल की प्रत्येक पंक्ति के लिए)। उदाहरण: | | -oR | --output-responses | प्रतिक्रिया आउटपुट फ़ाइलों को सहेजने के लिए निर्देशिका, आवश्यकतानुसार पथ सहित। यदि तर्क पारित नहीं किया गया है, तो फ़ाइल में कुंजी द्वारा निर्दिष्ट पथ में एक निर्देशिका बनाई जाएगी (आमतौर पर पर डिफ़ॉल्ट)। उसके अंदर, के साथ पारित लक्ष्य डोमेन (या पथ वाले डोमेन) के नाम पर एक निर्देशिका बनाई जाएगी (या के साथ पारित फ़ाइल की प्रत्येक पंक्ति के लिए)। उदाहरण: | | -n | --no-subs | लक्ष्य डोमेन के उपडोमेन शामिल न करें (केवल तब उपयोग किया जाता है जब इनपुट किसी विशिष्ट पथ वाला डोमेन न हो)। | | -f | --filter-responses-only | स्रोतों से प्रारंभिक लिंक फ़िल्टर नहीं किए जाएंगे, केवल डाउनलोड की गई प्रतिक्रियाएँ फ़िल्टर की जाएंगी, उदा. लिंक से सभी उपलब्ध पथ देखना अभी भी उपयोगी हो सकता है, भले ही आप सामग्री की जांच नहीं करना चाहते हों। | | -fc | | प्राप्त URL और प्रतिक्रियाओं के लिए HTTP स्थिति कोड फ़िल्टर करें। कोड की अल्पविराम से अलग की गई सूची (डिफ़ॉल्ट: से मान)। यह तर्क पारित करने से का मान ओवरराइड हो जाएगा। | | -ft | | प्राप्त URL और प्रतिक्रियाओं के लिए MIME प्रकार फ़िल्टर करें। MIME प्रकारों की अल्पविराम से अलग की गई सूची (डिफ़ॉल्ट: से मान)। यह तर्क पारित करने से का मान ओवरराइड हो जाएगा। । | | -mc | | प्राप्त URL और प्रतिक्रियाओं के लिए केवल HTTP स्थिति कोड से मिलान करें। कोड की अल्पविराम से अलग की गई सूची। यह तर्क पारित करने से कॉन्फ़िग और ओवरराइड हो जाता है। | | -mt | | प्राप्त URL और प्रतिक्रियाओं के लिए केवल MIME प्रकार। MIME प्रकारों की अल्पविराम से अलग की गई सूची। यह तर्क पारित करने से कॉन्फ़िग और ओवरराइड हो जाता है। । | | -l | --limit | कितनी प्रतिक्रियाएँ सहेजी जाएंगी (यदि या पारित है)। एक सकारात्मक मान परिणाम प्राप्त करेगा, एक नकारात्मक मान परिणाम प्राप्त करेगा। 0 का मान प्रतिक्रियाएँ प्राप्त करेगा (डिफ़ॉल्ट: 5000) | | -from | --from-date | किस तिथि से डेटा प्राप्त करना है। यदि निर्दिष्ट नहीं है तो यह सबसे पुराने संभावित परिणामों से प्राप्त होगा। एक आंशिक मान पारित किया जा सकता है, जैसे , , आदि। | | -to | --to-date | किस तिथि तक डेटा प्राप्त करना है। यदि निर्दिष्ट नहीं है तो यह नवीनतम संभावित परिणामों तक प्राप्त होगा। एक आंशिक मान पारित किया जा सकता है, जैसे , , आदि। | | -ci | --capture-interval | archive.org पर खोज को फ़िल्टर करता है ताकि प्रति घंटे (), दिन () या महीने () में अधिकतम 1 कैप्चर प्राप्त हो। यह फ़िल्टर केवल प्रतिक्रियाओं के लिए उपयोग किया जाता है। डिफ़ॉल्ट है लेकिन कुछ भी फ़िल्टर न करने और सभी प्रतिक्रियाएँ प्राप्त करने के लिए इसे पर भी सेट किया जा सकता है। | | -ra | --regex-after | URL के सभी स्रोतों से मिले लिंक और डाउनलोड की गई प्रतिक्रियाओं के विरुद्ध फ़िल्टरिंग उद्देश्यों के लिए RegEx। | | -url-filename | | डाउनलोड की गई प्रतिक्रियाओं की फ़ाइल का नाम उस URL पर सेट करें जिसने प्रतिक्रिया उत्पन्न की, अन्यथा इसे प्रतिक्रिया के हैश मान पर सेट किया जाएगा। हैश मान का उपयोग करने का अर्थ है कि एक ही प्रतिक्रिया उत्पन्न करने वाले कई URL के परिणामस्वरूप उस प्रतिक्रिया के लिए केवल एक फ़ाइल सहेजी जाएगी। | | -xwm | | Wayback Machine (archive.org) से लिंक की जाँच को बाहर करें | | -xcc | | commoncrawl.org से लिंक की जाँच को बाहर करें | | -xav | | alienvault.com से लिंक की जाँच को बाहर करें | | -xus | | urlscan.io से लिंक की जाँच को बाहर करें | | -xvt | | virustotal.com से लिंक की जाँच को बाहर करें | | -xix | | Intelligence X.com से लिंक की जाँच को बाहर करें | | -xga | | ghostarchive.org से लिंक की जाँच को बाहर करें | | -lcc | | खोजे जाने वाले Common Crawl इंडेक्स संग्रहों की संख्या सीमित करें, जैसे केवल नवीनतम संग्रह खोजेगा (डिफ़ॉल्ट: 1)। नवंबर 2024 तक वर्तमान में 106 संग्रह हैं। पर सेट करने से संग्रह खोजे जाएंगे। यदि आप Common Crawl को बिल्कुल भी खोजना नहीं चाहते हैं, तो विकल्प का उपयोग करें। | | -t | --timeout | यह केवल संग्रहीत प्रतिक्रियाओं के लिए है! सर्वर द्वारा डेटा भेजने की प्रतीक्षा करने के लिए कितने सेकंड का समय देना है, इसके बाद हार मान लें (डिफ़ॉल्ट: 30) | | -p | --processes | URL की फ़ाइल के लिए अनुरोध प्राप्त करते समय बुनियादी मल्टीथ्रेडिंग की जाती है। यह तर्क उपयोग की जाने वाली प्रक्रियाओं (थ्रेड्स) की संख्या निर्धारित करता है (डिफ़ॉल्ट: 2) | | -r | --retries | उन अनुरोधों के लिए पुनः प्रयासों की संख्या जिनमें कनेक्शन त्रुटि या दर सीमित हो (डिफ़ॉल्ट: 1)। | | -sip | --source-ip OR --bind-ip | आउटबाउंड HTTP/HTTPS अनुरोधों को इस स्रोत IP से बांधें (मल्टी-होमेड होस्ट पर उपयोगी)। यह तर्क पारित करने से फ़ाइल में मान ओवरराइड हो जाता है। | | -m | --memory-threshold | मेमोरी सीमा प्रतिशत। यदि मशीन की मेमोरी सीमा से ऊपर जाती है, तो प्रोग्राम रोक दिया जाएगा और मेमोरी खत्म होने से पहले सुरक्षित रूप से समाप्त कर दिया जाएगा (डिफ़ॉल्ट: 95) | | -ko | --keywords-only | केवल वे लिंक और प्रतिक्रियाएँ लौटाएं जिनमें आपकी रुचि के कीवर्ड हों। इससे परिणाम प्राप्त करने में लगने वाला समय कम हो सकता है। यदि आप बिना मान के फ़्लैग प्रदान करते हैं, तो कीवर्ड फ़ाइल (आमतौर पर में) में कुंजी के साथ अल्पविराम से अलग की गई सूची से लिए जाते हैं, अन्यथा आप उपयोग करने के लिए एक विशिष्ट Regex मान पारित कर सकते हैं, जैसे केवल शब्द वाले लिंक प्राप्त करने के लिए, या केवल JS फ़ाइलें प्राप्त करने के लिए। Regex जाँच केस-सेंसिटिव नहीं है। | | -lr | --limit-requests | किसी स्रोत से लिंक प्राप्त करते समय किए जाने वाले अनुरोधों की संख्या सीमित करें (यह Common Crawl पर लागू नहीं होता है)। कुछ लक्ष्यों के लिए आवश्यक अनुरोधों की भारी मात्रा वापस आ सकती है जो संभव नहीं है, इसलिए इसका उपयोग उस स्थिति को प्रबंधित करने के लिए किया जा सकता है। यह डिफ़ॉल्ट रूप से 0 (शून्य) है जिसका अर्थ है कोई सीमा नहीं। | | -ow | --output-overwrite | यदि URL आउटपुट फ़ाइल (डिफ़ॉल्ट , या द्वारा निर्दिष्ट) पहले से मौजूद है, तो इसमें जोड़ने के बजाय इसे ओवरराइट किया जाएगा। | | -nlf | --new-links-file | यदि यह तर्क पारित किया जाता है, तो एक फ़ाइल (या यदि का उपयोग किया जाता है तो वह फ़ाइल का नाम प्रत्यय के साथ होगा) भी लिखी जाएगी, और इसमें नवीनतम रन के लिंक होंगे। इसका उपयोग लक्ष्य की निरंतर निगरानी के लिए किया जा सकता है (केवल के लिए, के लिए नहीं)। | | | --stream | URL मिलते ही STDOUT पर आउटपुट करें (डुप्लिकेट दिखाए जाएंगे)। केवल के साथ काम करता है। अन्य सभी आउटपुट दबा दिए जाते हैं, इसलिए कोई भी त्रुटि देखने के लिए का उपयोग करें। परिणामों को फ़ाइल में स्पष्ट रूप से सहेजने के लिए का उपयोग करें (डीडुप्लिकेटेड होंगे)। | | -c | --config | YML कॉन्फ़िग फ़ाइल का पथ। यदि पारित नहीं किया गया है, तो यह डिफ़ॉल्ट निर्देशिका, आमतौर पर , में फ़ाइल की तलाश करता है। | | -wrlr | --wayback-rate-limit-retry | उपयोगकर्ता Wayback Machine (archive.org) पर दर सीमा विराम के लिए प्रतीक्षा करने के लिए कितने मिनट चाहता है, बजाय त्रुटि के साथ रुकने के (डिफ़ॉल्ट: 3)। | | -urlr | --urlscan-rate-limit-retry | उपयोगकर्ता URLScan.io पर दर सीमा विराम के लिए प्रतीक्षा करने के लिए कितने मिनट चाहता है, बजाय त्रुटि के साथ रुकने के (डिफ़ॉल्ट: 1)। | | -co | --check-only | यह कुछ न्यूनतम अनुरोध करके आपको दिखाएगा कि स्रोतों से URL प्राप्त करने और Wayback Machine से प्रतिक्रियाएँ डाउनलोड करने में कितने अनुरोध और लगभग कितना समय लग सकता है (दुर्भाग्य से URLScan से प्रतिक्रियाएँ डाउनलोड करने में कितना समय लगेगा, इसकी जाँच करना संभव नहीं है)। | | -nd | --notify-discord | क्या waymore पूरा होने पर Discord को सूचना भेजनी है। इसके लिए फ़ाइल में प्रदान करना आवश्यक है। | | -nt | --notify-telegram | क्या waymore पूरा होने पर Telegram को सूचना भेजनी है। इसके लिए फ़ाइल में और प्रदान करना आवश्यक है। | | -oijs | --output-inline-js | क्या (या ) का उपयोग करने पर प्रतिक्रिया निर्देशिका में सभी प्रासंगिक फ़ाइलों के संयुक्त इनलाइन जावास्क्रिप्ट को सहेजना है। फ़ाइलें नाम से सहेजी जाती हैं जहाँ फ़ाइल की संख्या है, प्रति फ़ाइल 1000 अद्वितीय स्क्रिप्ट सहेजी जाती हैं। फ़ाइल भी बनाई जाएगी, जिसमें फ़ाइलों में संदर्भित सभी बाहरी स्क्रिप्ट का मान होगा। | | -v | --verbose | विस्तृत आउटपुट | | | --version | वर्तमान संस्करण संख्या दिखाएँ। | | -h | --help | सहायता संदेश दिखाएँ और बाहर निकलें। |## डॉकर के साथ चलाएँ

डॉकर स्थापित करें```bash git clone https://github.com/xnl-h4ck3r/waymore.git cd waymore

इमेज बनाएँ:```bash
docker build -t waymore .

waymore को इस कमांड के साथ चलाएँ:```bash docker run -it --rm -v $PWD/results:/app/results waymore:latest -i example.com -oU example.com.links -oR results/example.com/

## इनपुट और मोड

इनपुट `-i` या तो केवल एक डोमेन हो सकता है, जैसे `redbull.com` या एक विशिष्ट डोमेन और पथ, जैसे `redbull.com/robots.txt`। आप प्रक्रिया के लिए डोमेन/URL की एक फ़ाइल भी पास कर सकते हैं (या कमांड लाइन पर किसी अन्य प्रोग्राम से पाइप करके मान पास कर सकते हैं)। **नोट: कोई भी स्कीम, पोर्ट नंबर, क्वेरी स्ट्रिंग या URL खंड इनपुट मानों से हटा दिए जाएंगे। हालांकि, यदि आप एक पथ प्रदान करते हैं, तो विशेष रूप से इसकी खोज की जाएगी, जिससे आपके परिणाम सीमित हो जाएंगे।**

waymore के लिए विभिन्न मोड चलाए जा सकते हैं। `-mode` तर्क 3 अलग-अलग मान ले सकता है:

- `U` - URL archive.org (यदि `-xwm` पास नहीं किया गया है), commoncrawl.org (यदि `-xcc` पास नहीं किया गया है), otx.alienvault.com (यदि `-xvv` पास नहीं किया गया है) और urlscan.io (यदि `-xus` पास नहीं किया गया है) से प्राप्त किए जाएंगे।
- `R` - archive.org से प्रतिक्रियाएं डाउनलोड की जाएंगी।
- `B` - URL और प्रतिक्रियाएं दोनों प्राप्त की जाएंगी।

यदि इनपुट एक विशिष्ट URL था, जैसे `redbull.com/robots.txt`, तो `-mode` डिफ़ॉल्ट रूप से `R` हो जाता है। केवल प्रतिक्रियाएं डाउनलोड की जाएंगी। आप पथ वाले डोमेन के लिए मोड को `U` या `B` में नहीं बदल सकते क्योंकि किसी विशिष्ट URL के लिए URL प्राप्त करना आवश्यक नहीं है।

यदि इनपुट केवल एक डोमेन है, जैसे `redbull.com`, तो `-mode` डिफ़ॉल्ट रूप से `B` हो जाता है। आवश्यकता होने पर इसे `U` या `R` में बदला जा सकता है। जब केवल एक डोमेन पास किया जाता है, तो उस डोमेन (और उपडोमेन, जब तक कि `-n` पास न किया जाए) के सभी URL/प्रतिक्रियाएं प्राप्त की जाती हैं। यदि नो सबडोमेन विकल्प `-n` पास किया जाता है, तो `www` उपडोमेन डिफ़ॉल्ट रूप से अभी भी शामिल रहता है।

## config.yml

`config.yml` फ़ाइल (आमतौर पर `~/.config/waymore/` में) में ऐसे मान होते हैं जिन्हें आपकी आवश्यकताओं के अनुसार अपडेट किया जा सकता है। फ़िल्टर सभी अल्पविराम से अलग की गई सूचियों के रूप में प्रदान किए जाते हैं:

- `FILTER_CODE` - उन प्रतिक्रियाओं को बाहर करने के लिए उपयोग किए जाने वाले अपवाद जिन्हें हम web.archive.org से प्राप्त करने का प्रयास करेंगे, और फ़ाइल नामों के लिए भी जब `-i` एक निर्देशिका है, जैसे `301,302`। इसे `-fc` तर्क के साथ ओवरराइड किया जा सकता है। `-mc` (फ़िल्टर के बजाय स्थिति कोड से मिलान करने के लिए) पास करने से `FILTER_CODE` या `-fc` में कोई भी मान ओवरराइड हो जाएगा।
- `FILTER_MIME` - MIME Content-Type अपवाद, जिनका उपयोग web.archive.org के API के माध्यम से लिंक और प्रतिक्रियाओं को फ़िल्टर करने के लिए किया जाता है, जैसे `'text/css,image/jpeg`। इसे `-ft` तर्क के साथ ओवरराइड किया जा सकता है। `-mt` (MIME प्रकारों से मिलान करने के लिए) पास करने से `FILTER_MIME` या `-ft` में कोई भी मान ओवरराइड हो जाएगा।
- `FILTER_URL` - प्रतिक्रिया कोड अपवाद जिनका उपयोग हम web.archive.org के API के माध्यम से लिंक और प्रतिक्रियाओं को फ़िल्टर करने के लिए करेंगे, जैसे `.css,.jpg`
- `FILTER_KEYWORDS` - केवल वे लिंक और प्रतिक्रियाएं लौटाई जाएंगी जिनमें निर्दिष्ट कीवर्ड हों, यदि `-ko`/`--keywords-only` तर्क पास किया गया है (कमांड लाइन पर स्पष्ट मान प्रदान किए बिना), जैसे `admin,portal`
- `URLSCAN_API_KEY` - आप [urlscan.io](https://urlscan.io/user/signup) पर साइन अप करके एक **मुफ्त** API कुंजी प्राप्त कर सकते हैं (सशुल्क सब्सक्रिप्शन भी उपलब्ध हैं)। यह अनुशंसा की जाती है कि आप एक कुंजी प्राप्त करें और इसे कॉन्फ़िग फ़ाइल में डालें ताकि आप उनके API से अधिक (और तेज़) वापस प्राप्त कर सकें। नोट: जब तक आपके पास पूर्ण सशुल्क सब्सक्रिप्शन नहीं है, आप दर-सीमित हो जाएंगे।
- `CONTINUE_RESPONSES_IF_PIPED` - यदि आर्काइव प्रतिक्रियाओं को प्राप्त करना पूरा नहीं होता है, तो अगली बार आपसे पूछा जाएगा कि क्या आप पिछले रन को जारी रखना चाहते हैं। हालांकि, यदि `stdout` को किसी अन्य प्रक्रिया में पाइप किया जाता है, तो यह मान लिया जाता है कि आप इंटरैक्टिव प्रॉम्प्ट नहीं चाहते हैं। `True` (डिफ़ॉल्ट) का मान यह सुनिश्चित करेगा कि पिछला रन जारी रखा जाए। यदि आप हर बार एक ताजा रन चाहते हैं, तो `False` पर सेट करें।
- `WEBHOOK_DISCORD` - यदि `--notify-discord` तर्क पास किया जाता है, तो `waymore` इस Discord वेबहुक पर एक सूचना भेजेगा।
- `TELEGRAM_BOT_TOKEN` - यदि `--notify-telegram` तर्क पास किया जाता है, तो `waymore` Telegram पर सूचना भेजने के लिए इस टोकन का उपयोग करेगा।
- `TELEGRAM_CHAT_ID` - यदि `--notify-telegram` तर्क पास किया जाता है, तो `waymore` सूचना इस चैट ID पर भेजेगा।
- `DEFAULT_OUTPUT_DIR` - यदि `-oU` और `-oR` तर्कों का उपयोग नहीं किया जाता है, तो लिखी जाने वाली किसी भी आउटपुट फ़ाइल का डिफ़ॉल्ट स्थान है। यदि इस कुंजी का मान खाली है, तो यह डिफ़ॉल्ट रूप से `config.yml` फ़ाइल के स्थान पर होगा।
- `INTELX_API_KEY` - आप [intelx.io यहाँ](https://intelx.io/product) पर साइन अप कर सकते हैं। इसके API के माध्यम से `/phonebook/search` करने के लिए अकादमिक या सशुल्क API कुंजी की आवश्यकता होती है (2024-09-01 तक, स्पैम खातों द्वारा लगातार दुरुपयोग के कारण Phonebook सेवा अकादमिक या सशुल्क उपयोगकर्ताओं तक सीमित कर दी गई है)। यदि आप एक मान्य अकादमिक ईमेल पते के साथ साइन अप करते हैं, तो आप अकादमिक उपयोग के लिए मुफ्त API कुंजी प्राप्त कर सकते हैं।
- `SOURCE_IP` - वैकल्पिक। मल्टी-होमेड होस्ट पर आउटबाउंड HTTP/HTTPS अनुरोधों को एक विशिष्ट स्रोत IP से बांधें। इसे `--source-ip/--bind-ip` CLI फ़्लैग के माध्यम से भी सेट किया जा सकता है (CLI की प्राथमिकता अधिक है)।

  **नोट: MIME प्रकारों को Alien Vault OTX, Virus Total और Intelligence X के लिए फ़िल्टर नहीं किया जा सकता क्योंकि उनमें MIME प्रकार पर फ़िल्टर करने की क्षमता नहीं है। कभी-कभी URLScan में किसी URL के लिए MIME प्रकार परिभाषित नहीं होता है। ऐसे मामलों में, URL को फ़िल्टर या मिलान की परवाह किए बिना शामिल किया जाएगा। यदि यह महत्वपूर्ण है, तो कुछ प्रदाताओं को बाहर करने पर विचार करें।**

## आउटपुट

`config.yml` फ़ाइल में `DEFAULT_OUTPUT_DIR` के साथ निर्दिष्ट डिफ़ॉल्ट आउटपुट निर्देशिका में (यदि यह खाली है, तो यह डिफ़ॉल्ट रूप से `config.yml` फ़ाइल के स्थान पर होगा, आमतौर पर `~/.config/waymore/`), एक `results` निर्देशिका बनाई जाएगी। उसके अंदर, एक निर्देशिका बनाई जाएगी जिसमें `-i` के साथ पास किया गया लक्ष्य डोमेन (या पथ सहित डोमेन) होगा (या `-i` के साथ पास की गई फ़ाइल की प्रत्येक पंक्ति के लिए)। आप वैकल्पिक रूप से तर्क `-oU` का उपयोग कर सकते हैं यह निर्दिष्ट करने के लिए कि URL लिंक फ़ाइल कहाँ आउटपुट होगी (और फ़ाइल का नाम क्या होगा)। आप तर्क `-oR` का भी उपयोग कर सकते हैं एक निर्देशिका (या पथ) निर्दिष्ट करने के लिए जहाँ संग्रहीत प्रतिक्रियाएं आउटपुट होंगी।
चलाने पर, लक्ष्य निर्देशिका में निम्नलिखित फ़ाइलें बनाई जाती हैं:

- `waymore.txt` - यदि `-mode` `U` या `B` है, तो इस फ़ाइल में चयनित स्रोतों के लिंक होंगे। लिंक archive.org Wayback Machine (जब तक `-xwm` पास न किया गया हो), commoncrawl.org (जब तक `-xcc` पास न किया गया हो), otx.alienvault.com (जब तक `-xav` पास न किया गया हो) और urlscan.io (जब तक `-xus` पास न किया गया हो) से प्राप्त किए जाएंगे। यदि `-ow` विकल्प भी पास किया गया था, तो लक्ष्य परिणाम निर्देशिका में किसी भी मौजूदा `waymore.txt` फ़ाइल को अधिलेखित कर दिया जाएगा, अन्यथा नए लिंक जोड़े जाएंगे और डुप्लिकेट हटा दिए जाएंगे।
- `index.txt` - यदि `-mode` `R` या `B` है, और `-url-filname` पास नहीं किया गया था, तो संग्रहीत प्रतिक्रियाएं डाउनलोड की जाएंगी और सहेजी गई फ़ाइल नामों के लिए हैश मानों का उपयोग किया जाएगा। इस फ़ाइल में `<hash>,<archive URL>,<timestamp>` की अल्पविराम से अलग की गई सूची होती है, यदि आपको यह जानने की आवश्यकता है कि किस URL ने कौन सी प्रतिक्रिया उत्पन्न की।
- `अन्य सभी फ़ाइलें` - ये संग्रहीत प्रतिक्रिया फ़ाइलें तब बनाई जाएंगी यदि `-mode` `R` या `B` था। यदि `-url-filename` पास किया गया था, तो फ़ाइल नाम वह आर्काइव URL होंगे जिसने प्रतिक्रिया उत्पन्न की, जैसे `https--example.com-robots.txt`, अन्यथा फ़ाइल नाम एक हैश मान होगा, जैसे `7960113391501.{EXT}` जहाँ `{EXT}` पथ से प्राप्त एक्सटेंशन होगा, अन्यथा यह प्रतिक्रिया `content-type` से प्राप्त होगा। कभी-कभी एक सामान्य एक्सटेंशन दिया जाएगा, जैसे `.js` किसी भी सामग्री प्रकार के लिए जिसमें `javascript` शब्द है, अन्यथा इसे प्रकार के अंतिम भाग पर सेट किया जा सकता है (जैसे यदि यह `application/java-archive` है तो फ़ाइल `7960113391501.java-archive` होगी)। हैश मानों का उपयोग करने का मतलब है कि कम फ़ाइलें लिखी जाएंगी क्योंकि प्रति अद्वितीय प्रतिक्रिया केवल एक फ़ाइल होगी। इन संग्रहीत प्रतिक्रियाओं को सहेजने से पहले, `web.archive.org` के किसी भी संदर्भ को हटाने के लिए संपादित किया जाता है।

## जानकारी और सुझाव

पाए गए लिंक की संख्या, और फिर संभावित रूप से आपके द्वारा डाउनलोड की जाने वाली संग्रहीत प्रतिक्रियाओं की फ़ाइलों की संख्या कई डोमेन के लिए **बहुत बड़ी** हो सकती है। यह उपकरण गति के बारे में नहीं है, बल्कि अधिक खोजने के बारे में है, इसलिए धैर्य रखें।

प्रक्रियाओं की संख्या बढ़ाने के लिए एक `-p` विकल्प है (सभी स्रोतों से लिंक प्राप्त करने और archive.org से संग्रहीत प्रतिक्रियाओं को डाउनलोड करने के लिए उपयोग किया जाता है)। हालांकि, यह उतना तेज़ नहीं हो सकता जितना आप चाहेंगे, मेरा सुझाव है कि `-p` को डिफ़ॉल्ट 3 पर छोड़ दें क्योंकि मुझे व्यक्तिगत रूप से उच्च मानों के साथ प्रतिक्रियाएं प्राप्त करने में समस्याएँ आईं। हम इन सेवाओं को कोई समस्या नहीं देना चाहते, इसलिए समझदारी से काम लें!

मैं अक्सर `-f` विकल्प का उपयोग करता हूं क्योंकि मैं चाहता हूं कि `waymore.txt` में सभी संभावित लिंक हों। भले ही मुझे छवियों, फोंट आदि की परवाह नहीं है, फिर भी सभी संभावित पथों और शायद पैरामीटर को देखना उपयोगी हो सकता है। कोई भी फ़िल्टर हमेशा संग्रहीत प्रतिक्रियाओं को डाउनलोड करने के लिए लागू किया जाएगा। आप हजारों छवियों को डाउनलोड करने में समय बर्बाद नहीं करना चाहते!

`-v` विकल्प का उपयोग करने से पर्दे के पीछे क्या हो रहा है यह देखने में मदद मिल सकती है और यदि आपको वह आउटपुट नहीं मिल रहा है जिसकी आप अपेक्षा करते हैं तो यह मदद कर सकता है।

सभी URL (Alien Vault को छोड़कर सभी स्रोतों द्वारा) के MIME Content Types `-v` का उपयोग करने पर प्रदर्शित होंगे। यदि आप पाते हैं कि आपको अभी भी ऐसी चीजें वापस मिल रही हैं जो आप नहीं देखना चाहते हैं, तो आगे के अपवाद जोड़ने में मदद मिल सकती है। यदि आप एक MIME प्रकार देखते हैं जो शामिल किया जा रहा है लेकिन आप इसे आगे नहीं चाहते हैं, तो इसे `config.yml` में `FILTER_MIME` में जोड़ें।
यह ध्यान दिया जाना चाहिए कि कभी-कभी archive.org पर MIME प्रकार वास्तविक MIME के बजाय `unk` और `unknown` के रूप में संग्रहीत होता है, इसलिए फ़िल्टर इसे उनके परिणामों से जरूरी नहीं हटाएगा। `FILTER_URL` कॉन्फ़िग सेटिंग्स का उपयोग उन्हें बाद में हटाने के लिए किया जा सकता है। उदाहरण के लिए, यदि एक GIF का MIME प्रकार `image/gif` (और वह `FILTER_MIME` में है) के बजाय `unk` है, तो यह फ़िल्टर नहीं होगा, लेकिन यदि URL `https://target.com/assets/logo.gif` है और `.gif` `FILTER_URL` में है, तो इसका अनुरोध नहीं किया जाएगा।

यदि `config.yml` मौजूद नहीं है, या फ़िल्टर के लिए प्रविष्टियाँ फ़ाइल में नहीं हैं, तो डिफ़ॉल्ट फ़िल्टर का उपयोग किया जाता है। फ़ाइल रखना और इनकी समीक्षा करना बेहतर है ताकि यह सुनिश्चित हो सके कि आपको वह मिल रहा है जिसकी आपको आवश्यकता है।

संभावित रूप से लाखों प्रतिक्रियाएं हो सकती हैं, इसलिए सुनिश्चित करें कि आप फ़िल्टर सेट करते हैं, लेकिन यदि आवश्यक हो, तो सीमा (`-l`), से दिनांक (`-from`), तक दिनांक (`-to`) और/या कैप्चर अंतराल (`-ci`) भी सेट करें। सीमा डिफ़ॉल्ट रूप से 5000 है, लेकिन मान लीजिए आप 2015 से जनवरी 2018 तक की नवीनतम 20,000 प्रतिक्रियाएं प्राप्त करना चाहते हैं... तो आप `-l -20000 -from 2015 -to 201801` पास करेंगे। कैप्चर अंतराल यह निर्धारित करता है कि एक निर्दिष्ट अवधि के भीतर किसी विशेष URL के लिए कितनी प्रतिक्रियाएं डाउनलोड की जाएंगी, जैसे यदि आप `m` पर सेट करते हैं, तो आपको प्रति माह एक URL के लिए केवल एक प्रतिक्रिया मिलेगी। डिफ़ॉल्ट `d` संभवतः प्रतिक्रियाओं की संख्या को काफी कम कर देगा और जब तक किसी लक्ष्य ने किसी दिन में एक से अधिक बार कुछ नहीं बदला, तब तक कई अद्वितीय प्रतिक्रियाएं छूटने की संभावना नहीं होगी।

एक और उपयोगी तर्क `-mc` है जो केवल उन परिणामों को प्राप्त करेगा जहां HTTP स्थिति कोड पास की गई अल्पविराम से अलग की गई सूची से मेल खाता है, जैसे `-mc 200` या `-mc 200,403`।

आप केवल उन कीवर्ड वाले लिंक और प्रतिक्रियाएं लौटाकर संख्या (और इसलिए निष्पादन समय) को भी काफी कम कर सकते हैं जिनमें आप रुचि रखते हैं। आप इन कीवर्ड को `config.yml` में `FILTER_KEYWORDS` कुंजी के साथ सूचीबद्ध कर सकते हैं और फिर इनका उपयोग करने के लिए तर्क `-ko`/`--keywords-only` पास कर सकते हैं, या आप एक विशिष्ट Regex के साथ `-ko`/`--keywords-only` पास कर सकते हैं, जैसे केवल JS फ़ाइलें प्राप्त करने के लिए `-ko "\.js(\?.*|$)"`। **नोट: CDX regex के लिए आवश्यक है कि सभी पथ पूर्ण स्ट्रिंग से मेल खाएं, इसलिए यदि `$` का उपयोग OR समूह के भाग के रूप में किया जाता है, तो regex के भाग `(\?.*|$)` में `.*` आवश्यक है।**

जैसा कि ऊपर उल्लेख किया गया है, [urlscan.io](https://urlscan.io/user/signup) पर साइन अप करके एक **मुफ्त** API कुंजी प्राप्त करें (सशुल्क सब्सक्रिप्शन भी उपलब्ध हैं)। यह अनुशंसा की जाती है कि आप एक कुंजी प्राप्त करें और इसे `config.yml` फ़ाइल में डालें ताकि आप उनके API से अधिक (और तेज़) वापस प्राप्त कर सकें। नोट: जब तक आपके पास पूर्ण सशुल्क सब्सक्रिप्शन नहीं है, आप दर-सीमित हो जाएंगे।

archive.org Wayback Machine CDX API को कभी-कभी सभी लिंक प्राप्त करने के लिए भारी मात्रा में अनुरोधों की आवश्यकता हो सकती है। उदाहरण के लिए, यदि आप `-i twitter.com` के लिए **waymore** चलाते हैं, तो यह कहता है कि archive.org को **28,903,799** अनुरोध करने की आवश्यकता है (कुछ लोगों के लिए इसमें लगभग 1000 दिन लग सकते हैं!!!)। तर्क `-lr` का उपयोग प्रति स्रोत किए जाने वाले अनुरोधों की संख्या को सीमित करने के लिए किया जा सकता है (हालांकि आमतौर पर archive.org समस्या है)। तर्क का डिफ़ॉल्ट मान 0 (शून्य) है जो कोई सीमा लागू नहीं करेगा।

Wayback Machine CDX API के साथ एक समस्या यह भी है कि जब फ़िल्टर लागू होते हैं तो लौटाए गए पृष्ठों की संख्या सही नहीं होती है और समस्या पैदा कर सकती है (https://github.com/internetarchive/wayback/issues/243 देखें)। जब तक वह समस्या हल नहीं हो जाती, थोड़े समय के लिए `-lr` तर्क को एक उचित मान पर सेट करना उस समस्या में मदद कर सकता है।

Common Crawl API में लंबे समय से बहुत सारी समस्याएं रही हैं। इस स्रोत को शामिल करने से waymore को चलने में अधिक समय लग सकता है और अतिरिक्त परिणाम नहीं मिल सकते हैं। आप http://index.commoncrawl.org/collinfo.json पर जाकर जांच सकते हैं कि कोई समस्या है या नहीं और देख सकते हैं कि यह सफल है या नहीं। `--providers` तर्क का उपयोग करके और `commoncrawl` शामिल नहीं करके, या `-xcc` तर्क का उपयोग करके Common Crawl को पूरी तरह से बाहर करने पर विचार करें।

**प्रदाता API सर्वर भारी मात्रा को संभालने के लिए डिज़ाइन नहीं किए गए हैं, इसलिए समझदार और विचारशील बनें कि आप उन पर क्या हिट करते हैं!**

संग्रहीत प्रतिक्रियाओं को डाउनलोड करते समय, इसमें लंबा समय लग सकता है और कभी-कभी मशीन द्वारा किसी कारण से समाप्त किया जा सकता है, या उपयोगकर्ता द्वारा मैन्युअल रूप से समाप्त किया जा सकता है।
लक्ष्य `results` निर्देशिका में, प्रक्रिया की शुरुआत में `responses.tmp` नामक एक फ़ाइल बनाई जाती है जिसमें सभी प्रतिक्रिया URL शामिल होते हैं जिन्हें प्राप्त किया जाएगा। `continueResp.tmp` नामक एक फ़ाइल भी होगी जो नवीनतम प्राप्त प्रतिक्रिया के सूचकांक को संग्रहीत करती है। यदि `waymore` प्रतिक्रियाएं प्राप्त करने के लिए चलाया जाता है (`-mode R` या `-mode B`), और ये फ़ाइलें मौजूद हैं, तो इसका मतलब है कि पिछला अधूरा रन था, और आपसे पूछा जाएगा कि क्या आप इसके बजाय उसी को जारी रखना चाहते हैं। यह तब वहीं से जारी रहेगा जहां यह पहले रुका था।

## कुछ बुनियादी उदाहरण

### उदाहरण 1

`redbull.com` के लिए सभी स्रोतों से URL प्राप्त करें (`-mode U` केवल URL के लिए है, इसलिए कोई प्रतिक्रिया डाउनलोड नहीं होती):

<center><img src="https://raw.githubusercontent.com/xnl-h4ck3r/waymore/main/waymore/images/example1.png"></center>

URL उसी पथ में सहेजे जाते हैं जहाँ `config.yml` है (आमतौर पर `~/.config/waymore`) `results/redbull.com/waymore.txt` के अंतर्गत।

### उदाहरण 2

`redbull.com` के लिए Wayback से सभी URL प्राप्त करें (`mode U` में `-f` के साथ कोई फ़िल्टर लागू नहीं होता, और Commone Crawl, Alien Vault, URLScan और Virus Total से कोई URL प्राप्त नहीं होता, क्योंकि क्रमशः `-xcc`, `-xav`, `-xus`, `-xvt` पास किए गए हैं। यह बहिष्करण तर्कों के बजाय `--providers wayback` पास करके भी प्राप्त किया जा सकता है)।
2022 से शुरू होने वाली पहली 200 प्रतिक्रियाओं को सहेजें (`-l 200 -from 2022`):

<center><img src="https://raw.githubusercontent.com/xnl-h4ck3r/waymore/main/waymore/images/example2.png"></center>

`-mode` स्पष्ट रूप से सेट नहीं किया गया था, इसलिए डिफ़ॉल्ट रूप से `B` (दोनों - URL प्राप्त करें और प्रतिक्रियाएं डाउनलोड करें) हो जाता है।
प्रत्येक अद्वितीय प्रतिक्रिया के लिए एक फ़ाइल बनाई जाएगी और `results/redbull.com/` में भी सहेजी जाएगी:

<center><img src="https://raw.githubusercontent.com/xnl-h4ck3r/waymore/main/waymore/images/example3.png"></center>

एक फ़ाइल `results/redbull.com/index.txt` भी होगी जिसमें यह संदर्भ होगा कि किस URL ने किस फ़ाइल के लिए प्रतिक्रिया दी, जैसे```
4847147712618,https://web.archive.org/web/20220426044405/https://www.redbull.com/additional-services/geo ,2022-06-24 20:07:50.603486

जहाँ 4847147712618 4847147712618.xnl में प्रतिक्रिया का हैश मान है, दूसरा मान Wayback Machine URL है जहाँ आप संग्रहित वास्तविक पृष्ठ देख सकते हैं, और तीसरा वह समय-टिकट है जब प्रतिक्रिया डाउनलोड की गई थी।

उदाहरण 3

आप waymore को अन्य टूल्स पर पाइप कर सकते हैं। कोई भी त्रुटि stderr पर भेजी जाती है और कोई भी लिंक stdout पर भेजा जाता है। लिंक्स को अगले प्रोग्राम में पाइप करने के अलावा आउटपुट फ़ाइल अभी भी बनाई जाती है। हालाँकि, संग्रहित प्रतिक्रियाएँ अगले प्रोग्राम में पाइप नहीं की जाती हैं, लेकिन वे अभी भी फ़ाइलों में लिखी जाती हैं। उदाहरण के लिए:``` waymore -i redbull.com -mode U | unfurl keys | sort -u

आप इनपुट को `stdin` के माध्यम से भी पास कर सकते हैं `-i` के बजाय।```
cat redbull_subs.txt | waymore

उदाहरण 4

कभी-कभी आप सिर्फ यह जाँचना चाहते हैं कि किसी विशिष्ट डोमेन के लिए waymore चलाने पर कितने अनुरोध होंगे और इसे कितना समय लगने की संभावना है। आप -co/--check-only आर्गुमेंट का उपयोग करके एक त्वरित जाँच कर सकते हैं। उदाहरण के लिए:``` waymore -i redbull.com --check-only

<center><img src="https://raw.githubusercontent.com/xnl-h4ck3r/waymore/main/waymore/images/example4.png"></center>

## और भी अधिक URL ढूँढना!

तो अब आपके पास बहुत सारे संग्रहित प्रतिक्रियाएँ हैं और आप अतिरिक्त लिंक ढूँढना चाहते हैं? आसान है! क्यों न [xnLinkFinder](https://github.com/xnl-h4ck3r/xnLinkFinder) का उपयोग करें?
उदाहरण के लिए:```
xnLinkFinder -i ~/Tools/waymore/results/redbull.com -sp https://www.redbull.com -sf redbull.com -o redbull.txt

या trufflehog या gf जैसे अन्य उपकरणों को प्रतिक्रियाओं की निर्देशिका पर चलाकर संग्रहीत प्रतिक्रियाओं से और अधिक खोजें!

गहन निर्देश

नीचे मार्च 2024 में Jason Haddix के डिस्कॉर्ड चैनल के लिए मेरे द्वारा दी गई एक गहन चर्चा है, जिसमें waymore के बारे में सब कुछ शामिल है जो आपको जानना आवश्यक है।

नोट: यह वीडियो मार्च 2024 का है, इसलिए इसके बाद जोड़ी गई कोई भी सुविधा इसमें शामिल नहीं होगी और कुछ सुविधाएँ बदल सकती हैं। कृपया वर्तमान निर्देशों की दोबारा जाँच करें।

समस्याएँ

यदि आपको किसी भी प्रकार की कोई समस्या आती है, या सुधार के लिए विचार हैं, तो कृपया GitHub पर एक Issue दर्ज करें। यदि कोई समस्या है, तो यह उपयोगी होगा यदि आप वह सटीक कमांड प्रदान कर सकते हैं जो आपने चलाई थी और समस्या का विस्तृत विवरण। यदि संभव हो, तो समस्या को पुन: उत्पन्न करने के लिए -v के साथ चलाएँ और मुझे किसी भी त्रुटि संदेश के बारे में बताएँ।

TODO

• एक -oos तर्क जोड़ें जो Out Of Scope सबडोमेन/URLs की एक फ़ाइल स्वीकार करे, जो आउटपुट में वापस नहीं आएंगे, या जिनकी कोई प्रतिक्रिया डाउनलोड नहीं होगी।
• यदि एक ही इनपुट के लिए -mode R या -mode B के साथ कई बार चलाया जाता है, तो waymore_index.txt डी-डुप्लिकेट नहीं होता है।
• स्रोतों से समानांतर में प्राप्त करने के लिए पुनर्लेखन। वर्तमान में वे क्रमिक रूप से चलाए जाते हैं, क्षमा करें!

संदर्भ

• Wayback CDX Server API - BETA
• Common Crawl Index Server
• Alien Vault OTX API
• URLScan API
• VirusTotal API (v2)
• Intelligence X SDK
• GhostArchive

शुभकामनाएँ और शिकार का आनंद लें! यदि आप वास्तव में इस उपकरण (या किसी अन्य) से प्यार करते हैं, या इसने आपको एक शानदार बाउंटी खोजने में मदद की है, तो मुझे एक कॉफ़ी खरीदने पर विचार करें! ☕ (मुझे कैफीन की आवश्यकता हो सकती है!)

🤘 /XNL-h4ck3r