URLextractor

सूचना संग्रह और वेबसाइट टोही

उपयोग: ./extractor http://www.hackthissite.org/

टिप्स:

• Colorex: आउटपुट में रंग डालें pip install colorex और इसका उपयोग करें जैसे ./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract: dnsenumeration फ़ंक्शन द्वारा उपयोग किया जाता है pip install tldextract

विशेषताएँ:

• शहर और देश जैसी IP और होस्टिंग जानकारी (FreegeoIP का उपयोग करके)
• DNS सर्वर (dig का उपयोग करके)
• ASN, नेटवर्क रेंज, ISP नाम (RISwhois का उपयोग करके)
• लोड बैलेंसर परीक्षण
• दुरुपयोग मेल के लिए Whois (Spamcop का उपयोग करके)
• PAC (प्रॉक्सी ऑटो कॉन्फ़िगरेशन) फ़ाइल
• कोड में अंतर करने के लिए हैश की तुलना
• robots.txt (छिपी हुई चीज़ों की खोज के लिए पुनरावृत्तीय)
• स्रोत कोड (पासवर्ड और उपयोगकर्ताओं की खोज)
• बाहरी लिंक (अन्य वेबसाइटों से फ्रेम)
• डायरेक्टरी FUZZ (Dirbuster और Wfuzz की तरह - Dirbuster डायरेक्टरी सूची का उपयोग करके)
• URLvoid API - Google पेज रैंक, Alexa रैंक और संभावित ब्लैकलिस्ट की जाँच करता है
• IP/ASN के साथ सहसंबंध के लिए अन्य वेबसाइटों पर उपयोगी लिंक प्रदान करता है
• अंत में सभी परिणाम ब्राउज़र में खोलने का विकल्प

संस्करण 0.2.0 में बदलाव:

• [Fix] GeoIP को freegeoip से ip-api में बदला गया
• [Fix/सुधार] robots.txt से डुप्लीकेट हटाए गए
• [सुधार] बेहतर whois दुरुपयोग संपर्क (abuse.net)
• [सुधार] स्रोत कोड जाँच में शीर्ष पासवर्ड संग्रह जोड़ा गया
• [नई सुविधा] आवश्यकतानुसार निर्भरताएँ स्थापित करने के लिए पहली बार चलाने का सत्यापन
• [नई सुविधा] लॉग फ़ाइल
• [नई सुविधा] लॉग फ़ाइल पर होस्टनाम की जाँच
• [नई सुविधा] जाँचें कि होस्टनाम Spamhaus डोमेन ब्लैकलिस्ट में सूचीबद्ध है या नहीं
• [नई सुविधा] सामान्य सर्वर नामों के साथ त्वरित dnsenumeration चलाएँ

संस्करण 0.1.9 में बदलाव:

• lynx का उपयोग करके दुरुपयोग मेल, curl के बजाय
• लक्ष्य सर्वर नाम पार्सिंग ठीक किया गया
• HTTP कोड और डायरेक्टरी खोज के बारे में अधिक विस्तृत
• IP के लिए MD5 संग्रह ठीक किया गया
• मिले लिंक अब ऐरे से अद्वितीय URL दिखाते हैं
• [नई सुविधा] Google परिणाम
• [नई सुविधा] Bing IP जाँच अन्य होस्ट/vhosts के लिए
• [नई सुविधा] Shodan से खुले पोर्ट
• [नई सुविधा] IP के बारे में VirusTotal जानकारी
• [नई सुविधा] $TARGET_HOST के बारे में Alexa Rank जानकारी

आवश्यकताएँ:

Kali light mini और brew के साथ OSX 10.11.3 पर परीक्षण किया गया

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

कॉन्फ़िगरेशन फ़ाइल:

CURL_TIMEOUT=15 # --connect-timeout में टाइमआउट
CURL_UA=Mozilla # यूज़र-एजेंट (इसे सरल रखें)
INTERNAL=NO # YES या NO (आंतरिक नेटवर्क जानकारी दिखाएं)
URLVOID_KEY=your_API_key # http://www.urlvoid.com/ से API का उपयोग करना
FUZZ_LIMIT=10 # फ़ज़ फ़ाइल से कितनी पंक्तियाँ पढ़नी हैं
OPEN_TARGET_URLS=NO # स्क्रिप्ट के अंत में मिले URL खोलें
OPEN_EXTERNAL_LINKS=NO # स्क्रिप्ट के अंत में बाहरी लिंक (फ्रेम) खोलें
FIRST_TIME=YES # पहली बार निर्भरताओं की जाँच करें

करने की सूची:

• Github पर अपलोड करें :)
• स्थापित पैकेजों की जाँच करें
• अन्य APIs के साथ एकीकरण
• CSV में निर्यात
• CipherScan के साथ एकीकरण

समय के साथ स्टारगेज़र