مستخرج الروابط

جمع المعلومات واستكشاف المواقع

الاستخدام: ./extractor http://www.hackthissite.org/

نصائح:

• Colorex: إضافة ألوان للمخرجات pip install colorex واستخدمها كالتالي ./extractor http://www.hackthissite.org/ | colorex -g "INFO" -r "ALERT"
• Tldextract: يُستخدم بواسطة وظيفة dnsenumeration pip install tldextract

الميزات:

• معلومات IP والاستضافة مثل المدينة والدولة (باستخدام FreegeoIP)
• خوادم DNS (باستخدام dig)
• ASN، نطاق الشبكة، اسم مزود الخدمة (باستخدام RISwhois)
• اختبار موازن التحميل
• Whois للحصول على بريد الإساءة (باستخدام Spamcop)
• ملف PAC (التكوين التلقائي للوكيل)
• مقارنة التجزئات لتفريق الشيفرات
• robots.txt (البحث المتكرر عن المحتويات المخفية)
• شيفرة المصدر (البحث عن كلمات المرور وأسماء المستخدمين)
• الروابط الخارجية (الإطارات من مواقع أخرى)
• الدليل FUZZ (مثل Dirbuster وWfuzz - باستخدام قائمة أدلة Dirbuster)
• واجهة برمجة URLvoid - تتحقق من ترتيب Google Page Rank وAlexa Rank والقوائم السوداء المحتملة
• توفير روابط مفيدة في مواقع أخرى لربطها مع IP/ASN
• خيار لفتح جميع النتائج في المتصفح في النهاية

سجل التغييرات للإصدار 0.2.0:

• [إصلاح] تغيير GeoIP من freegeoip إلى ip-api
• [إصلاح/تحسين] إزالة التكرارات من robots.txt
• [تحسين] جهات اتصال أفضل لـ whois (abuse.net)
• [تحسين] إضافة مجموعة كلمات المرور الأكثر شيوعًا إلى فحص شيفرة المصدر
• [ميزة جديدة] التحقق عند التشغيل الأول لتثبيت التبعيات إذا لزم الأمر
• [ميزة جديدة] ملف سجل
• [ميزة جديدة] التحقق من اسم المضيف في ملف السجل
• [ميزة جديدة] التحقق مما إذا كان اسم المضيف مدرجًا في القائمة السوداء Spamaus Domain Blacklist
• [ميزة جديدة] تشغيل تعداد DNS سريع بأسماء خوادم شائعة

سجل التغييرات للإصدار 0.1.9:

• بريد الإساءة باستخدام lynx بدلاً من curl
• إصلاح تحليل اسم الخادم الهدف
• المزيد من التفاصيل حول رموز HTTP واكتشاف الدليل
• إصلاح مجموعة MD5 للـ IP
• الروابط الموجودة الآن تظهر عناوين URL فريدة من المصفوفة
• [ميزة جديدة] نتائج Google
• [ميزة جديدة] فحص Bing IP للمضيفين/المضيفات الافتراضية الأخرى
• [ميزة جديدة] المنافذ المفتوحة من Shodan
• [ميزة جديدة] معلومات VirusTotal حول IP
• [ميزة جديدة] معلومات Alexa Rank حول $TARGET_HOST

المتطلبات:

تم الاختبار على Kali light mini AND OSX 10.11.3 مع brew

sudo apt-get install bc curl dnsutils libxml2-utils whois md5sha1sum lynx openssl -y

ملف الإعدادات:

CURL_TIMEOUT=15 #timeout in --connect-timeout
CURL_UA=Mozilla #user-agent (keep it simple)
INTERNAL=NO #YES OR NO (show internal network info)
URLVOID_KEY=your_API_key #using API from http://www.urlvoid.com/
FUZZ_LIMIT=10 #how many lines it will read from fuzz file
OPEN_TARGET_URLS=NO #open found URLs at the end of script
OPEN_EXTERNAL_LINKS=NO #open external links (frames) at the end of script
FIRST_TIME=YES #if first time check for dependecies

قائمة المهام:

• الرفع إلى github :)
• التحقق من الحزم المثبتة
• التكامل مع واجهات برمجة تطبيقات أخرى
• التصدير إلى CSV
• التكامل مع CipherScan

عدد المراقبين عبر الزمن