festin

FestIN أداة اكتشاف دلاء S3 القوية واكتشاف المحتوى

• ما هو FestIn
• لماذا Festin
• التثبيت
  • باستخدام Python
  • باستخدام Docker
• الخيارات الكاملة
• الاستخدام
  • تكوين نطاقات البحث
  • التوازي
  • تكوين الزحف HTTP
  • إدارة النتائج
  • استخدام الوكيل
  • خيارات DNS
  • دعم النص الكامل
  • التشغيل كخدمة (أو وضع المراقبة)
• مثال: دمج FestIn مع DnsRecon
  • الخطوة 1 - تشغيل dnsrecon بالخيارات المطلوبة ضد النطاق الهدف وحفظ المخرجات
  • الخطوة 2 - تحضير الملف السابق لتغذية FestIn
  • الخطوة 3 - تشغيل FestIn بالخيارات المطلوبة وحفظ المخرجات - تشغيل ضد target.com باستخدام وكيل tor، بتوازي 5، باستخدام DNS 212.166.64.1 لحل CNAMEs وترك النتيجة في ملف target.com.result:
• الأسئلة الشائعة
• من يستخدم FestIn
• MrLooquer
• الترخيص

ما هو FestIn

FestIn هي أداة لاكتشاف دلاء S3 المفتوحة بدءاً من النطاقات.

تقوم بإجراء العديد من الاختبارات وتجمع المعلومات من:

• DNS
• صفحات الويب (الزاحف)
• دلو S3 نفسه (مثل إعادة التوجيه من S3)

لماذا Festin

هناك العديد من أدوات S3 للتعداد واكتشاف دلاء S3. بعضها رائع لكن لا أحد يمتلك قائمة كاملة بالميزات التي تمتلكها Festin.

الميزات الرئيسية التي تجعل Festin رائعاً:

• تقنيات متنوعة للعثور على الدلاء: الزحف، الزحف DNS وتحليل استجابات S3.
• دعم الوكيل لتوجيه الطلبات.
• لا حاجة لبيانات اعتماد AWS.
• يعمل مع أي مزود متوافق مع S3، وليس فقط AWS.
• يسمح بتكوين خوادم DNS مخصصة.
• زاحف HTTP مدمج عالي الأداء.
• بحث تكراري وتغذية راجعة من المحركات الثلاثة: النطاق الذي يعثر عليه زاحف DNS يُرسل إلى محللي S3 وزاحف HTTP، وكذلك الحال بالنسبة لـ S3 والزاحف.
• يعمل كوضع 'مراقبة'، يستمع إلى نطاقات جديدة في الوقت الفعلي.
• يحفظ جميع النطاقات المكتشفة في ملف منفصل لمزيد من التحليل.
• يسمح بتنزيل كائنات الدلو ووضعها في محرك بحث نص كامل (Redis Search) تلقائياً، مع فهرسة محتوى الكائنات مما يسمح ببحث قوي لاحقاً.
• تحديد البحث لنطاق/نطاقات محددة.

التثبيت

باستخدام Python

Python 3.8 أو أعلى مطلوب!

$ pip install festin
$ festin -h

باستخدام Docker

$ docker run --rm -it cr0hn/festin -h

الخيارات الكاملة

$ festin -h
usage: __main__.py [-h] [--version] [-f FILE_DOMAINS] [-w] [-c CONCURRENCY] [--no-links] [-T HTTP_TIMEOUT] [-M HTTP_MAX_RECURSION] [-dr DOMAIN_REGEX] [-rr RESULT_FILE] [-rd DISCOVERED_DOMAINS] [-ra RAW_DISCOVERED_DOMAINS]
                   [--tor] [--debug] [--no-print] [-q] [--index] [--index-server INDEX_SERVER] [-dn] [-ds DNS_RESOLVER]
                   [domains [domains ...]]

Festin - the powered S3 bucket finder and content discover

positional arguments:
  domains

optional arguments:
  -h, --help            show this help message and exit
  --version             show version
  -f FILE_DOMAINS, --file-domains FILE_DOMAINS
                        file with domains
  -w, --watch           watch for new domains in file domains '-f' option
  -c CONCURRENCY, --concurrency CONCURRENCY
                        max concurrency

HTTP Probes:
  --no-links            extract web site links
  -T HTTP_TIMEOUT, --http-timeout HTTP_TIMEOUT
                        set timeout for http connections
  -M HTTP_MAX_RECURSION, --http-max-recursion HTTP_MAX_RECURSION
                        maximum recursison when follow links
  -dr DOMAIN_REGEX, --domain-regex DOMAIN_REGEX
                        only follow domains that matches this regex

Results:
  -rr RESULT_FILE, --result-file RESULT_FILE
                        results file
  -rd DISCOVERED_DOMAINS, --discovered-domains DISCOVERED_DOMAINS
                        file name for storing new discovered after apply filters
  -ra RAW_DISCOVERED_DOMAINS, --raw-discovered-domains RAW_DISCOVERED_DOMAINS
                        file name for storing any domain without filters

Connectivity:
  --tor                 Use Tor as proxy

Display options:
  --debug               enable debug mode
  --no-print            doesn't print results in screen
  -q, --quiet           Use quiet mode

Redis Search:
  --index               Download and index documents into Redis
  --index-server INDEX_SERVER
                        Redis Search ServerDefault: redis://localhost:6379

DNS options:
  -dn, --no-dnsdiscover
                        not follow dns cnames
  -ds DNS_RESOLVER, --dns-resolver DNS_RESOLVER
                        comma separated custom domain name servers

الاستخدام

تكوين نطاقات البحث

بشكل افتراضي، يقبل FestIn نطاق بداية كمعامل لسطر الأوامر:

> festin mydomain.com

ولكن يمكنك أيضاً إعداد ملف خارجي بقائمة النطاقات:

> cat domains.txt
domain1.com
domain2.com
domain3.com
> festin -f domains.txt 

التوازي

يقوم FestIn بإجراء العديد من الاختبارات لنطاق واحد. يتم إجراء كل اختبار بشكل متوازٍ. بشكل افتراضي، يتم تعيين التوازي إلى 5. إذا كنت تريد زيادة عدد الاختبارات المتوازية، يجب تعيين الخيار -c

> festin -c 10 mydomain.com 

كن حذراً مع عدد الاختبارات المتوازية وإلا قد تثير "إنذارات" في بعض المواقع.

تكوين الزحف HTTP

يحتوي FestIn على زاحف صغير لاكتشاف الروابط إلى دلاء S3. يقبل الزاحف هذه الخيارات:

• المهلة (-T أو --http-timeout): تكوين مهلة لاتصالات HTTP. إذا كان موقع النطاق الذي تريد تحليله بطيئاً، نوصي بزيادة هذه القيمة. المهلة الافتراضية هي 5 ثوانٍ.
• الحد الأقصى للتكرار (-H أو --http-max-recursion): تحدد هذه القيمة حداً لتكرار الزحف. وإلا فإن FestIn سيفحص كل الإنترنت. القيمة الافتراضية هي 3. وهذا يعني أنه سيتبع فقط: domain1.com -> [رابط] -> domain2.com -> [رابط] -> domain3.com -> [رابط] -> تم الوصول إلى الحد الأقصى للتكرار. توقف.
• تحديد النطاقات (-dr أو --domain-regex): قم بتعيين هذا الخيار لتحديد الزاحف لتلك النطاقات التي تطابق هذا التعبير النمطي.
• القائمة السوداء (-B): تكوين ملف كلمات القائمة السوداء. سيتم تخطي كل نطاق يطابق أي كلمة في القائمة السوداء.
• القائمة البيضاء (-W): تكوين ملف كلمات القائمة البيضاء. سيتم تخطي كل نطاق لا يطابق أي كلمة في القائمة البيضاء.

مثال:

> echo "cdn" > blacklist.txt
> echo "photos" >> blacklist.txt
> festin -T 20 -M 8 -B blacklist.txt -dr .mydomain. mydomain.com 

كن حذراً: -dr (أو --domain-regex) يقبل فقط تعبيرات POSIX النمطية الصالحة. 

*mydomain.com* -> ليس تعبير POSIX نمطي صالح
.mydomain\.com. -> تعبير POSIX نمطي صالح

إدارة النتائج

عند تشغيل FestIn يكتشف الكثير من المعلومات المفيدة. ليس فقط حول دلاء S3، ولكن أيضاً حول استقصاءات أخرى يمكننا القيام بها. على سبيل المثال:

بعد استخدام FestIn يمكننا استخدام المعلومات المكتشفة (النطاقات، الروابط، الموارد، الدلاء الأخرى...) كمدخل لأدوات أخرى، مثل nmap.

لهذا السبب، لدى FestIn 3 طرق مختلفة لتخزين المعلومات المكتشفة ويمكننا دمجها:

• ملف نتائج FestIn (-rr أو --result-file): يحتوي هذا الملف على سطر واحد بتنسيق JSON لكل دلو تم العثور عليه. يتضمن كل JSON: النطاق الأصلي، اسم الدلو وقائمة الكائنات للدلو.
• ملف النطاقات المكتشفة المصفاة (-rd أو --discovered-domains): يحتوي هذا الملف على نطاق واحد لكل سطر. هذه النطاقات تم اكتشافها بواسطة الزاحف أو DNS أو استقصاءات S3 ولكن يتم تخزين النطاقات التي تطابق المرشحات الخاصة بالمستخدم والداخلية فقط.
• ملف النطاقات المكتشفة الخام (-ra أو --raw-discovered-domains): يحتوي هذا الملف على جميع النطاقات، واحد لكل سطر، التي اكتشفها FestIn دون أي فلترة. هذا الخيار مفيد للمعالجة اللاحقة والتحليل.

مثال:

> festin -rr festin.results -rd discovered-domains.txt -ra raw-domains.txt mydomain.txt 

والربط مع Nmap:

> festin -rd domains.txt && nmap -Pn -A -iL domains.txt -oN nmap-domains.txt 

استخدام الوكيل

يحتوي FestIn على الخيار --tor. باستخدام هذه المعلمة، تحتاج إلى وكيل Tor محلي يعمل على المنفذ 9050 على 127.0.0.1.

> tor &
> festin --tor mydomain.com 

خيارات DNS

تتضمن بعض الاختبارات التي يقوم بها FestIn DNS. يدعم هذه الخيارات:

• تعطيل اكتشاف DNS (-dn أو --no-dnsdiscover)
• خادم DNS مخصص (-ds أو --dns-resolver): إعداد خادم DNS مخصص. إذا كنت تخطط لإجراء العديد من الاختبارات، فيجب عليك استخدام خادم DNS مختلف عن الذي تستخدمه للمتصفح.

مثال:

> festin -ds 8.8.8.8 mydomain.com 

دعم النص الكامل

لا يمكن لـ FestIn اكتشاف دلاء S3 المفتوحة فحسب، بل يمكنه أيضاً تنزيل جميع المحتويات وتخزينها في محرك بحث نص كامل. هذا يعني أنه يمكنك إجراء استعلامات نص كامل على محتوى الدلو!

يستخدم FestIn كمحرك نص كامل المشروع مفتوح المصدر Redis Search.

تتوفر لهذه الميزة خياران:

• تمكين الفهرسة (--index): لتمكين الفهرسة في محرك البحث، يجب تعيين هذه العلامة.
• إعداد Redis Search (--index-server): تحتاج فقط إلى تعيين هذا الخيار إذا كان خادمك يعمل على IP/منفذ مختلف عن: localhost:6379.

مثال:

> docker run --rm -p 6700:6379 redislabs/redisearch:latest -d
> festin --index --index-server redis://127.0.0.1:6700 mydomain.com

انتبه إلى أن الخيار `--index-server` يجب أن يحتوي على البادئة **redis://** 

التشغيل كخدمة (أو وضع المراقبة)

في بعض الأحيان لا نريد إيقاف FestIn وتشغيله في كل مرة يكون لدينا نطاق جديد لفحصه، أو أن أي أداة خارجية تكتشف نطاقات جديدة نريد التحقق منها.

يدعم FestIn وضع المراقبة. وهذا يعني أن FestIn سيبدأ ويستمع للنطاقات الجديدة. طريقة "إرسال" نطاقات جديدة إلى FestIn هي عن طريق ملف النطاقات. فهو يراقب هذا الملف للتغييرات.

هذه الميزة مفيدة لدمج FestIn مع أدوات أخرى، مثل dnsrecon.

مثال:

> festin --watch -f domains.txt 

في طرفية مختلفة يمكننا كتابة:

> echo "my-second-domain.com" >> domains.txt 
> echo "another-domain.com" >> domains.txt 

كل نطاق جديد يُضاف إلى domains.txt سوف يوقظ FestIn.

مثال: دمج FestIn مع DnsRecon

باستخدام DnsRecon

النطاق المختار لهذا المثال هو target.com.

الخطوة 1 - تشغيل dnsrecon بالخيارات المطلوبة ضد النطاق الهدف وحفظ المخرجات

>  dnsrecon -d target.com -t crt -c target.com.csv

بهذا الأمر سنكتشف نطاقات أخرى متعلقة بـ target.com. سيساعدنا هذا في تعظيم فرص نجاحنا.

الخطوة 2 - تحضير الملف السابق لتغذية FestIn

> tail -n +2 target.com.csv | sort -u | cut -d "," -f 2 >> target.com.domains

بهذا الأمر ننشئ ملفاً يحتوي على نطاق واحد لكل سطر. هذا هو المدخل الذي يحتاجه FestIn.

الخطوة 3 - تشغيل FestIn بالخيارات المطلوبة وحفظ المخرجات

>  festin -f target.com.domains -c 5 -rr target.com.result.json --tor -ds 212.166.64.1 >target.com.stdout 2>target.com.stderr

في هذا المثال، الملفات الناتجة هي:

• target.com.result.json - ملف النتائج الرئيسي مع سطر واحد لكل دلو تم العثور عليه. كل سطر هو كائن JSON.
• target.com.stdout - المخرجات القياسية لتنفيذ أمر festin.
• target.com.stderr - الأخطاء القياسية لتنفيذ أمر festin.

لتسهيل معالجة نطاقات متعددة، نوفر سكربتاً بسيطاً examples/loop.sh يقوم بأتمتة ذلك.

باستخدام FestIn مع نتائج DnsRecon

تشغيل ضد target.com مع الخيارات الافتراضية وترك النتيجة في ملف target.com.result:

> festin target.com -rr target.com.result.json 

تشغيل ضد target.com باستخدام وكيل tor، بتوازي 5، باستخدام DNS 212.166.64.1 لحل CNAMEs وترك النتيجة في ملف target.com.result:

> festin target.com -c 5 -rr target.com.result.json --tor -ds 212.166.64.1 

الأسئلة الشائعة

س: AWS يحظر عنوان IP الخاص بي ج:

عند إجراء العديد من الاختبارات ضد AWS S3، يضيف AWS عنوان IP الخاص بك إلى قائمة سوداء. ثم في كل مرة تحاول الوصول إلى أي دلو S3 باستخدام FestIn أو باستخدام متصفحك، سيتم حظرك.

نوصي بإعداد وكيل عند استخدام FestIn.

من يستخدم FestIn

MrLooquer

يقومون بتحليل وتقييم مخاطر التعرض لشركتك في الوقت الفعلي. الموقع الإلكتروني

الترخيص

يتم توزيع هذا المشروع بموجب ترخيص BSD