jordanpotti/cloudscraperSpider وكشط أهداف الويب لاكتشاف موارد سحابية مكشوفة بما في ذلك S3 buckets، وAzure Blobs، وDigitalOcean Spaces باستخدام كشف قائم على regex.
مكتبات Python غير القياسية:
تم إنشاؤها باستخدام Python 3.6
تم إلهام هذه الأداة من محاضرة حديثة قدمها Bryce Kunz. تأخذنا المحاضرة Blue Cloud of Death: Red Teaming Azure من خلال بعض حالات الكشف الشائعة عن المعلومات الأقل شهرة خارج ما هو شائع دائمًا من دلاء S3.
usage: CloudScraper.py [-h] [-v] [-p Processes] [-d DEPTH] [-u URL] [-l TARGETLIST]
optional arguments:
-h, --help show this help message and exit
-u URL Target Scope
-d DEPTH Max Depth of links Default: 5
-l TARGETLIST Location of text file of Line Delimited targets
-v Verbose Verbose output
-p Processes Number of processes to be executed in parallel. Default: 2
--no-verify Skip TLS verification
example: python3 CloudScraper.py -u https://rottentomatoes.com
لإضافة كلمات مفتاحية، قم ببساطة بإضافتها إلى القائمة في دالة التحليل.
المشاركة اهتمام! نرحب بطلبات السحب، أشياء مثل إضافة دعم لاكتشافات إضافية، تعدد الخيوط وما إلى ذلك مرغوب فيها بشدة :)
لقد قام Bryce Kunz بالفعل بصنع أداة لفعل شيء مشابه لكنها تستخدم scrapy وأردت بناء شيء بنفسي لا يعتمد على Python2 أو أي وحدات تجريف مثل scrapy. لقد انتهى بي الأمر باستخدام BeautifulSoup لتحليل روابط href للتجريف فقط. ومن هنا، وُلد CloudScraper. فائدة استخدام التعبيرات النمطية الخام بدلاً من تحليل روابط href هي أنه في كثير من الأحيان، لا يتم تضمين هذه الروابط في روابط href، بل قد تكون مدفونة في JavaScript أو مواقع أخرى متنوعة. يقوم CloudScraper بالتقاط الصفحة بأكملها ويستخدم تعبيرًا نمطيًا للبحث عن الروابط. هذا أيضًا له عيوبه مثل التقاط الكثير أو القليل جدًا ولكن على الأقل نحن نعلم أننا نغطي جميع الجوانب :)