cc.py

استخراج روابط هدف معين بناءً على نتائج "commoncrawl.org".
تم التحديث إلى الإصدار v.0.3 | ما الجديد:

تنفيذ أسرع بنسبة 65%
تحديد سنة عبر -y/--year، مثال: -y 2018
تحديد ملف إخراج عبر -o/--out، مثال: -o whatever.txt
الزحف إلى جميع الصفحات لفهرس محدد عبر -i/--index، مثال: cc.py army.mil -i CC-MAIN-2018-05
عرض جميع الفهارس المتاحة عبر -l/--list، مثال: cc.py army.mil -l

المهام المتبقية

الزحف لفهرس محدد
تطبيق تعدد المسارات (multithreading)
السماح بإدخال نطاق من السنوات
تنفيذ direct-grep
الكتابة إلى ملف مؤقت

الاستخدام

cc.py [-h] [-y YEAR] [-o OUT] [-l] [-i INDEX] [-u] domain

positional arguments:
  domain                domain which will be crawled for

optional arguments:
  -h, --help            show this help message and exit
  -y YEAR, --year YEAR  limit the result to a specific year (default: all)
  -o OUT, --out OUT     specify an output file (default: domain.txt)
  -l, --list            Lists all available indexes
  -i INDEX, --index INDEX
                        Crawl for a specific index (this will crawl all
                        pages!)
  -u, --update          Update index file

مثال

python3 cc.py github.com -y 2018 -o github_18.txt
cat github_18.txt | grep user

التبعيات

Python3

هذا فرع من المستودع الرئيسي، أضفت فقط بعض الميزات الناقصة.

cc.py

الأكثر شعبية

cc.py