cc.py

Extrahiert URLs eines bestimmten Ziels basierend auf den Ergebnissen von „commoncrawl.org“.
Aktualisiert auf v.0.3 | Neuerungen:

• 65 % schnellere Verarbeitung
• Ein Jahr angeben über -y/--year, z. B.: -y 2018
• Eine Ausgabedatei angeben über -o/--out, z. B.: -o whatever.txt
• Alle Seiten für einen bestimmten Index durchsuchen -i/--index, z. B.: cc.py army.mil -i CC-MAIN-2018-05
• Alle verfügbaren Indizes auflisten -l/--list, z. B.: cc.py army.mil -l

Offene Aufgaben

• Nach einem bestimmten Index crawlen
• Implementierung von Multithreading
• Eingabe eines Jahresbereichs ermöglichen
• Implementieren von direct-grep
• Temporäres Dateischreiben

Verwendung

cc.py [-h] [-y YEAR] [-o OUT] [-l] [-i INDEX] [-u] domain

positional arguments:
  domain                domain which will be crawled for

optional arguments:
  -h, --help            show this help message and exit
  -y YEAR, --year YEAR  limit the result to a specific year (default: all)
  -o OUT, --out OUT     specify an output file (default: domain.txt)
  -l, --list            Lists all available indexes
  -i INDEX, --index INDEX
                        Crawl for a specific index (this will crawl all
                        pages!)
  -u, --update          Update index file

Beispiel

python3 cc.py github.com -y 2018 -o github_18.txt
cat github_18.txt | grep user

Abhängigkeiten

• Python3

Dies ist ein Fork des Haupt-Repositorys; ich habe nur einige fehlende Funktionen hinzugefügt.