cc.py

「commoncrawl.org」の結果に基づいて、特定のターゲットのURLを抽出します。
v.0.3 に更新 | 新機能:

処理が65%高速化
-y/--year で年を指定、例: -y 2018
-o/--out で出力ファイルを指定、例: -o whatever.txt
特定のインデックスの全ページをクロール -i/--index、例: cc.py army.mil -i CC-MAIN-2018-05
利用可能な全インデックスを一覧表示 -l/--list、例: cc.py army.mil -l

ToDo

特定のインデックスをクロール
マルチスレッドの実装
年の範囲を入力として許可
direct-grep の実装
一時ファイルへの書き込み

使い方

cc.py [-h] [-y YEAR] [-o OUT] [-l] [-i INDEX] [-u] domain

positional arguments:
  domain                domain which will be crawled for

optional arguments:
  -h, --help            show this help message and exit
  -y YEAR, --year YEAR  limit the result to a specific year (default: all)
  -o OUT, --out OUT     specify an output file (default: domain.txt)
  -l, --list            Lists all available indexes
  -i INDEX, --index INDEX
                        Crawl for a specific index (this will crawl all
                        pages!)
  -u, --update          Update index file

例

python3 cc.py github.com -y 2018 -o github_18.txt
cat github_18.txt | grep user

依存関係

Python3

これはメインリポジトリからのフォークです。不足していた機能をいくつか追加しただけです。

cc.py

人気

cc.py