cc.py

根据 "commoncrawl.org" 的结果提取特定目标的 URL。已更新至 v.0.3 | 更新内容：

处理速度快 65%
通过 -y/--year 指定年份，例如：-y 2018
通过 -o/--out 指定输出文件，例如：-o whatever.txt
为特定索引爬取所有页面 -i/--index，例如：cc.py army.mil -i CC-MAIN-2018-05
列出所有可用索引 -l/--list，例如：cc.py army.mil -l

待办事项

用法

cc.py [-h] [-y YEAR] [-o OUT] [-l] [-i INDEX] [-u] domain

positional arguments:
  domain                domain which will be crawled for

optional arguments:
  -h, --help            show this help message and exit
  -y YEAR, --year YEAR  limit the result to a specific year (default: all)
  -o OUT, --out OUT     specify an output file (default: domain.txt)
  -l, --list            Lists all available indexes
  -i INDEX, --index INDEX
                        Crawl for a specific index (this will crawl all
                        pages!)
  -u, --update          Update index file

示例

python3 cc.py github.com -y 2018 -o github_18.txt
cat github_18.txt | grep user

依赖

Python3

这是主仓库的一个分支，我只是添加了一些缺失的功能。

cc.py

最受欢迎

cc.py