cc.py

"commoncrawl.org"의 결과를 기반으로 특정 대상의 URL을 추출합니다.
v.0.3으로 업데이트 | 새로운 기능:

65% 더 빠른 처리
-y/--year를 통해 연도 지정, 예: -y 2018
-o/--out을 통해 출력 파일 지정, 예: -o whatever.txt
특정 인덱스 -i/--index에 대해 모든 페이지 크롤링, 예: cc.py army.mil -i CC-MAIN-2018-05
사용 가능한 모든 인덱스 나열 -l/--list, 예: cc.py army.mil -l

ToDo

Usage

cc.py [-h] [-y YEAR] [-o OUT] [-l] [-i INDEX] [-u] domain

positional arguments:
  domain                domain which will be crawled for

optional arguments:
  -h, --help            show this help message and exit
  -y YEAR, --year YEAR  limit the result to a specific year (default: all)
  -o OUT, --out OUT     specify an output file (default: domain.txt)
  -l, --list            Lists all available indexes
  -i INDEX, --index INDEX
                        Crawl for a specific index (this will crawl all
                        pages!)
  -u, --update          Update index file

Example

python3 cc.py github.com -y 2018 -o github_18.txt
cat github_18.txt | grep user

Dependencies

Python3

메인 저장소의 포크이며, 누락된 일부 기능을 추가했습니다.

cc.py

인기

cc.py