usage: pydat-populator [-h] [-c CONFIG] [--debug] [--debug-level DEBUG_LEVEL]
                    [-x EXCLUDE [EXCLUDE ...]] [-n INCLUDE [INCLUDE ...]]
                    [--ignore-field-prefixes [IGNORE_FIELD_PREFIXES [IGNORE_FIELD_PREFIXES ...]]]
                    [-e EXTENSION] [-v] [-s] [--pipelines PIPELINES]
                    [--shipper-threads SHIPPER_THREADS]
                    [--fetcher-threads FETCHER_THREADS]
                    [--bulk-ship-size BULK_SHIP_SIZE]
                    [--bulk-fetch-size BULK_FETCH_SIZE]
                    [-u [ES_URI [ES_URI ...]]] [--es-user ES_USER]
                    [--es-pass ES_PASSWORD] [--cacert ES_CA_CERT]
                    [--es-disable-sniffing] [-p ES_INDEX_PREFIX]
                    [--rollover-size ES_ROLLOVER_DOCS] [--ask-pass]
                    [-r | --config-template-only | --clear-interrupted-flag]
                    [-f INGEST_FILE | -d INGEST_DIRECTORY] [-D INGEST_DAY]
                    [-o COMMENT]

optional arguments:
-h, --help            显示此帮助信息并退出
-c CONFIG, --config CONFIG
                        用于环境参数配置的配置文件位置（示例 yaml 文件在 /backend 中）
--debug               启用调试日志
--debug-level DEBUG_LEVEL
                        调试日志级别 [0-3]（默认：1）
-x EXCLUDE [EXCLUDE ...], --exclude EXCLUDE [EXCLUDE ...]
                        更新条目时要排除的键列表
-n INCLUDE [INCLUDE ...], --include INCLUDE [INCLUDE ...]
                        更新条目时要包含的键列表（与 -x 互斥）
--ignore-field-prefixes [IGNORE_FIELD_PREFIXES [IGNORE_FIELD_PREFIXES ...]]
                        在提取和插入 ElasticSearch 时忽略的字段（在 whois 数据中）列表
-e EXTENSION, --extension EXTENSION
                        扫描 CSV 文件时仅解析具有给定扩展名的文件（默认：csv）
-v, --verbose         详细输出
-s, --stats           运行后打印统计信息
-r, --redo            尝试重新导入失败的导入或导入更多数据，使用之前运行存储的元数据
--config-template-only
                        配置 ElasticSearch 模板并退出
--clear-interrupted-flag
                        强制清除中断标志（不推荐）
-f INGEST_FILE, --file INGEST_FILE
                        输入的 CSV 文件
-d INGEST_DIRECTORY, --directory INGEST_DIRECTORY
                        递归搜索 CSV 文件的目录——与 '-f' 选项互斥
-D INGEST_DAY, --ingest-day INGEST_DAY
                        用于元数据的日期，格式为 'YYYY-MM-dd'，例如 '2021-01-01'。默认为今天日期，使用 'YYYY-MM-00' 表示季度摄取，例如 2021-04-00
-o COMMENT, --comment COMMENT
                        与元数据一起存储的注释

Performance Options:
--pipelines PIPELINES
                        管道数量（默认：2）
--shipper-threads SHIPPER_THREADS
                        每个管道生成多少个线程用于发送批量 ES 消息。集群越大，可以增加此值，默认为 1
--fetcher-threads FETCHER_THREADS
                        生成多少个线程用于搜索 ES。集群越大，可以增加此值，默认为 2
--bulk-ship-size BULK_SHIP_SIZE
                        批量 Elasticsearch 请求的大小（默认：10）
--bulk-fetch-size BULK_FETCH_SIZE
                        一次搜索的文档数（默认：50），请注意，此值将乘以您拥有的索引数，例如，如果您有 10 个 pydat-<number> 索引，则会产生 500 个文档的请求

Elasticsearch Options:
-u [ES_URI [ES_URI ...]], --es-uri [ES_URI [ES_URI ...]]
                        ElasticSearch 服务器的位置（例如，foo.server.com:9200）可以接受多个端点
--es-user ES_USER     启用基本认证时 ElasticSearch 的用户名
--es-pass ES_PASSWORD
                        启用基本认证时 ElasticSearch 的密码
--cacert ES_CA_CERT   启用 https 支持的 CA 证书包路径
--es-disable-sniffing
                        禁用 ES 嗅探，在 ssl 主机名验证无法正常工作时有用
-p ES_INDEX_PREFIX, --index-prefix ES_INDEX_PREFIX
                        在 ElasticSearch 中使用的索引前缀（默认：pydat）
--rollover-size ES_ROLLOVER_DOCS
                        设置创建新索引之前的文档数量，默认值为 5000 万，请注意这是模糊的，因为索引计数不会持续更新，因此应合理地低于每个 ES 分片的 20 亿，并应考虑您的 ES 配置
--ask-pass            提示输入 ElasticSearch 密码

pydat-populator -u localhost:9200 -f ~/whois/data/1.csv -v -s -x Audit_auditUpdatedDate,updatedDate,standardRegUpdatedDate,expiresDate,standardRegExpiresDate

cd pydat/
docker build -t mitrecnd/pydat:5

version: '3'

services:
    pydat:
        image: mitrecnd/pydat:5
        volumes:
            - "./config.py:/opt/pydat/config.py:ro"
        ports:
            - 127.0.0.1:8888:8888

cd pydat/backend/
pip install ./

api/v1/metadata/

api/v1/metadata/<version>/

api/v1/domain/<domainName>/

api/v1/domain/<domainName>/latest/
api/v1/domain/<domainName>/<version>/
api/v1/domain/<domainName>/<version1>/<version2>/
api/v1/domain/<domainName>/diff/<version1>/<version2>/

api/v1/domains/<searchKey>/<searchValue>/

api/v1/domains/<searchKey>/<searchValue>/latest/
api/v1/domains/<searchKey>/<searchValue>/<version>/
api/v1/domains/<searchKey>/<searchValue>/<version1>/<version2>/

domainName

registrant_name
contactEmail
registrant_telephone

curl http://pydat.myorg.domain/ajax/domain/google.com/latest/

curl http://pydat.myorg.domain/ajax/domains/domainName/google.com/

api/v1/query

query - 用于搜索 ES 的查询
size - 返回的元素数量（即页面大小）
page - 要返回的页面，结合使用 size 可以分块获取结果
unique - 尝试返回每个 domainName 的最新条目

api/v2/metadata

api/v2/metadata/<version>

api/v2/resolve/<domain>

api/v2/domains/diff [POST]

{

    domain: "mydomain.example",
    version1: 1,
    version2: 2
}

api/v2/domain [POST]

{

    value: "mydomain.example",
    version: 1, # 可选
    chunk_size: 50, # 可选
    offset: 0 # 可选
}

api/v2/query [POST]

{

    query: "myquery",
    chunk_size: 50, # 可选
    offset: 0, #可选
    unique: false, # 可选
    sort_keys: [ # 可选
        "domainName",
        "registrant_name",
        "contactEmail",
        "standardRegCreatedDate",
        "registrant_telephone",
        "dataVersion",
        "_score",
    ]
}

api/v2/info

api/v2/settings