类斗争

与"类斗争" 文章配套的仓库。 该仓库演示了如何使用自编码器检测与 CERT Polska 发布的已知（子集）钓鱼域名相似的域名。

数据来源

CERT Polska 警告列表

本项目使用 CERT Polska 警告列表 https://cert.pl/en/warning-list/ 的数据， 由 CERT Polska (NASK) 维护。

这些数据仅用于研究和教育目的。 域名的原始列表未在本仓库中重新分发。

Majestic Million

本项目使用由 Majestic 维护的 Majestic Million 数据集。

该数据集根据 Creative Commons Attribution 3.0 License (CC BY 3.0) 提供。

这些数据仅用于研究和教育目的。 原始数据集未在本仓库中重新分发。

仓库内容

• notebooks/0_fetch_data.ipynb – 下载源数据
• notebooks/1_eda.ipynb – 对 CERT.PL 警告列表数据进行探索性数据分析（EDA）
• notebooks/2_eda_based_data_selection.ipynb – 基于 EDA 的训练集选择
• notebooks/3_autoencoder_train_eval_inference.ipynb – 自编码器的构建、训练与推理
• notebooks/xor_nn_decission_boundary.ipynb – 辅助演示脚本

运行（本地，在 Docker 中）

1. 构建并启动 Jupyter 容器：
   root@kitploit:~

   docker compose up --build
   

2. 打开 http://127.0.0.1:8888/tree，并按顺序运行编号笔记本：0_fetch...、1_eda...、2_eda_based...、3_autoencoder...。

生成文章

cd ./article
pdflatex class_struggle.tex