Классовая борьба

Репозиторий, сопровождающий статью "Классовая борьба". Репозиторий демонстрирует использование автоэнкодера для обнаружения доменов, похожих на известное (под)множество фишинговых доменов, опубликованное CERT Polska.

Источники данных

Список предупреждений CERT Polska

Этот проект использует данные из Списка предупреждений CERT Polska https://cert.pl/en/warning-list/, поддерживаемого CERT Polska (NASK).

Данные используются исключительно в исследовательских и образовательных целях Исходный список доменов не распространяется в этом репозитории.

Majestic Million

Этот проект использует данные из набора данных Majestic Million, поддерживаемого Majestic

Набор данных предоставляется под лицензией Creative Commons Attribution 3.0 (CC BY 3.0)

Данные используются исключительно в исследовательских и образовательных целях Исходный набор данных не распространяется в этом репозитории.

Содержимое репозитория

• notebooks/0_fetch_data.ipynb - загрузка исходных данных
• notebooks/1_eda.ipynb - исследовательский анализ данных (EDA) данных из списка предупреждений CERT.PL
• notebooks/2_eda_based_data_selection.ipynb - выбор обучающего набора на основе EDA
• notebooks/3_autoencoder_train_eval_inference.ipynb - построение, обучение и инференс автоэнкодера
• notebooks/xor_nn_decission_boundary.ipynb - вспомогательный демонстрационный скрипт

Запуск (локально, в Docker)

1. Соберите и запустите контейнер Jupyter:
   root@kitploit:~

   docker compose up --build
   

2. Откройте: http://127.0.0.1:8888/tree и запустите пронумерованные блокноты по порядку: 0_fetch..., 1_eda..., 2_eda_based..., 3_autoencoder....

Генерация статьи

cd ./article
pdflatex class_struggle.tex