ghostpack/deeppassОхота за паролями с помощью глубокого обучения
Docker-приложение, которое анализирует документы на наличие кандидатов в пароли.
В посте в блоге "DeepPass — Finding Passwords With Deep Learning" приведено больше подробностей о подходе и разработке модели.
Для запуска: docker-compose up
После запуска будет доступен http://localhost:5000, куда можно загружать документы.
API можно использовать вручную по адресу http://localhost:5000/api/passwords:
C:\Users\harmj0y\Documents\GitHub\DeepPass>curl -F "file=@test_doc.docx" http://localhost:5000/api/passwords
[{"file_name": "test_doc.docx", "model_password_candidates": [{"left_context": ["for", "the", "production", "server", "is:"], "password": "P@ssword123!", "right_context": ["Please", "dont", "tell", "anyone", "on"]}, {"left_context": ["that", "the", "other", "password", "is"], "password": "LiverPool1", "right_context": [".", "This", "is", "our", "backup."]}], "regex_password_candidates": [{"left_context": ["for", "the", "production", "server", "is:"], "password": "P@ssword123!", "right_context": ["Please", "dont", "tell", "anyone", "on"]}], "custom_regex_matches": null}]
Apache Tika используется для извлечения данных из различных форматов документов. Tensorflow Serving используется для обслуживания модели.
Нейронная сеть представляет собой двунаправленную LSTM:
embedding_dimension = 20
dropout = 0.5
cells = 200
model = Sequential()
model.add(Embedding(total_chars, embedding_dimension, input_length=32, mask_zero=True))
model.add(Bidirectional(LSTM(cells)))
model.add(Dropout(dropout))
model.add(Dense(1, activation='sigmoid'))
Она обучена на 2 000 000 паролей, случайно выбранных из этого списка утёкших паролей, и 2 000 000 извлечённых терминов из различных документов, найденных через Google dorking. Статистика для тестового набора .1:
------------------
loss : 0.04804224148392677
tn : 199446.0
fp : 731.0
fn : 3281.0
tp : 196542.0
------------------
accuracy : 0.9899700284004211
precision : 0.9962944984436035
recall : 0.983580470085144
------------------
F1 score. : 0.9898966618590025
------------------
Обучающий ноутбук для модели находится в ./notebooks/password_model_bilstm.ipynb