PWDB - Новое поколение массового анализа паролей

Цель

Оставляя позади 20-летние инструменты red team. Они работают нормально, и никто не удосуживается проверять/заменять их десятилетиями.

Включённые дампы

Вы можете проверить status.txt в этом репозитории, чтобы отслеживать включённые дампы.

Таинственный список из 40k паролей с высокой энтропией

В ходе своего исследования я заметил несколько паролей с высокой энтропией (10 символов, заглавные-строчные-цифры), которые повторно использовались. Частота их появления была действительно низкой, но всё же гораздо выше, чем я ожидал.

Кое-что примечательное в них:

• Все они начинаются и заканчиваются заглавными буквами
• Ни один из них, похоже, не содержит клавиатурного паттерна или осмысленного слова.
• Все они длиной 10 символов.
• Они не содержат специальных символов.
• Некоторые из них встречались до 1 раза на 100 миллионов учётных записей (то есть у меня сейчас около 10 повторных использований каждого)
• Самое свежее появление: 86 из них были найдены в 55 623 учётных записях из утечки в июне 2020 года.

Я отфильтровал пароли длиной 10 символов, соответствующие (?=.*\d)(?=.*[a-z])(?=.*[A-Z])(?=^[A-Z][A-Za-z0-9]+[A-Z]$)(?!.*[a-z]{3})(?!.*[A-Z]{3}), частота появления которых была менее 1,2 на 100 миллионов.

Я опубликовал этот список из 39 576 паролей в mystery-list.txt в этом репозитории. Я перефильтровал его и получил 763k паролей, соответствующих этому шаблону.

Я понятия не имею, что это вскрывает и что это означает, но подозреваю, что какой-то менеджер паролей создаёт пароли с низкой энтропией, вызывая повторения у большого количества пользователей. Любые идеи на этот счёт приветствуются и ценятся.

Хотите узнать какую-то статистику?

Пожалуйста, создайте issue и объясните, что вы хотите узнать; если это интересно, я выполню запрос и добавлю результат!

Крутая статистика

• Из 1.000.000.000+ строк дампов 257.669.588 были отфильтрованы как повреждённые данные(бессмыслица в неправильном формате) или тестовые аккаунты.
• 1 миллиард учётных записей сводится к 168.919.919 паролям и 393.386.953 именам пользователей.
• Самый распространённый пароль — 123456. Он покрывает примерно 0.722% всех паролей. (Около 7 миллионов раз на миллиард)
• 1000 самых распространённых паролей покрывают 6.607% всех паролей.
• Для 1 миллиона самых распространённых паролей процент совпадений составляет 36.28%, а для 10 миллионов самых распространённых — 54.00%.
• Средняя длина пароля — 9.4822 символов.
• 12.04% паролей содержат специальные символы.
• 28.79% паролей состоят только из букв.
• 26.16% паролей состоят только из строчных букв.
• 13.37% паролей состоят только из цифр.
• 34.41% всех паролей заканчиваются цифрами, но только 4.522% всех паролей начинаются с цифр.

Уникальные пароли

• 8.83% паролей уникальны - они были найдены только один раз.
  • Их средняя длина составляла 9.7965 символов.
  • Удивительно, но лишь небольшая часть этих паролей бессмысленна.
  • Только 7.082% из этих паролей содержат специальные символы - остальные соответствуют ^[a-zA-Z0-9]$
  • 20.02% этих паролей состоят только из букв, а 15.02% — только из строчных.
    • Средняя длина уникальных строчных паролей составляла 9.3694 символа.

Языковая специфика

Я разделил свои данные в зависимости от доменов верхнего уровня почтовых провайдеров. (фильтр здесь: https://gist.github.com/FlameOfIgnis/9a1da894e8ae385a1ee58b8a734b8979)

Сейчас я публикую только короткие списки из топ-150 паролей. Полные списки выпущу позже. Пока я постараюсь воздержаться от публикации неполной версии.

Я буду обновлять эти списки на каждый обработанный миллиард учётных записей. Так что даже если списки для некоторых языков ещё не полны, скоро они станут лучше.

У меня было достаточно данных по аккаунтам следующих языков:

• Украинский
• Немецкий
• Русский
• Итальянский
• Японский
• Португальский
• Польский
• Французский

чтобы сгенерировать списки из 1M паролей.

В отличие от этого, у меня было слишком мало данных для работы с аккаунтами следующих языков:

• Сербский
• Азербайджанский
• Арабский
• Грузинский
• Румынский
• Узбекский
• Македонский
• Персидский
• Армянский
• Албанский
• Туркменский
• Кастильский
• Амхарский
• Бирманский
• Болгарский
• Монгольский
• Каталанский
• Тигринья
• Таджикский
• Корейский

чтобы сгенерировать надёжные списки.

А всего у меня было 0 аккаунтов на словенском языке.

Крутая статистика сравнения с rockyou.txt

• Rockyou.txt содержит 14.344.391 паролей.
• После отфильтровывания 14.344.391 самых распространённых паролей (такое же число, как в rockyou), 11.583.476 из них отсутствовали в rockyou.txt (соотношение %80)
• Уже в первых 1000 строках rockyou и этих данных есть разница в 411 строк - то есть 411 паролей не было в топ-1k строках rockyou.txt.
  • Из 1000 самых распространённых паролей 37 не было в rockyou (во всём rockyou). Вот эти пароли:

37 паролей, которых нет в rockyou, но которые входят в топ-1000.

Очень вероятно, что около 8 из них из тестовых аккаунтов/плохих дампов, которые я не смог корректно отфильтровать

123hfjdk147
1464688081
159753qq
2012comeer
6V21wbgad
<password>
Blink123
D1lakiss
Exigent
Groupd2013
Indya123
N0=Acc3ss
R9lw4j8khX
Status
Telechargement
aobo2010
baili123com
bhf
cme2012
demon1q2w3e
demon1q2w3e4r
demon1q2w3e4r5t
exigent
g13916055158
hg0209
lincogo1
lizottes
megaparol12345
minecraft
nks230kjs82
nonmember
nyq28Giz1Z
pk3x7w9W
rr123456rr
startfinding
youbye123
yuantuo2012

Обновление

Я постараюсь работать с порциями по 1 миллиарду учётных записей и регулярно обновлять данные по мере их обработки, пока у меня не закончатся дампы.

Нравится проект? Помогите вложить в него больше ресурсов!

bc1quxwhewutde2ehjzqcflcgdjqwg34pmcdq3chcp