PWDB - 新一代密码批量分析

目标

将红队20年前的老旧东西抛在身后。这些东西虽然还能用，但几十年来没人费心去检查或替换它们。

收录的数据转储

你可以查看本仓库中的 status.txt 来跟踪收录的数据转储。

4万条高熵密码的神秘列表

在我的研究过程中，我注意到有一小批高熵密码（10个字符，大写-小写-数字）被重复使用。这些密码的出现率非常低，但数量仍然远超我的预期。

关于这些密码的一些值得注意的地方：

• 它们都以大写字母开头和结尾
• 它们中似乎没有一个包含键盘模式或有意义的单词。
• 它们都是10个字符长。
• 它们不包含特殊字符。
• 其中一些的出现率高达每1亿条凭证中出现1次（意味着我目前有大约10次重复使用）
• 这些密码最近的一次出现：在2020年6月的一次泄露中，从55623条凭证里发现了其中的86个

我筛选出了长度为10个字符、匹配 (?=.*\d)(?=.*[a-z])(?=.*[A-Z])(?=^[A-Z][A-Za-z0-9]+[A-Z]$)(?!.*[a-z]{3})(?!.*[A-Z]{3}) 且出现率低于每1亿次1.2次的密码。

我已在本仓库的 mystery-list.txt 中发布了这份包含39576个密码的列表。 我重新筛选后得到了763k个符合此模式的密码。

我不知道这揭示了什么、又意味着什么，但我怀疑某个密码管理器正在生成低熵密码，导致大量用户之间出现重复。欢迎并感谢关于此问题的任何想法。

对某个统计数据感到好奇？

请创建一个 issue 并说明你想了解什么，如果它足够有趣，我会查询相关数据并把结果加进去！

酷炫统计

• 在超过10亿行转储数据中，有 257.669.588 行被过滤为损坏数据（格式不当的乱码）或测试账户。
• 10亿条凭证最终归结为 168.919.919 个密码和 393.386.953 个用户名。
• 最常见的密码是 123456。它约占所有密码的 0.722%。（每10亿条中出现约700万次）
• 最常见的1000个密码覆盖了所有密码的 6.607%。
• 使用最常见的100万个密码时，命中率为 36.28%；使用最常见的1000万个密码时，命中率为 54.00%。
• 平均密码长度为 9.4822 个字符。
• 12.04% 的密码包含特殊字符。
• 28.79% 的密码仅包含字母。
• 26.16% 的密码仅包含小写字母。
• 13.37% 的密码仅包含数字。
• 34.41% 的密码以数字结尾，但只有 4.522% 的密码以数字开头。

唯一密码

• 8.83% 的密码是唯一的——它们只被发现过一次。
  • 它们的平均长度为 9.7965 个字符。
  • 令人惊讶的是，这些密码中只有一小部分是无意义的。
  • 这些密码中只有 7.082% 包含特殊字符——其余部分匹配 ^[a-zA-Z0-9]$
  • 20.02% 的这些密码仅包含字母，15.02% 仅包含小写字母。
    • 仅小写唯一密码的平均长度为 9.3694 个字符。

语言特性

我根据电子邮件提供商的顶级域名对我的数据进行了分区。（过滤器：https://gist.github.com/FlameOfIgnis/9a1da894e8ae385a1ee58b8a734b8979）

目前我只发布前150个密码的短列表。我最终会发布完整列表。目前我会尽量不公开发布不完整的版本。

每处理10亿条凭证，我就会更新这些列表。因此，即使某些语言的列表尚未完整，它们很快也会变得更加完善。

我已经有足够的数据，可以为以下语言的账户生成100万个密码列表：

• 乌克兰语
• 德语
• 俄语
• 意大利语
• 日语
• 葡萄牙语
• 波兰语
• 法语

相比之下，我拥有的数据太少，无法为以下语言的账户生成可靠的列表：

• 塞尔维亚语
• 阿塞拜疆语
• 阿拉伯语
• 格鲁吉亚语
• 罗马尼亚语
• 乌兹别克语
• 马其顿语
• 波斯语
• 亚美尼亚语
• 阿尔巴尼亚语
• 土库曼语
• 卡斯蒂利亚语
• 阿姆哈拉语
• 缅甸语
• 保加利亚语
• 蒙古语
• 加泰罗尼亚语
• 提格里尼亚语
• 塔吉克语
• 韩语

而我总共有0个斯洛文尼亚语账户。

与 rockyou.txt 对比的酷炫统计

• Rockyou.txt 包含 14.344.391 个密码。
• 在过滤出最常见的 14.344.391 个（与 rockyou 相同数量）密码后，其中有 11.583.476 个不在 rockyou.txt 中（占比 80%）
• 仅对比 rockyou 和本数据的前1000行，就有 411 行的差异——意味着有 411 个密码不在 rockyou.txt 的前1k行中。
  • 在最常见的1000个密码中，有 37 个不在 rockyou（整个 rockyou）中。这些密码是：

rockyou 缺失的排名前1000的37个密码

其中大约8个很可能来自我未能正确过滤的测试账户/不良转储数据

123hfjdk147
1464688081
159753qq
2012comeer
6V21wbgad
<password>
Blink123
D1lakiss
Exigent
Groupd2013
Indya123
N0=Acc3ss
R9lw4j8khX
Status
Telechargement
aobo2010
baili123com
bhf
cme2012
demon1q2w3e
demon1q2w3e4r
demon1q2w3e4r5t
exigent
g13916055158
hg0209
lincogo1
lizottes
megaparol12345
minecraft
nks230kjs82
nonmember
nyq28Giz1Z
pk3x7w9W
rr123456rr
startfinding
youbye123
yuantuo2012

更新

我会尝试以每10亿条凭证为一批进行处理，并在处理数据时定期更新，直到我用完所有的转储数据。

喜欢这个项目？帮我把更多资源投入到它上面吧！

bc1quxwhewutde2ehjzqcflcgdjqwg34pmcdq3chcp