PWDB - パスワード大量解析の新世代

目標

レッドチームの20年前のツールを置き去りにする。それらは今も問題なく動作しており、何十年もの間、誰も確認や交換をしようとしない。

収録ダンプ

このリポジトリ内の status.txt を確認することで、収録されているダンプを把握できます。

40k 高エントロピーパスワードの謎リスト

調査中に、再利用されている少数の高エントロピーパスワード（10文字、大文字・小文字・数字）に気付きました。これらのパスワードの発生率は非常に低いものでしたが、それでも私が予想していたよりもはるかに多かったのです。

これらに関する注目すべき点:

• すべて大文字で始まり、大文字で終わる
• どれもキーボードパターンや意味のある単語を含んでいないように見える
• すべて10文字で構成されている
• 特殊文字を含まない
• 中には1億件のクレデンシャルあたり1回の割合で発生したものもある（つまり現在約10回の再利用を確認している）
• これらの中で最も最近の発生: 2020年6月のリークからの55623件のクレデンシャルの中に86件が見つかった

10文字で、(?=.*\d)(?=.*[a-z])(?=.*[A-Z])(?=^[A-Z][A-Za-z0-9]+[A-Z]$)(?!.*[a-z]{3})(?!.*[A-Z]{3}) に一致し、発生率が1億件あたり1.2未満のパスワードをフィルタリングしました。

このリポジトリ内の mystery-list.txt に、39576個のパスワードのリストを公開しました。 このパターンに一致する763k個のパスワードを得るために再フィルタリングしました。

これが何を明らかにし、何を意味するのかは見当もつきませんが、どこかのパスワードマネージャーが低エントロピーのパスワードを生成しており、多くのユーザーの間で繰り返しが発生しているのではないかと疑っています。これに関するアイデアは大歓迎です。

統計について知りたいですか?

知りたいことを説明した issue を作成してください。興味深い内容であれば、データを照会して結果を追加します!

興味深い統計

• 10億行以上のダンプのうち、257.669.588 行が、破損データ（不適切な形式の意味不明な文字列）またはテストアカウントとしてフィルタリングされました。
• 10億件のクレデンシャルは、168.919.919 個のパスワードと 393.386.953 個のユーザー名に集約されます。
• 最も一般的なパスワードは 123456 です。全パスワードの約 0.722% を占めます。（10億件あたり約700万回）
• 最も一般的な1000個のパスワードで、全パスワードの 6.607% をカバーします。
• 最も一般的な100万個のパスワードではヒット率は 36.28%、最も一般的な1000万個のパスワードではヒット率は 54.00% です。
• 平均パスワード長は 9.4822 文字です。
• パスワードの12.04%が特殊文字を含みます。
• パスワードの28.79%が英字のみです。
• パスワードの26.16%が小文字のみです。
• パスワードの13.37%が数字のみです。
• 全パスワードの34.41%が数字で終わりますが、数字で始まるのはわずか4.522%です。

ユニークなパスワード

• パスワードの 8.83% はユニークです - 一度だけしか見つかりませんでした。
  • それらの平均長は 9.7965 文字でした。
  • 驚くべきことに、これらのパスワードのうち無意味なものはごく一部です。
  • これらのパスワードのうち特殊文字を含むのはわずか 7.082% です - 残りは ^[a-zA-Z0-9]$ に一致します
  • これらのパスワードの 20.02% が英字のみで、15.02% が小文字のみです。
    • 小文字のみのユニークなパスワードの平均長は 9.3694 文字でした。

言語別の特徴

メールプロバイダーのトップレベルドメインに基づいてデータを分割しました。（フィルタはこちら: https://gist.github.com/FlameOfIgnis/9a1da894e8ae385a1ee58b8a734b8979）

今のところ、トップ150のパスワードの短いリストのみを公開しています。最終的には完全なリストを公開する予定です。当面は不完全なバージョンを公開しないようにするつもりです。

処理した10億件のクレデンシャルごとにこれらのリストを更新します。そのため、一部の言語のリストはまだ完全ではありませんが、すぐにより良い状態になるでしょう。

十分なデータがあったのは、

• ウクライナ語
• ドイツ語
• ロシア語
• イタリア語
• 日本語
• ポルトガル語
• ポーランド語
• フランス語 のアカウントで、100万件のパスワードリストを生成できました。

対照的に、データが少なすぎて処理できなかったのは、

• セルビア語
• アゼルバイジャン語
• アラビア語
• グルジア語
• ルーマニア語
• ウズベク語
• マケドニア語
• ペルシア語
• アルメニア語
• アルバニア語
• トルクメン語
• カスティーリャ語
• アムハラ語
• ビルマ語
• ブルガリア語
• モンゴル語
• カタルーニャ語
• ティグリニャ語
• タジク語
• 韓国語 のアカウントで、信頼性の高いリストを生成できませんでした。

そして、スロベニア語のアカウントは合計0件でした。

rockyou.txt との比較に関する興味深い統計

• Rockyou.txt には 14.344.391 個のパスワードが含まれています。
• 最も一般的な 14.344.391 個（rockyou と同じ数）のパスワードをフィルタリングした後、そのうち 11.583.476 個が rockyou.txt に含まれていませんでした（割合は %80）
• rockyou の最初の1000行とこのデータだけを比較しても、411 行の差があります - つまり 411 個のパスワードが rockyou.txt のトップ1k行に含まれていませんでした。
  • 最も一般的な1000個のパスワードのうち、37 個が rockyou（rockyou 全体）に含まれていませんでした。そのパスワードは以下の通りです:

rockyou に欠落している、トップ1000にランクインしている37個のパスワード

これらのうち約8個は、私が正しくフィルタリングできなかったテストアカウントや不良ダンプからのものである可能性が非常に高い

123hfjdk147
1464688081
159753qq
2012comeer
6V21wbgad
<password>
Blink123
D1lakiss
Exigent
Groupd2013
Indya123
N0=Acc3ss
R9lw4j8khX
Status
Telechargement
aobo2010
baili123com
bhf
cme2012
demon1q2w3e
demon1q2w3e4r
demon1q2w3e4r5t
exigent
g13916055158
hg0209
lincogo1
lizottes
megaparol12345
minecraft
nks230kjs82
nonmember
nyq28Giz1Z
pk3x7w9W
rr123456rr
startfinding
youbye123
yuantuo2012

更新について

ダンプが尽きるまで、10億件のクレデンシャルを単位として処理を進め、データの処理に合わせて定期的に更新していきます。

このプロジェクトが気に入りましたか? より多くのリソースを投入するのを手伝ってください!

bc1quxwhewutde2ehjzqcflcgdjqwg34pmcdq3chcp