uro

セキュリティテストにURLリストを使用するのは、多くのURLに面白みのない/重複したコンテンツが含まれているため面倒な場合があります。uroはその解決を目指します。

URLに対してHTTPリクエストは行わず、以下を削除します。

• インクリメンタルURL（例：/page/1/ や /page/2/）
• ブログ記事など人間が書いたコンテンツ（例：/posts/a-brief-history-of-time）
• 同じパスだがパラメータ値が異なるURL（例：/page.php?id=1 と /page.php?id=2）
• 画像、js、css、その他の「不要な」ファイル

インストール

uroの推奨インストール方法は以下の通りです。

pipx install uro

注：古いバージョンのPythonを使用している場合は、pipxの代わりにpipを使用してください。

基本的な使い方

uroをワークフローに組み込む最も簡単な方法は、標準入力からデータを渡し、ターミナルに出力することです。

cat urls.txt | uro

高度な使い方

ファイルからURLを読み込む（-i/--input）

uro -i input.txt

URLをファイルに書き出す（-o/--output）

ファイルが既に存在する場合、uroは内容を上書きしません。存在しない場合は新しいファイルを作成します。

uro -i input.txt -o output.txt

ホワイトリスト（-w/--whitelist）

uroは指定された拡張子以外をすべて無視します。

uro -w php asp html

注： 拡張子のないページ（例：/books/1）は引き続き含まれます。それらも削除するには、--filter hasextを使用してください。

ブラックリスト（-b/--blacklist）

uroは指定された拡張子を無視します。

uro -b jpg png js pdf

注： uroはデフォルトで削除する「不要な」拡張子のリストを持っていますが、そのリストはブラックリストオプションで指定した拡張子によって上書きされます。拡張子のないページ（例：/books/1）は引き続き含まれます。それらも削除するには、--filter hasextを使用してください。

フィルター（-f/--filters）

細かい制御のために、uroは以下のフィルターをサポートしています。

1. hasparams: クエリパラメータを持つURLのみを出力（例：http://example.com/page.php?id=）
2. noparams: クエリパラメータを持たないURLのみを出力（例：http://example.com/page.php）
3. hasext: 拡張子を持つURLのみを出力（例：http://example.com/page.php）
4. noext: 拡張子を持たないURLのみを出力（例：http://example.com/page）
5. allexts: 拡張子に基づくページ削除を行わない（例：通常削除される.jpgを保持）
6. keepcontent: 人間が書いたコンテンツ（ブログなど）を保持
7. keepslash: URLの末尾のスラッシュを削除しない（例：http://example.com/page/）
8. vuln: 脆弱性があると判明しているパラメータを持つURLのみを出力。詳細情報。

例：uro --filters hasexts hasparams