PentagridResponseOverview

BurpSuite用のレスポンス概要拡張機能

作者: Tobias "floyd" Ospelt, @floyd_ch, http://www.floyd.ch

Pentagrid AG, https://www.pentagrid.ch

レスポンスボディをグループ化してエキゾチックなレスポンスを見つける（レスポンス概要）

この拡張機能はすべてのレスポンスボディを類似度でグループ化し、グループごとに1つのリクエスト/レスポンスを示すサマリーを表示します。この拡張機能により、テスターは（スキャナー、プロキシなど）すべてのツールからテスト対象ウェブサイトのレスポンスの概要を把握できます。これは（通常の検出方法であるレスポンスベース、タイムベース、インタラクションベースなどと比較して）追加の「半自動検出方法」を提供します。主にパフォーマンス上の理由から、さまざまな最適化が施されています。「remove parameters」機能は、比較前にレスポンスから反射されたリクエストパラメータを削除します。

トロフィーケース

これまでに:

• スキャナーが検出しなかったローカルファイルインクルード脆弱性に気づきました。
• 非常にエキゾチックなエラーメッセージがレスポンスに含まれるClickHouseビッグデータDBMSのSQLインジェクションを発見しました。
• 見逃していたかもしれない多くの興味深い機能に注意が向きました。
• 残念ながら今のところ公開されたものはありません。主にこれを使ってペネトレーションテストを行っているためです。何か見つけましたか？教えてください: tobias at pentagrid dot ch

この拡張機能の使い方

使い方はとても簡単です:

• テストするウェブサイトをスコープに追加します
• 通常どおりウェブアプリケーションをテストします（プロキシ、スキャナーなど）。
• Overviewタブを確認し、すべてのレスポンスを見てください（列で並べ替え可能です）。その機能すべてに気づきましたか？奇妙なエラーメッセージはありませんか？初めて見るデータはありませんか？
• 確認したリクエスト/レスポンスを右クリックして「Hide item(s)」を選択し、Pwnするか非表示にします

この拡張機能は以下の場合にHTTPレスポンスを分析します:

• スコープ内である
• 興味のないMIMEタイプではない（BurpのMIMEタイプ JPEG、CSS、script、GIF、PNG、image）
• 興味のないファイル拡張子ではない（js、swf、css、zip、war、jar、doc、docx、xls、xlsx、pdf、exe、dll、png、jpeg、jpg、bmp、tif、tiff、gif、webp、svg、m3u、mp4、m4a、ogg、aac、flac、mp3、wav、avi、mov、mpeg、wmv、webm、woff、woff2、ttf）
• 1 MB未満である
• まだ1000グループを表示していない

上記のフィルター条件が満たされると、受信したレスポンスボディ（すべてのBurpツールから！）が、すでに作成したすべてのグループと比較されます。グループはその最初のメンバーによって定義され、メモリに保持されます。処理中のレスポンスがその最初のメンバーと95%類似していれば、そのグループに属し、「Group Size」カウンターが増加するだけです。つまり、そのレスポンスは保存されません。レスポンスがどのグループとも95%類似していない場合、新しいグループを形成し、その最初のメンバーとなります。

履歴

異常を発見できるこのようなレスポンス概要の最初のバージョンは、2010年にw3afプロジェクトに提案し（こちらの議論も参照: https://github.com/andresriancho/w3af/issues/17345）、Pythonで書かれました。なぜかw3afのメインラインには取り込まれませんでした。当時Pythonのdifflibについて多くを学び、ユースケースに合わせてパフォーマンスを最適化しました。2019年にmodzero AG https://github.com/modzero/burp-ResponseClusterer で働いていたときに、Burp用の同様の拡張機能をPythonで書き、再びPythonのdifflibについて多くを学びました。しかし、ある時点でこの拡張機能がBurpのパフォーマンスをいくらか消費している可能性があることに気づきましたが、最初は無視していました。2021年にこの拡張機能は新しいJythonバージョンでは動作しなくなり完全に壊れ、コードを見直す中で非常にメモリ効率の悪い拡張機能を書いていたことに気づきました。というわけで、これが2021年のKotlinによる新機能を備えた新しい拡張機能であり、再びPythonのdifflibやさまざまな機能から多くを学んでいます。常に同じ文字列と比較するのであれば特定の計算は不要であることに気づいたため（Pythonコードですでに実装されていたように）、パフォーマンスを改善しました。Response Clustererは死んだ、Response Overview万歳。

パフォーマンスに関する議論

理論上、デフォルト設定ではBurpのパフォーマンスがあまり良くない可能性があります。しかし、これは起こる可能性は非常に低いです。すべてのレスポンスが最大デフォルトレスポンスサイズ（約1MB）であるテストでは、互いに比較する必要があり、比較には事前計算されたbByteCount最適化あり（通常ケース）で最大30ms、この最適化なし（各エントリで一度だけ発生）で最大80msかかりました。最大グループ数（1000）を掛けると、絶対的な最悪ケースでは最大80秒の処理時間になる可能性があります。別スレッドであるため、次の比較は最大30秒しかかからないので、これは許容範囲でしょう。しかし、約1MBの多様なレスポンスを多数持つウェブアプリケーションなどあるでしょうか？あまり多くないことを願います。また、レスポンスの長さが2%以上異なる場合、veryQuickRatio最適化により類似度マッチングはまったく時間がかからないことを忘れないでください。

今後の改善案

• 最も多く見られたグループ（グループサイズ）の上位20%の行を自動的に非表示にすることができます。なぜなら、それはおそらく通常見られる普通のHTMLコードやJSONレスポンスであり、非常に興味のないものだからです。しかしそうすると、この拡張機能の「概要」という特性をある意味失ってしまいます。そのため現在は行われていません。
• 特定のリターンコードをまったく表示しないようにするチェックボックスを提供する
• 他に改善点があればissuesタブで教えてください