PentagridResponseOverview

إضافة نظرة عامة على الاستجابات لـ BurpSuite

المؤلف: Tobias "floyd" Ospelt، @floyd_ch، http://www.floyd.ch

Pentagrid AG، https://www.pentagrid.ch

اكتشف الاستجابات الغريبة عبر تجميع أجسام الاستجابات (نظرة عامة على الاستجابات)

تقوم هذه الإضافة بتجميع جميع أجسام الاستجابات حسب التشابه وتعرض ملخصًا، طلب/استجابة واحد لكل مجموعة. ستتيح الإضافة للمختبر الحصول على نظرة عامة على استجابات الموقع المُختبَر من جميع الأدوات (الماسح الضوئي، البروكسي، إلخ). وهي توفر "طريقة كشف شبه آلية" إضافية (مقارنة بطرق الكشف المعتادة القائمة على الاستجابة، أو الوقت، أو التفاعل، إلخ). هناك تحسينات متنوعة، لأسباب تتعلق بالأداء بشكل أساسي. تقوم ميزة "إزالة المعاملات" بإزالة معاملات الطلب المنعكسة من الاستجابة قبل المقارنة.

سجل الإنجازات

حتى الآن:

• لاحظت ثغرة تضمين ملف محلي لم يكتشفها الماسح الضوئي.
• وجدت حقن SQL في نظام إدارة قواعد بيانات ClickHouse للبيانات الضخمة مع رسالة خطأ غريبة جدًا في الاستجابة.
• لفت انتباهي الكثير من الوظائف المثيرة للاهتمام التي ربما كنت سأفوّتها.
• للأسف لا شيء علني حتى الآن، لأنني أستخدمها بشكل أساسي في اختبارات الاختراق. هل وجدت شيئًا؟ أخبرني: tobias at pentagrid dot ch

كيفية استخدام هذه الإضافة

الاستخدام بسيط جدًا:

• أضف الموقع الذي تختبره إلى النطاق (scope)
• اختبر تطبيق الويب (البروكسي، الماسح الضوئي، إلخ) كما تفعل عادةً.
• عُد إلى تبويب Overview وألقِ نظرة على جميع الاستجابات (يمكنك الترتيب حسب العمود). هل لاحظت كل تلك الوظائف؟ هل تلاحظ أي رسالة خطأ غريبة؟ أي بيانات هناك جديدة عليك؟
• استغل أو أخفِ الطلب/الاستجابات التي نظرت إليها بالنقر بزر الفأرة الأيمن واختيار 'Hide item(s)'

تحلّل هذه الإضافة استجابات HTTP إذا:

• كانت ضمن النطاق
• لم تكن من أنواع MIME غير المثيرة للاهتمام (أنواع MIME في Burp: JPEG، CSS، script، GIF، PNG، image)
• لم يكن لها امتداد ملف غير مثير للاهتمام (js، swf، css، zip، war، jar، doc، docx، xls، xlsx، pdf، exe، dll، png، jpeg، jpg، bmp، tif، tiff، gif، webp، svg، m3u، mp4، m4a، ogg، aac، flac، mp3، wav، avi، mov، mpeg، wmv، webm، woff، woff2، ttf)
• كانت أصغر من 1 ميغابايت
• لم نكن نعرض بالفعل 1000 مجموعة

عندما تتحقق قيود التصفية أعلاه، تتم مقارنة أجسام الاستجابات الواردة (من جميع أدوات Burp!) بجميع المجموعات التي أنشأناها بالفعل. تُعرَّف المجموعة بعضوها الأول، الذي نحتفظ به في الذاكرة. إذا كانت الاستجابة التي نعالجها متشابهة بنسبة 95% مع ذلك العضو الأول، فإنها تنتمي إلى تلك المجموعة وتزداد فقط قيمة عدّاد "Group Size". وهذا يعني أيضًا أننا لن نخزّن تلك الاستجابة. إذا لم تكن الاستجابة متشابهة بنسبة 95% مع أي مجموعة، فإنها تشكّل مجموعة جديدة وتكون عضوها الأول.

التاريخ

اقترحت النسخة الأولى من نظرة عامة الاستجابات هذه التي تتيح لك إيجاد الحالات الشاذة في عام 2010 على مشروع w3af (انظر أيضًا نقاشًا هنا: https://github.com/andresriancho/w3af/issues/17345) وكانت مكتوبة بلغة Python. لم تصل أبدًا إلى الفرع الرئيسي لـ w3af، لا أتذكر السبب. تعلّمت الكثير عن difflib في Python آنذاك وحسّنت الأداء لحالة الاستخدام. كتبت إضافة مشابهة بلغة Python لـ Burp في عام 2019 وتعلّمت مرة أخرى الكثير عن difflib في Python عندما كنت أعمل لدى modzero AG https://github.com/modzero/burp-ResponseClusterer. ومع ذلك، أدركت في مرحلة ما أن الإضافة قد تستهلك بعضًا من أداء Burp، وهو ما تجاهلته في البداية. في عام 2021 تعطّلت الإضافة تمامًا إذ لم تعد تعمل مع إصدارات Jython الأحدث، وأثناء إعادة مراجعة الكود أدركت أنني كتبت إضافة غير فعّالة من ناحية الذاكرة. لذا ها نحن هنا، هذه إضافة جديدة في عام 2021 بلغة Kotlin مع ميزات جديدة، وتعلّمنا مرة أخرى الكثير من difflib في Python وميزات مختلفة. أجريت تحسينًا في الأداء لأنني أدركت أن حسابات معينة غير ضرورية إذا قارنّا دائمًا مع نفس النصوص (كما هو مُنفَّذ بالفعل في كود Python). مات Response Clusterer، عاشت Response Overview.

نقاش الأداء

من الناحية النظرية، قد تؤدي الإعدادات الافتراضية إلى أداء غير جيد لـ Burp. ومع ذلك، من غير المرجح جدًا حدوث ذلك. في اختبار كانت فيه جميع الاستجابات بالحجم الافتراضي الأقصى (حوالي 1 ميغابايت) يجب مقارنتها ببعضها، استغرقت المقارنة حتى 30 مللي ثانية مع تحسين bByteCount المحسوب مسبقًا (الحالة العادية) وحتى 80 مللي ثانية بدون هذا التحسين (يحدث مرة واحدة فقط لكل مدخل). مضروبًا في الحد الأقصى لعدد المجموعات (1000)، يعني هذا في أسوأ الحالات المطلقة وقت معالجة يصل إلى 80 ثانية. وبما أن هناك خيطًا (thread) منفصلًا، فإن هذا سيكون محتملًا، إذ ستستغرق المقارنة التالية عندئذٍ وقتًا أقصى قدره 30 ثانية فقط. لكن أي تطبيق ويب لديه العديد من الاستجابات المختلفة بحجم 1 ميغابايت تقريبًا؟ لنأمل ألا يكون كثيرًا. ولا تنسَ أيضًا أنه إذا اختلف طول الاستجابات بأكثر من 2%، فإن مطابقة التشابه لا تستغرق وقتًا على الإطلاق بفضل تحسين veryQuickRatio.

أفكار للتحسينات المستقبلية

• يمكننا إخفاء الأسطر تلقائيًا الخاصة بأكثر 20% من المجموعات مشاهدةً (حجم المجموعة). لأن ذلك على الأرجح مجرد كود HTML عادي أو استجابات JSON نراها عادةً وهي غير مثيرة للاهتمام. لكننا حينها سنفقد نوعًا ما خاصية "النظرة العامة" للإضافة. لذا هذا غير مُنفَّذ حاليًا.
• توفير مربعات اختيار لتعطيل عرض رموز إرجاع معينة كليًا
• أخبرني إذا فكّرت في أي تحسينات أخرى في تبويب issues