pentagridsec/pentagridresponseoverviewExtensão Response Overview para BurpSuite - Encontre respostas exóticas agrupando corpos de resposta
Extensão Response Overview para BurpSuite
Autor: Tobias "floyd" Ospelt, @floyd_ch, http://www.floyd.ch
Pentagrid AG, https://www.pentagrid.ch
Esta extensão agrupa todos os corpos de resposta por similaridade e mostra um resumo, uma requisição/resposta por grupo. A extensão permitirá ao testador obter uma visão geral das respostas do site testado a partir de todas as ferramentas (scanner, proxy, etc.). Ela fornece um "método de detecção semiautomatizado" adicional (em comparação com os métodos de detecção usuais baseados em resposta, tempo, interação, etc.). Existem várias otimizações, principalmente por razões de desempenho. O recurso "remove parameters" remove parâmetros de requisição refletidos da resposta antes da comparação.
Até agora:
O uso é muito simples:
Esta extensão analisa respostas HTTP se:
Quando as restrições de filtro acima são satisfeitas, os corpos de resposta recebidos (de todas as ferramentas do Burp!) são comparados com todos os grupos que já criamos. Um grupo é definido pelo seu primeiro membro, que mantemos na memória. Se a resposta que estamos processando for 95% similar a esse primeiro membro, ela pertence a esse grupo e apenas o contador "Group Size" é incrementado. Isso também significa que não armazenaremos essa resposta. Se a resposta não for 95% similar a nenhum grupo, ela forma um novo grupo e é seu primeiro membro.
A primeira versão de uma visão geral de respostas como essa que permite encontrar anomalias eu propus em 2010 ao projeto w3af (veja também uma discussão aqui: https://github.com/andresriancho/w3af/issues/17345) e foi escrita em Python. Ela nunca chegou ao mainline do w3af, não me lembro por quê. Aprendi muito sobre o difflib do Python naquela época e otimizei o desempenho para o caso de uso. Escrevi uma extensão similar em Python para o Burp em 2019 e novamente aprendi muito sobre o difflib do Python quando eu estava trabalhando para a modzero AG https://github.com/modzero/burp-ResponseClusterer. No entanto, em certo momento percebi que a extensão poderia estar consumindo parte do desempenho do Burp, o que a princípio ignorei. Em 2021 a extensão quebrou completamente, pois não rodava mais com versões mais recentes do Jython, e ao revisitar o código percebi que codifiquei uma extensão com uso de memória muito ineficiente. Então aqui estamos, esta é uma nova extensão em 2021 em Kotlin com novos recursos, novamente aprendendo muito com o difflib do Python e diferentes recursos. Fiz uma melhoria de desempenho porque percebi que certos cálculos não são necessários se sempre compararmos com as mesmas strings (como já implementado no código Python). Response Clusterer está morto, viva o Response Overview.
Em teoria, as configurações padrão poderiam resultar em um desempenho não tão bom do Burp. No entanto, é altamente improvável que isso ocorra. Em um teste em que todas as respostas tinham o tamanho máximo padrão de resposta (cerca de 1MB) e precisavam ser comparadas entre si, a comparação levou até 30ms com a otimização pré-calculada bByteCount (caso regular) e até 80ms sem essa otimização (acontece apenas uma vez para cada entrada). Multiplicado pela quantidade máxima de grupos (1000), isso significa que, no pior caso absoluto, isso poderia significar até 80 segundos de tempo de processamento. Como há uma thread separada, isso seria suportável, pois a próxima comparação levaria então um tempo máximo de 30 segundos. Mas qual aplicação web tem muitas respostas diferentes de cerca de 1MB? Vamos torcer para que não muitas. Também não esqueça que, se o comprimento das respostas diferir mais de 2%, a correspondência de similaridade não leva tempo algum devido à otimização veryQuickRatio.
