Cloud

Monitorando o Panorama da Nuvem

Nossa missão com este projeto é fornecer um mapa sempre atualizado e livremente acessível do cenário da nuvem para cada grande provedor de serviços na nuvem.

Decidimos começar coletando dados de certificados SSL de máquinas AWS EC2 e GCP, considerando o valor desses dados para pesquisadores de segurança. No entanto, planejamos expandir o projeto para incluir mais dados e provedores em um futuro próximo. Sua opinião e sugestões são extremamente valiosas para nós, então não hesite em entrar em contato no Twitter ou Discord e nos informe quais áreas você acha que devemos priorizar a seguir!

Como os dados de certificados SSL podem beneficiar você?

Os dados SSL são organizados em arquivos CSV, com as seguintes propriedades coletadas para cada certificado encontrado:

• Endereço IP
• Nome Comum
• Organização
• País
• Localidade
• Província
• Nome Alternativo do Sujeito (DNS)
• Endereço IP Alternativo do Sujeito
• Autoassinado (booleano)

Então, o que você pode fazer com esses dados?

Enumere subdomínios dos seus domínios alvo

Pesquise pelos nomes de domínio do seu alvo (por exemplo, example.com) e encontre correspondências nos campos Common Name e Subject Alternative Name dos certificados coletados. Todos os intervalos de IP são escaneados diariamente e o conjunto de dados é atualizado de acordo, então você provavelmente encontrará hosts efêmeros antes que eles sejam removidos.

Enumere domínios das suas empresas alvo

Pesquise pelo nome da empresa do seu alvo (por exemplo, Example, Inc.), encontre correspondências no campo Organization e explore os campos associados Common Name e Subject Alternative Name. Os resultados provavelmente incluirão subdomínios dos domínios que você conhece e, se tiver sorte, poderá encontrar novos domínios raiz, expandindo o escopo.

Enumere possíveis alvos de enumeração de sub-subdomínios

Se o certificado for emitido para um curinga (por exemplo, *.foo.example.com), é provável que existam outros subdomínios que você pode encontrar por força bruta. E você sabe como essa técnica pode ser eficaz. Aqui estão algumas wordlists para ajudá-lo com isso!

💡 Nota: Lembre-se de monitorar o conjunto de dados para atualizações diárias para ser notificado quando um novo ativo surgir!

Realize consultas de IP

Pesquise por um endereço IP (por exemplo, 3.122.37.147) para encontrar nomes de host associados a ele e explore os campos Common Name, Subject Alternative Name e Organization para obter mais informações sobre esse endereço.

Descubra endereços IP de origem para contornar serviços de proxy

Quando um site está oculto por trás de serviços de proxy de segurança como Cloudflare, Akamai, Incapsula e outros, é possível pesquisar pelo nome do host (por exemplo, example.com) no conjunto de dados. Essa pesquisa pode revelar o endereço IP de origem, permitindo contornar o proxy. Discutimos uma técnica semelhante em nosso blog, que você pode encontrar aqui!

Obtenha um conjunto de dados atualizado de servidores web ativos

Cada endereço IP no conjunto de dados corresponde a um servidor HTTPS em execução na porta 443. Você pode usar esses dados para pesquisas em grande escala sem precisar gastar tempo coletando-os você mesmo.

Qualquer outra coisa que você possa imaginar

Se você usar esses dados para um projeto interessante ou pesquisa, adoraríamos saber!

Além disso, abaixo você encontrará uma explicação detalhada do nosso processo de coleta de dados e como implementar a mesma técnica para coletar informações de seus próprios intervalos de IP.

Como funciona

TB; DZ (Grande demais; não deu zoom):

1. Iniciamos o fluxo de trabalho com 2 scripts bash simples que recuperam os intervalos de IP:
   • Os intervalos de IP da AWS são filtrados usando uma consulta JQ. Extraímos os intervalos de IP das máquinas EC2 filtrando por .prefixes[] | select(.service=="EC2") | .ip_prefix. Outros serviços são excluídos deste fluxo de trabalho, pois não suportam certificados SSL personalizados, tornando seus dados irrelevantes para nosso conjunto de dados.
   • Os intervalos de IP do GCP são extraídos usando outra consulta JQ: .prefixes[].ipv4Prefix.
2. Em seguida, usamos mapcidr para dividir os intervalos de IP obtidos na etapa 1 em intervalos menores, cada um contendo até 100 mil hosts (Obrigado, equipe do ProjectDiscovery!). Esta etapa será útil na próxima etapa quando executarmos o processo de varredura paralela.
3. No momento da escrita, os intervalos de IP da nuvem incluem mais de 75 milhões de endereços IP, então escaneá-los todos em uma única máquina seria impraticável, e é aí que entra o nó file-splitter. Este nó itera pela entrada do mapcidr e aciona trabalhos individuais para cada intervalo. Ao executar este fluxo de trabalho em várias máquinas (digamos 30), elas processam esses trabalhos simultaneamente em paralelo, reduzindo significativamente o tempo total de execução. Essa eficiência nos permite executar o fluxo de trabalho diariamente, mantendo os dados constantemente atualizados.
4. As máquinas paralelas então iniciam instâncias do zgrab2 para coletar os certificados SSL. Após experimentar várias ferramentas e técnicas, o módulo tls do zgrab2 se destacou como a opção mais rápida e confiável. Um agradecimento à equipe do !

Contribuição

Todas as contribuições/ideias/sugestões são bem-vindas! Sinta-se à vontade para criar um novo ticket através de GitHub issues, tweet para nós @trick3st, ou participe da conversa no Discord.

Construa seus próprios fluxos de trabalho

Acreditamos no valor de ajustar e experimentar; soluções prontas raramente são suficientes. Inscreva-se para uma demonstração do Trickest para personalizar este fluxo de trabalho para o seu caso de uso, tenha acesso a muitos outros fluxos de trabalho ou construa seus próprios fluxos de trabalho do zero!