Cloud

Surveillance du paysage Cloud

Notre mission avec ce projet est de fournir une carte toujours à jour et librement accessible du paysage cloud pour chaque grand fournisseur de services cloud.

Nous avons décidé de commencer par collecter les données de certificats SSL des machines AWS EC2 et GCP, compte tenu de la valeur de ces données pour les chercheurs en sécurité. Cependant, nous prévoyons d'étendre le projet pour inclure davantage de données et de fournisseurs dans un avenir proche. Vos commentaires et suggestions sont extrêmement précieux pour nous, alors n'hésitez pas à nous contacter sur Twitter ou Discord et dites-nous quels domaines vous pensez que nous devrions prioriser ensuite !

Comment les données de certificats SSL peuvent-elles vous être utiles ?

Les données SSL sont organisées en fichiers CSV, avec les propriétés suivantes collectées pour chaque certificat trouvé :

• Adresse IP
• Nom commun
• Organisation
• Pays
• Localité
• Province
• Nom DNS alternatif du sujet
• Adresse IP alternative du sujet
• Auto-signé (booléen)

Alors, que pouvez-vous faire avec ces données ?

Énumérer les sous-domaines de vos domaines cibles

Recherchez les noms de domaine de votre cible (par ex. example.com) et trouvez des correspondances dans les champs Common Name et Subject Alternative Name des certificats collectés. Toutes les plages IP sont scannées quotidiennement et l'ensemble de données est mis à jour en conséquence, vous êtes donc très susceptible de trouver des hôtes éphémères avant qu'ils ne soient supprimés.

Énumérer les domaines de vos entreprises cibles

Recherchez le nom de l'entreprise cible (par ex. Example, Inc.), trouvez des correspondances dans le champ Organization, et explorez les champs Common Name et Subject Alternative Name associés. Les résultats incluront probablement des sous-domaines des domaines que vous connaissez et si vous avez de la chance, vous pourriez trouver de nouveaux domaines racines élargissant le périmètre.

Énumérer les cibles potentielles de sous-sous-domaine

Si le certificat est émis pour un wildcard (par ex. *.foo.example.com), il y a des chances qu'il y ait d'autres sous-domaines que vous pouvez trouver par brute-force. Et vous savez à quel point cette technique peut être efficace. Voici quelques wordlists pour vous aider !

💡 Note : N'oubliez pas de surveiller l'ensemble de données pour les mises à jour quotidiennes afin d'être averti dès qu'un nouvel actif apparaît !

Effectuer des recherches IP

Recherchez une adresse IP (par ex. 3.122.37.147) pour trouver les noms d'hôte qui lui sont associés, et explorez les champs Common Name, Subject Alternative Name et Organization pour obtenir plus d'informations sur cette adresse.

Découvrir les adresses IP d'origine pour contourner les services proxy

Lorsqu'un site web est caché derrière des services proxy de sécurité comme Cloudflare, Akamai, Incapsula et autres, il est possible de rechercher le nom d'hôte (par ex. example.com) dans l'ensemble de données. Cette recherche peut révéler l'adresse IP d'origine, vous permettant de contourner le proxy. Nous avons discuté d'une technique similaire sur notre blog que vous pouvez trouver ici !

Obtenir un ensemble de données fraîches de serveurs web actifs

Chaque adresse IP dans l'ensemble de données correspond à un serveur HTTPS fonctionnant sur le port 443. Vous pouvez utiliser ces données pour des recherches à grande échelle sans avoir à passer du temps à les collecter vous-même.

Tout ce à quoi vous pouvez penser

Si vous utilisez ces données pour un projet ou une recherche sympa, nous aimerions en entendre parler !

De plus, vous trouverez ci-dessous une explication détaillée de notre processus de collecte de données et comment vous pouvez mettre en œuvre la même technique pour rassembler des informations à partir de vos propres plages IP.

Comment ça fonctionne

TB ; DZ (Trop grand ; n'a pas zoomé) :

1. Nous démarrons le workflow avec 2 scripts bash simples qui récupèrent les plages IP :
   • Les plages IP d'AWS sont filtrées à l'aide d'une requête JQ. Nous extrayons les plages IP des machines EC2 en filtrant pour .prefixes[] | select(.service=="EC2") | .ip_prefix. Les autres services sont exclus de ce workflow car ils ne prennent pas en charge les certificats SSL personnalisés, rendant leurs données non pertinentes pour notre ensemble de données.
   • Les plages IP de GCP sont extraites à l'aide d'une autre requête JQ : .prefixes[].ipv4Prefix.
2. Ensuite, nous utilisons mapcidr pour diviser les plages IP obtenues à l'étape 1 en plages plus petites, chacune contenant jusqu'à 100k hôtes (Merci à l'équipe ProjectDiscovery !). Cette étape sera utile à l'étape suivante lorsque nous exécuterons le processus de scanning parallèle.
3. Au moment de la rédaction, les plages IP cloud incluent plus de 75 millions d'adresses IP, donc les scanner toutes sur une seule machine serait impraticable, c'est là que notre nœud file-splitter entre en jeu. Ce nœud itère sur l'entrée de mapcidr et déclenche des jobs individuels pour chaque plage. Lors de l'exécution de ce workflow sur plusieurs machines (disons 30), elles traitent ces jobs en parallèle, réduisant considérablement le temps d'exécution global. Cette efficacité nous permet d'exécuter le workflow quotidiennement, en maintenant les données constamment mises à jour.
4. Les machines parallèles lancent ensuite des instances de zgrab2 pour collecter les certificats SSL. Après avoir expérimenté avec divers outils et techniques, le module tls de zgrab2 s'est avéré être l'option la plus rapide et la plus fiable. Un grand merci à l'équipe de !

Contribution

Toutes les contributions/idées/suggestions sont les bienvenues ! N'hésitez pas à créer un nouveau ticket via les issues GitHub, à nous tweeter @trick3st, ou à rejoindre la conversation sur Discord.

Construisez vos propres workflows

Nous croyons en la valeur du bricolage ; les solutions standardisées sont rarement à la hauteur. Inscrivez-vous pour une démo de Trickest pour personnaliser ce workflow selon votre cas d'utilisation, accéder à de nombreux autres workflows, ou construire vos propres workflows à partir de zéro !