Cloud

Monitoreando el Panorama de la Nube

Nuestra misión con este proyecto es ofrecer un mapa siempre actualizado y de libre acceso del panorama de la nube para cada uno de los principales proveedores de servicios en la nube.

Decidimos comenzar recolectando datos de certificados SSL de máquinas AWS EC2 y GCP, considerando el valor de estos datos para los investigadores de seguridad. Sin embargo, planeamos expandir el proyecto para incluir más datos y proveedores en un futuro cercano. Tus comentarios y sugerencias son increíblemente valiosos para nosotros, así que no dudes en contactarnos en Twitter o Discord y cuéntanos qué áreas crees que deberíamos priorizar a continuación.

¿Cómo pueden beneficiarte los datos de certificados SSL?

Los datos SSL están organizados en archivos CSV, con las siguientes propiedades recopiladas para cada certificado encontrado:

• IP Address
• Common Name
• Organization
• Country
• Locality
• Province
• Subject Alternative DNS Name
• Subject Alternative IP address
• Self-signed (boolean)

Entonces, ¿qué puedes hacer con estos datos?

Enumerar subdominios de tus dominios objetivo

Busca los nombres de dominio de tu objetivo (ej. example.com) y encuentra coincidencias en los campos Common Name y Subject Alternative Name de los certificados recopilados. Todos los rangos IP se escanean a diario y el conjunto de datos se actualiza en consecuencia, por lo que es muy probable que encuentres hosts efímeros antes de que sean dados de baja.

Enumerar dominios de tus empresas objetivo

Busca el nombre de la empresa de tu objetivo (ej. Example, Inc.), encuentra coincidencias en el campo Organization y explora los campos asociados Common Name y Subject Alternative Name. Los resultados probablemente incluirán subdominios de los dominios que ya conoces y, si tienes suerte, podrías encontrar nuevos dominios raíz que amplíen el alcance.

Enumerar posibles objetivos de enumeración de sub-subdominios

Si el certificado se emite para un comodín (ej. *.foo.example.com), es probable que haya otros subdominios que puedas encontrar mediante fuerza bruta allí. Y ya sabes lo efectiva que puede ser esta técnica. Aquí tienes algunas listas de palabras que te ayudarán con eso.

💡 Nota: Recuerda monitorear el conjunto de datos para obtener actualizaciones diarias y recibir notificaciones cuando aparezca un nuevo activo.

Realizar búsquedas de IP

Busca una dirección IP (ej. 3.122.37.147) para encontrar nombres de host asociados a ella y explora los campos Common Name, Subject Alternative Name y Organization para obtener más información sobre esa dirección.

Descubrir direcciones IP de origen para eludir servicios proxy

Cuando un sitio web está oculto detrás de servicios proxy de seguridad como Cloudflare, Akamai, Incapsula y otros, es posible buscar el nombre de host (ej. example.com) en el conjunto de datos. Esta búsqueda puede revelar la dirección IP de origen, lo que te permite eludir el proxy. Hemos discutido una técnica similar en nuestro blog, que puedes encontrar aquí.

Obtener un conjunto de datos actualizado de servidores web activos

Cada dirección IP en el conjunto de datos corresponde a un servidor HTTPS ejecutándose en el puerto 443. Puedes usar estos datos para investigaciones a gran escala sin necesidad de invertir tiempo recopilándolos tú mismo.

Cualquier otra cosa que se te ocurra

Si usas estos datos para un proyecto o investigación interesante, ¡nos encantaría saberlo!

Además, a continuación encontrarás una explicación detallada de nuestro proceso de recopilación de datos y cómo puedes implementar la misma técnica para recopilar información de tus propios rangos IP.

Cómo funciona

TB; DZ (Demasiado grande; no hiciste zoom):

1. Iniciamos el flujo de trabajo con 2 simples scripts bash que recuperan los rangos IP:
   • Los rangos IP de AWS se filtran usando una consulta JQ. Extraemos los rangos IP de las máquinas EC2 filtrando por .prefixes[] | select(.service=="EC2") | .ip_prefix. Otros servicios se excluyen de este flujo de trabajo ya que no admiten certificados SSL personalizados, lo que hace que sus datos sean irrelevantes para nuestro conjunto de datos.
   • Los rangos IP de GCP se extraen usando otra consulta JQ: .prefixes[].ipv4Prefix.
2. Luego, usamos mapcidr para dividir los rangos IP obtenidos en el paso 1 en rangos más pequeños, cada uno con hasta 100k hosts (¡Gracias al equipo de ProjectDiscovery!). Este paso será útil en el siguiente paso, cuando ejecutemos el proceso de escaneo paralelo.
3. Al momento de escribir esto, los rangos IP de la nube incluyen más de 75 millones de direcciones IP, por lo que escanearlas todas en una sola máquina sería poco práctico. Aquí es donde entra en juego nuestro nodo file-splitter. Este nodo itera sobre la entrada de mapcidr y activa trabajos individuales para cada rango. Al ejecutar este flujo de trabajo en múltiples máquinas (digamos 30), procesan concurrentemente estos trabajos en paralelo, reduciendo significativamente el tiempo total de ejecución. Esta eficiencia nos permite ejecutar el flujo de trabajo a diario, manteniendo los datos constantemente actualizados.
4. Luego, las máquinas paralelas inician instancias de zgrab2 para recopilar los certificados SSL. Después de experimentar con varias herramientas y técnicas, el módulo tls de zgrab2 resultó ser la opción más rápida y confiable. ¡Un saludo al equipo de !

Contribución

¡Todas las contribuciones/ideas/sugerencias son bienvenidas! No dudes en crear un nuevo ticket a través de GitHub issues, escribirnos en Twitter a @trick3st o unirte a la conversación en Discord.

Crea tus propios flujos de trabajo

Creemos en el valor de experimentar; las soluciones prefabricadas rara vez son suficientes. Regístrate para una demostración de Trickest para personalizar este flujo de trabajo según tu caso de uso, acceder a muchos más flujos de trabajo o crear tus propios flujos de trabajo desde cero.