CowCloud

una solución serverless para distribuir cargas de trabajo en AWS

CowCloud se creó originalmente para ejecutar herramientas de reconocimiento y escaneos de vulnerabilidades de forma distribuida; por ejemplo, un caso de uso podría ser el de los cazadores de recompensas por vulnerabilidades (bug bounty). Esta solución pretende abstraer a los usuarios finales del trabajo subyacente necesario para distribuir cargas de trabajo en AWS. CowCloud proporciona a los usuarios una interfaz web amigable para ver y crear nuevas tareas que posteriormente son consumidas por código Python que se ejecuta en los nodos trabajadores (instancias EC2). Se pretende que tanto el código Python como las AMIs de EC2 sean personalizados. Como ejemplo, supongamos que quieres ejecutar escaneos con Nmap. En ese caso, puedes simplemente elegir una AMI del Catálogo de AMIs y actualizar el campo image_id en Terraform/ec2_module/ec2_module.tf. Después, habría que actualizar el archivo ec2py/template.py para personalizar los argumentos del escaneo con Nmap (-Pn, -p 443, etc.). Por último, habría que actualizar el campo user_data en el archivo de configuración Terraform/ec2_module/ec2_module.tf para instalar Nmap y sus dependencias.

Otra opción es instalar y ejecutar varias herramientas comerciales; en ese caso, es posible que quieras crear tu propia instancia EC2 o snapshot. En este caso, instalarías todas las dependencias y activarías las licencias para poder usar esa AMI como imagen dorada (gold image) para tus trabajadores

CowCloud se puede dividir en tres componentes principales:

• una configuración de Terraform
• un front-end en React JS
• una aplicación Python que se ejecuta en los nodos trabajadores

Estas son las características clave:

• La solución utiliza Amazon Cognito (con un grupo de usuarios) para que los usuarios puedan registrarse e iniciar sesión en la webapp
• Aplicación React JS como aplicación front-end. El front-end muestra las tareas y los trabajadores y permite añadir nuevas tareas
• API Gateway con integración de Lambda para gestionar el CORS e interactuar con algunas de las funciones Lambda para crear y obtener información de DynamoDB
• CloudFront para gestionar SSL y la caché
• WAF con reglas y condiciones de direcciones IP para restringir el acceso a la webapp (opcional)
• Buckets de S3 para almacenar los resultados de la ejecución y la aplicación front-end; se utiliza un bucket de S3 separado como repositorio de código para la aplicación Python.
• Una aplicación Python como núcleo para ejecutar tareas en las instancias EC2 (trabajadores). Las acciones de la herramienta se pueden desglosar en varios pasos:
  • La aplicación Python consume mensajes
  • ejecuta escaneos
  • comprime la salida
  • y cifra la salida con AES256-CBC y una contraseña
  • luego sube el resultado a un bucket de S3
• Cada vez que se crea un nuevo trabajador, el repositorio Python se descarga de un bucket de S3 y luego se ejecuta el archivo ec2py incluido en él.
• Cada vez que se crea un nuevo trabajador, se le puede asignar automáticamente una EIP a la instancia (opcional)
• Grupos de registros (logging groups) de CloudWatch para almacenar los registros de diversas fuentes, como errores de Lambda, excepciones que ocurren en la herramienta Python ec2app, API Gateway, registros de Docker y mucho más
• Lifecycle hooks para cambiar el estado de los trabajadores en DynamoDB y evitar que los trabajadores se eliminen mientras una tarea siga en ejecución
• Estrategia de autoscaling basada en el número de tareas en cola y la configuración establecida (puedes encontrar más información sobre cómo funciona el algoritmo en autoscalingStrategy.py)
• Mapeo de fuentes de eventos de Lambda vinculado a la tabla de tareas en DynamoDB; esto es para gestionar las acciones de autoscaling cuando los elementos de la base de datos aumentan o disminuyen
• SNS para enviar nuevos mensajes (tareas) a un SQS; estos mensajes son leídos posteriormente por los nodos trabajadores
• El servicio Step Functions se utiliza para crear una cuenta atrás y eliminar los grupos de registros de CloudWatch cuando expira retention_time
• Si ec2py ejecuta herramientas (p. ej., Nmap) dentro de contenedores Docker, el stdout se puede registrar en CloudWatch y verse a través del front-end; consulta la variable extra_docker_params en el archivo template.py (esto se explica en la sección Administrador/mantenedor más abajo)
• El front-end proporciona un botón para interrumpir las tareas durante su ejecución y otro botón para ver los registros de los contenedores Docker
• Si quieres cambiar algo en el código del front-end o en las carpetas de ec2py, tendrás que propagar esos cambios a los buckets de S3 e invalidar la caché del front-end; puedes hacer todo eso simplemente ejecutando el setup.bat/sh

Diagrama:

Las siguientes opciones están disponibles dentro de la configuración de Terraform:

variable	valor por defecto	descripción
eipenable	false	Si es true, la solución asigna un pool de direcciones IP elásticas asociadas a los nodos trabajadores a medida que se crean. El número de EIP a reservar se calcula con esta fórmulasum([var.max_workers, var.maximum_number_of_terminating_machines])
cidr_whitelist	[]	La lista blanca CIDR para permitir solo ciertos rangos de IP en el firewall. P. ej. ["195.95.131.0/24"]
max_workers y max_queued_tasks_per_worker	max_workers: 3, max_queued_tasks_per_worker: 10	Estos dos ajustes determinan cuándo escalar hacia dentro o hacia fuera, p. ej., max_workers 3, max_queued_tasks_per_worker 10. Esto significa que si el número de tareas supera las diez, se creará una nueva instancia EC2. Si hay más de veinte tareas, habrá un máximo de tres instancias EC2 disponibles para distribuir las cargas de trabajo (consulta el algoritmo presente en este script Terraform/dynamodb_module/autoscalingTool/autoscalingStrategy.py).
maximum_number_of_terminating_machines	2	Define el número de instancias que están configuradas para terminarse pero que quedan en espera hasta que el proceso/escaneo complete la tarea.
heartbeat_timeout	900	Define el tiempo que esos trabajadores permanecen en espera. Cuando este tiempo expira, el trabajador se termina de forma forzosa.
instance_type	t2.micro	https://aws.amazon.com/ec2/instance-types/
ami	null	https://aws.amazon.com/es/amazon-linux-ami/
retention_time	7	Establece el tiempo de retención (en días) para los registros y la expiración de los elementos de la tabla de archivo (tareas completadas).

Como resultado de ejecutar Terraform, se crea un nuevo archivo (config.js); este contiene la configuración necesaria para que la aplicación React JS se autentique contra el directorio del grupo de usuarios de Cognito. Después de haber desplegado la infraestructura, tienes que compilar la aplicación React y subir la carpeta build. Además, tienes que subir el código Python a un bucket de S3 que actúe como repositorio de código. Este proceso se ha automatizado en dos scripts setup.bat y setup.sh, por lo que no tienes que preocuparte por ello; esto es solo para resumir esta etapa.

---

Pasos de instalación:

La infraestructura se despliega en la región us-east-1 por defecto, aunque esto se puede cambiar en el archivo locals.tf dentro de la carpeta Terraform.