CowCloud

AWS에서 작업 부하를 분산하기 위한 서버리스 솔루션

CowCloud는 원래 인식(recon) 도구와 취약점 스캔을 분산 방식으로 실행하기 위해 만들어졌습니다. 예를 들어 버그 바운티 헌터들이 사용하는 것이 한 가지 사례일 수 있습니다. 이 솔루션은 AWS에서 작업 부하를 분산하는 데 필요한 기본 작업으로부터 최종 사용자를 추상화하는 것을 목적으로 합니다. CowCloud는 사용자에게 작업을 조회하고 생성할 수 있는 친숙한 웹 인터페이스를 제공하며, 이후 해당 작업은 작업자 노드(EC2 인스턴스)에서 실행되는 Python 코드가 소비합니다. Python 코드뿐만 아니라 EC2 AMI도 사용자 정의할 수 있도록 설계되었습니다.

예를 들어 Nmap 스캔을 실행하려고 한다고 가정해 보겠습니다. 이 경우 AMI 카탈로그에서 AMI를 선택하고 Terraform/ec2_module/ec2_module.tf의 image_id 필드를 업데이트하면 됩니다. 그런 다음 Nmap 스캔 인수(-Pn, -p 443 등)를 사용자 정의하려면 ec2py/template.py 파일을 업데이트해야 합니다. 마지막으로 Terraform/ec2_module/ec2_module.tf 구성 파일의 user_data 필드를 업데이트하여 Nmap과 해당 종속성을 설치해야 합니다.

또 다른 옵션은 여러 상용 도구를 설치하고 실행하는 것입니다. 이 경우 직접 EC2 인스턴스나 스냅샷을 생성하는 것이 좋습니다. 이 경우 모든 종속성을 설치하고 라이선스를 활성화하여 이 AMI를 작업자 노드의 골든 이미지로 사용할 수 있습니다.

CowCloud는 세 가지 주요 구성 요소로 나눌 수 있습니다:

• Terraform 구성
• React JS 프론트엔드
• 작업자 노드에서 실행되는 Python 앱

다음은 주요 기능입니다:

• 이 솔루션은 Amazon Cognito(사용자 풀 포함)를 사용하여 사용자가 웹앱에 가입하고 로그인할 수 있도록 합니다.
• 프론트엔드 애플리케이션으로서의 React JS 앱. 프론트엔드는 작업과 작업자 노드를 표시하고 새 작업을 추가할 수 있게 해줍니다.
• CORS를 처리하고 DynamoDB에서 정보를 생성 및 조회하기 위해 일부 Lambda 함수와 상호작용하는 Lambda 통합 API 게이트웨이
• SSL 및 캐시 관리를 위한 CloudFront
• 웹앱에 대한 액세스를 제한하는 규칙 및 IP 주소 조건이 포함된 WAF(선택 사항)
• 실행 결과와 프론트엔드 앱을 저장하는 S3 버킷; 별도의 S3 버킷은 Python 앱의 코드 저장소로 사용됩니다.
• EC2 인스턴스(작업자 노드)에서 작업을 실행하는 핵심 역할을 하는 Python 앱. 도구 작업은 여러 단계로 나눌 수 있습니다:
  • Python 앱이 메시지를 소비합니다
  • 스캔을 실행합니다
  • 출력을 압축합니다
  • 그리고 AES256-CBC와 비밀번호로 출력을 암호화합니다
  • 그런 다음 결과를 S3 버킷에 업로드합니다
• 새 작업자 노드가 생성될 때마다 Python 저장소가 S3 버킷에서 가져와지고 여기에 포함된 ec2py 파일이 실행됩니다.
• 새 작업자 노드가 생성될 때마다 EIP가 인스턴스에 자동으로 할당될 수 있습니다(선택 사항).
• Lambda 오류, ec2app Python 도구에서 발생하는 예외, API Gateway, Docker 로그 등 다양한 소스의 로그를 저장하는 CloudWatch 로깅 그룹
• DynamoDB에서 작업자 노드 상태를 변경하고 작업이 아직 실행되는 동안 작업자 노드가 종료되지 않도록 방지하는 수명 주기 후크(Lifecycle hooks)
• 대기 중인 작업 수와 구성 세트에 기반한 자동 확장 전략(알고리즘 작동 방식에 대한 자세한 정보는 autoscalingStrategy.py에서 확인할 수 있습니다)
• DynamoDB의 작업 테이블에 연결된 Lambda 이벤트 소스 매핑. 이는 데이터베이스의 항목이 증가하거나 감소할 때 자동 확장 작업을 관리하기 위한 것입니다.
• 새 메시지(작업)를 SQS로 보내는 SNS. 이러한 메시지는 나중에 작업자 노드가 읽습니다.
• Step Functions 서비스는 카운트다운을 만들고 retention_time이 만료된 후 CloudWatch 로깅 그룹을 삭제하는 데 사용됩니다.
• ec2py가 Docker 컨테이너 내부에서 도구(예: Nmap)를 실행하는 경우 stdout을 CloudWatch에 기록하고 프론트엔드를 통해 볼 수 있습니다. template.py 파일의 extra_docker_params 변수를 확인하세요(아래 Administrator/maintainer 섹션에서 설명).
• 프론트엔드는 실행 중인 작업을 중단하는 버튼과 Docker 컨테이너 로그를 보기 위한 또 다른 버튼을 제공합니다.
• 프론트엔드 코드나 ec2py 폴더에서 무엇이든 변경하려면 해당 변경 사항을 S3 버킷에 전파하고 프론트엔드의 캐시를 무효화해야 합니다. setup.bat/sh를 실행하기만 하면 이 모든 작업을 수행할 수 있습니다.

다이어그램:

Terraform 구성에서 사용할 수 있는 옵션은 다음과 같습니다:

Terraform을 실행하면 새 파일(config.js)이 생성됩니다. 여기에는 React JS 앱이 Cognito 사용자 풀 디렉터리에 인증하는 데 필요한 구성이 포함됩니다. 인프라가 배포된 후에는 React 앱을 빌드하고 build 폴더를 업로드해야 합니다. 또한 Python 코드를 코드 저장소 역할을 하는 S3 버킷에 업로드해야 합니다. 이 프로세스는 setup.bat 및 setup.sh 두 스크립트로 자동화되어 있으므로 이에 대해 걱정할 필요가 없습니다. 이는 단지 이 단계를 요약한 것뿐입니다.

설치 단계:

인프라는 기본적으로 us-east-1 리전에 배포되지만, Terraform 폴더 안의 locals.tf 파일에서 변경할 수 있습니다.

단계:

• AWS 계정에 관리자 권한이 있는 사용자를 생성해야 합니다.
• (선택 사항) 원하는 도구가 포함된 ‘골든’ AMI를 생성합니다.
• Terraform 폴더로 이동하여 variables.tf를 업데이트합니다. ami 변수는 기존 EC2 AMI를 가리켜야 하며, 이는 골든 AMI 또는 EC2 카탈로그의 AMI일 수 있습니다.
• 컴퓨터에 aws-cli, NPM, Yarn 및 Terraform을 다운로드하여 설치합니다.
• aws configure에서 aws-cli가 AWS 계정을 사용하도록 구성합니다. 다음 명령을 실행하여 제대로 구성되었는지 확인하세요: aws sts get-caller-identity. 올바르게 구성된 경우 오류가 반환되지 않아야 합니다.
• (선택 사항) EC2 인스턴스용 SSH 키 페어를 생성합니다. 작업자 노드에 SSH로 접속할 계획이 없다면 ec2_module 모듈을 그에 맞게 업데이트하세요. aws ec2 create-key-pair –key-name cowCloud –query “cowCloud” –output text > ec2_module/cowCloud.pem

git clone [email protected]:nccgroup/cowcloud.git
# Deploy the infra
cd cowcloud
cd Terraform
terraform init
terraform plan
terraform apply --auto-approve

• Terraform 출력에 표시된 값(website)을 기록해 두세요. 이 값은 프론트엔드에 접근하기 위한 URL입니다.
• 인프라가 배포된 후에는 setup.sh 또는 setup.bat을 실행하여 프론트엔드 및 ec2py 코드를 빌드하고 업로드하기만 하면 됩니다.

이제 준비가 끝났습니다! 가입하고 로그인하여 새 작업을 만들어 보세요!

최종 사용자 흐름

모든 것이 배포되고 프론트엔드에 접근할 수 있게 되면 다음 단계를 따르세요:

• 웹사이트를 방문하여 로그인 버튼을 클릭합니다.
• (가입하려면 유효한 이메일, 사용자 이름 및 비밀번호를 제출해야 합니다)
• 이메일 받은 편지함에서 받은 링크를 클릭하여 이메일을 인증합니다.
• 이메일/사용자 이름과 비밀번호로 로그인합니다.
• “add a new task”라는 탭을 클릭하고 JSON 문서를 업데이트하여 대상 도메인을 지정한 후 양식을 제출합니다. 그러면 아래에 표시될 작업 ID, 링크 및 비밀번호를 받게 됩니다.
• 대시보드로 돌아가서 새 EC2 인스턴스가 시작되고 작업자 노드가 작업을 실행하는 것을 기다립니다.
• 작업이 Docker 컨테이너에서 실행되는 경우 stdout을 웹 인터페이스를 통해 볼 수 있습니다.
• 작업이 완료되면 작업은 아카이브 테이블로 이동됩니다. 이제 주어진 링크를 방문하여 결과를 다운로드하고, 주어진 비밀번호로 복호화한 다음 도구 출력 또는 결과의 압축을 풀 수 있습니다 CowCloud\ec2py> python .\decypt_file.py 2e8cf87c-5389-11ec-abec-d6d1f378b18d
• 작업이 완료되면 작업자 노드는 자동으로 종료됩니다.

관리자/유지보수 담당자

• 인프라를 배포하고 유지보수하는 담당자는 웹 앱을 통해 제공되는 최종 사용자 입력을 적절히 삭제하고 검증해야 합니다. 즉, ec2py/template.py의 코드가 OS 명령 주입에 취약하지 않도록 해야 합니다. 이 점은 시스템에서 가장 중요한 측면이므로 강조됩니다. 작업자 노드의 권한과 노출 범위를 제한하여 관련 위험을 줄이기 위해 특별한 주의를 기울였습니다. 그럼에도 불구하고 시스템 보안의 이 측면을 관리하는 것은 관리자의 책임입니다. EC2 인스턴스 프로필에 연결된 역할 정책은 Terraform 폴더 안의 readme.md 파일에 나열되어 있습니다

  • 또한 ec2py 도구가 더 많은 권한이 필요한 작업을 수행하기 위해 호출하는 workers_manager.py라는 Lambda 함수가 있습니다. 이러한 작업은 누군가 EC2 프로필에 연결된 역할의 액세스 키를 손상시킬 경우의 위험을 제한하기 위해 Lambda 함수로 이동되었습니다. 그럼에도 불구하고 IMDSv2와 함께 작동합니다. Lambda 함수 workers_manager.py에 연결된 역할 정책은 Terraform 폴더 안의 readme.md 파일에 나열되어 있습니다

• 작업이 실행되는 동안 stdout을 캡처하여 웹 인터페이스를 통해 표시하려면 ec2py/template.py로 이동하여 다음 단계를 따르세요:

  • extra_docker_params 변수에는 Docker 컨테이너가 stdout을 CloudWatch 로그 그룹으로 보내는 데 필요한 정보가 포함되어 있습니다. 프론트엔드를 통해 stdout을 보려면 명령줄에 이 변수를 포함해야 합니다.
  root@kitploit:~

  cmd = f"docker run {extra_docker_params} --rm -v {tmp_folder}target.txt:/root/Tools/reconftw/target.txt -v {tmp_folder}reconftw.cfg:/root/Tools/reconftw/reconftw.cfg -v {tmp_folder}Recon/:/root/Tools/reconftw/Recon/ six2dez/reconftw:main -l target.txt -w".split(' ')
  

제거

간단한 명령 terraform destroy --auto-approve를 실행하여 인프라를 제거할 수 있습니다. 이 명령은 모든 기존 리소스를 제거합니다. 참고: 이 프로세스를 중단하지 마세요. 중단하면 일부 요소가 클라우드에 남아 있을 수 있으며, 이를 직접 식별하고 수동으로 제거해야 할 수 있습니다.

최종 사용자 흐름

핵심 흐름

개발자 참고 사항

• ec2py 앱에서 변경한 경우 변경 사항을 S3 저장소와 동기화해야 합니다. 그런 다음 현재 인스턴스를 종료하고 새 인스턴스를 다시 시작하여 최신 변경 사항을 가져와야 합니다.
• 게이트웨이 모듈의 구성 요소가 변경되면 REST API를 다시 배포해야 할 수 있습니다. 이를 수행하려면:
  • terraform destroy --auto-approve -target module.gateway_module.aws_api_gateway_deployment.lambda
  • terraform apply --auto-approve -target module.gateway_module

특별히 감사드리는 분들:

• Sabrina MM https://www.linkedin.com/in/sabrina-marisol-martinez-a4bb54181/
• Ricardo Martinez Martin (NCC Group)
• Conor McErlane (NCC Group)
• Simon Harraghy (NCC Group)