Cloud Custodian (c7n)

Cloud Custodian, auch bekannt als c7n, ist eine Regel-Engine zur Verwaltung öffentlicher Cloud-Konten und -Ressourcen. Es ermöglicht Benutzern die Definition von Richtlinien für eine gut verwaltete Cloud-Infrastruktur, die sowohl sicher als auch kostenoptimiert ist. Es fasst viele der Ad-hoc-Skripte von Organisationen in einem leichten und flexiblen Tool mit einheitlichen Metriken und Berichten zusammen.

Custodian kann verwendet werden, um AWS-, Azure- und GCP-Umgebungen zu verwalten, indem die Echtzeit-Compliance mit Sicherheitsrichtlinien (wie Verschlüsselungs- und Zugriffsanforderungen), Tagging-Richtlinien und Kostenmanagement durch Garbage Collection ungenutzter Ressourcen und Verwaltung von Ressourcen außerhalb der Geschäftszeiten sichergestellt wird.

Custodian unterstützt auch die Ausführung von Richtlinien auf Infrastructure-as-Code-Assets, um direkt auf Entwickler-Workstations oder in CI-Pipelines Feedback zu geben.

Custodian-Richtlinien werden in einfachen YAML-Konfigurationsdateien geschrieben, die es Benutzern ermöglichen, Richtlinien für einen Ressourcentyp (EC2, ASG, Redshift, CosmosDB, PubSub Topic) zu definieren und aus einem Vokabular von Filtern und Aktionen zusammengesetzt sind.

Es integriert sich in die nativen serverlosen Fähigkeiten der Cloud jedes Anbieters, um eine Echtzeit-Durchsetzung von Richtlinien mit integrierter Bereitstellung zu ermöglichen. Oder es kann als einfacher Cron-Job auf einem Server ausgeführt werden, um gegen große vorhandene Bestände vorzugehen.

Cloud Custodian ist ein CNCF-Inkubationsprojekt, das von einer Gemeinschaft von Hunderten von Mitwirkenden geleitet wird.

Funktionen

• Umfassende Unterstützung für öffentliche Cloud-Dienste und -Ressourcen mit einer umfangreichen Bibliothek von Aktionen und Filtern zum Erstellen von Richtlinien.
• Richtlinien auf Infrastructure-as-Code-Assets (Terraform usw.) ausführen.
• Unterstützt beliebiges Filtern von Ressourcen mit verschachtelten booleschen Bedingungen.
• Führen Sie einen Probelauf für jede Richtlinie durch, um zu sehen, was sie tun würde.
• Stellt automatisch serverlose Funktionen und Ereignisquellen bereit (AWS CloudWatch Events, AWS Config Rules, Azure EventGrid, GCP AuditLog & Pub/Sub usw.)
• Native Metrikausgaben des Cloud-Anbieters für Ressourcen, die einer Richtlinie entsprochen haben.
• Strukturierte Ausgaben in nativen Cloud-Objektspeicher, welche Ressourcen einer Richtlinie entsprochen haben.
• Intelligente Cache-Nutzung zur Minimierung von API-Aufrufen.
• Unterstützt Multi-Account/Subscription/Projekt-Nutzung.
• Kampferprobt – in Produktion in einigen sehr großen Cloud-Umgebungen.

Links

• Homepage
• Dokumentation
• Projektfahrplan
• Entwicklerinstallation
• Präsentationen
• YouTube-Kanal

Schnellinstallation

Custodian wird auf PyPI als eine Reihe von Paketen mit dem Präfix c7n veröffentlicht und ist auch als Docker-Image verfügbar.

$ python3 -m venv custodian
$ source custodian/bin/activate
(custodian) $ pip install c7n

Verwendung

Der erste Schritt zur Verwendung von Cloud Custodian (c7n) ist das Schreiben einer YAML-Datei, die die Richtlinien enthält, die Sie ausführen möchten. Jede Richtlinie legt den Ressourcentyp fest, für den die Richtlinie ausgeführt wird, eine Reihe von Filtern, die steuern, welche Ressourcen von dieser Richtlinie betroffen sind, Aktionen, die die Richtlinie auf die übereinstimmenden Ressourcen anwendet, und einen Modus, der steuert, wie die Richtlinie ausgeführt wird.

Die besten Einstiegsleitfäden sind die Cloud-Anbieter-spezifischen Tutorials.

• AWS Erste Schritte
• Azure Erste Schritte
• GCP Erste Schritte

Als kurzer Überblick finden Sie unten einige Beispielrichtlinien für AWS-Ressourcen.

1. Erzwingt, dass keine S3-Buckets über einen Cross-Account-Zugriff verfügen.
2. Beendet jede neu gestartete EC2-Instanz, die keine verschlüsselte EBS-Volume besitzt.
3. Markiert jede EC2-Instanz, die nicht die folgenden Tags "Environment", "AppId" und entweder "OwnerContact" oder "DeptID" besitzt, um sie in vier Tagen zu stoppen.

policies:
 - name: s3-cross-account
   description: |
     Checks S3 for buckets with cross-account access and
     removes the cross-account access.
   resource: aws.s3
   region: us-east-1
   filters:
     - type: cross-account
   actions:
     - type: remove-statements
       statement_ids: matched

 - name: ec2-require-non-public-and-encrypted-volumes
   resource: aws.ec2
   description: |
    Provision a lambda and cloud watch event target
    that looks at all new instances and terminates those with
    unencrypted volumes.
   mode:
    type: cloudtrail
    role: CloudCustodian-QuickStart
    events:
      - RunInstances
   filters:
    - type: ebs
      key: Encrypted
      value: false
   actions:
    - terminate

 - name: tag-compliance
   resource: aws.ec2
   description: |
     Schedule a resource that does not meet tag compliance policies to be stopped in four days. Note a separate policy using the`marked-for-op` filter is required to actually stop the instances after four days.
   filters:
    - State.Name: running
    - "tag:Environment": absent
    - "tag:AppId": absent
    - or:
      - "tag:OwnerContact": absent
      - "tag:DeptID": absent
   actions:
    - type: mark-for-op
      op: stop
      days: 4

Sie können Cloud Custodian mit der Beispielrichtlinie mit diesen Befehlen validieren, testen und ausführen:

# Validate the configuration (note this happens by default on run)
$ custodian validate policy.yml

# Dryrun on the policies (no actions executed) to see what resources
# match each policy.
$ custodian run --dryrun -s out policy.yml

# Run the policy
$ custodian run -s out policy.yml

Sie können Cloud Custodian auch über Docker ausführen:

# Download the image
$ docker pull cloudcustodian/c7n
$ mkdir output

# Run the policy
#
# This will run the policy using only the environment variables for authentication
$ docker run -it \
  -v $(pwd)/output:/home/custodian/output \
  -v $(pwd)/policy.yml:/home/custodian/policy.yml \
  --env-file <(env | grep "^AWS\|^AZURE\|^GOOGLE") \
  cloudcustodian/c7n run -v -s /home/custodian/output /home/custodian/policy.yml

# Run the policy (using AWS's generated credentials from STS)
#
# NOTE: We mount the ``.aws/credentials`` and ``.aws/config`` directories to
# the docker container to support authentication to AWS using the same credentials
# credentials that are available to the local user if authenticating with STS.

$ docker run -it \
  -v $(pwd)/output:/home/custodian/output \
  -v $(pwd)/policy.yml:/home/custodian/policy.yml \
  -v $(cd ~ && pwd)/.aws/credentials:/home/custodian/.aws/credentials \
  -v $(cd ~ && pwd)/.aws/config:/home/custodian/.aws/config \
  --env-file <(env | grep "^AWS") \
  cloudcustodian/c7n run -v -s /home/custodian/output /home/custodian/policy.yml

Das Custodian Cask-Tool ist ein Go-Binary, das eine transparente Frontend zu Docker bietet, das die reguläre Custodian-CLI nachbildet, aber automatisch die Volumes bereitstellt.

Konsultieren Sie die Dokumentation für weitere Informationen oder wenden Sie sich an Gitter.

Cloud-Anbieter-spezifische Hilfe

Für spezifische Anweisungen für AWS, Azure und GCP besuchen Sie die entsprechende Seite 'Erste Schritte'.

• AWS
• Azure
• GCP

Mitmachen

• GitHub - (Diese Seite)
• Slack - Echtzeit-Chat, wenn Sie Hilfe suchen oder daran interessiert sind, zu Custodian beizutragen!
  • Gitter - (Älterer Echtzeit-Chat, wir werden wahrscheinlich davon abwandern)
• Linen.dev - Folgen Sie unseren Diskussionen auf Linen
• Mailingliste - Unsere Projekt-Mailingliste, abonnieren Sie hier für wichtige Projektankündigungen, stellen Sie gerne Fragen
• Reddit - Unser Subreddit
• StackOverflow - Frage-und-Antwort-Seite für Entwickler, wir behalten das cloudcustodian-Tag im Auge
• YouTube-Kanal - Wir arbeiten daran, Tutorials und andere nützliche Informationen sowie Besprechungsvideos hinzuzufügen

Community-Ressourcen

Wir haben ein regelmäßiges Community-Treffen, das allen Benutzern und Entwicklern aller Kenntnisstufen offen steht. Die Teilnahme an der Mailingliste sendet Ihnen automatisch eine Einladung zum Treffen. Die folgenden Hinweise enthalten weitere technische Informationen zur Teilnahme am Treffen.

• Community-Meeting-Videos
• Archiv der Community-Meeting-Notizen
• Bevorstehende Community-Events
• Cloud Custodian Jahresbericht 2021 - Jährlicher Gesundheitscheck für die CNCF, der den Zustand des Projekts beschreibt
• Ada Logics Drittanbieter-Sicherheitsaudit

Zusätzliche Tools

Das Custodian-Projekt entwickelt und pflegt auch eine Reihe zusätzlicher Tools hier https://github.com/cloud-custodian/cloud-custodian/tree/main/tools:

• Org: Multi-Account-Richtlinienausführung.

• ShiftLeft: Shift Left ~ Ausführen von Richtlinien gegen Infrastructure-as-Code-Assets wie Terraform.

• PolicyStream: Git-Verlauf als Strom logischer Richtlinienänderungen.

• Salactus: Skaliertes S3-Scannen.

• Mailer: Eine Referenzimplementierung zum Senden von Nachrichten an Benutzer, um sie zu benachrichtigen.

• Trail Creator: Rückwirkende Markierung von Ressourcenerstellern aus CloudTrail

• TrailDB: CloudTrail-Indexierung und Zeitreihenerstellung für Dashboards.

• LogExporter: CloudWatch-Protokollexport nach S3

• Cask: Einfache Custodian-Ausführung über Docker

• Guardian: Automatisierte Multi-Account-Guard-Duty-Einrichtung

• Omni SSM: EC2-Systems-Manager-Automation

• Mugc: Ein Dienstprogramm zum Bereinigen von Cloud-Custodian-Lambda-Richtlinien, die in einer AWS-Umgebung bereitgestellt werden.

Mitwirken

Siehe https://cloudcustodian.io/docs/contribute.html

Sicherheit

Wenn Sie ein sicherheitsrelevantes Problem, eine Schwachstelle oder eine potenzielle Schwachstelle in Cloud Custodian gefunden haben, teilen Sie dies bitte dem Cloud Custodian-Sicherheitsteam mit den Details der Schwachstelle mit. Wir senden eine Bestätigungs-E-Mail, um Ihren Bericht zu bestätigen, und eine weitere E-Mail, wenn wir das Problem positiv oder negativ identifiziert haben.

Verhaltenskodex

Dieses Projekt hält sich an den CNCF-Verhaltenskodex

Durch Ihre Teilnahme wird erwartet, dass Sie diesen Kodex einhalten.