pgEdge Anonymizer

Dokumentation:

• Einführung
• Bewährte Vorgehensweisen
• Installation
• Konfiguration
• Schnellstart
• Verwendung
• Eigene Muster
• Integrierte Muster
• Beispielkonfiguration
• Fehlerbehebung
• Versionshinweise
• Lizenz

pgEdge Anonymizer ist ein Kommandozeilen-Tool zur Anonymisierung personenbezogener Daten (PII) in PostgreSQL-Datenbanken. Das Tool ersetzt sensible Daten durch realistische, aber erfundene Werte, die Sie für Entwicklung und Tests verwenden können, während die Datenkonsistenz und referenzielle Integrität gewahrt bleiben.

Funktionen

• Über 100 integrierte Muster für häufige PII-Typen in 19 Ländern
• Konsistente Ersetzung – gleiche Eingabe erzeugt gleiche Ausgabe innerhalb eines Durchlaufs
• Fremdschlüssel-Bewusstsein – automatische Behandlung von CASCADE-Beziehungen
• Unterstützung großer Datenbanken – effiziente Batch-Verarbeitung mit serverseitigen Cursorn
• Formaterhaltung – Beibehaltung der ursprünglichen Datenformatierung, wo möglich
• Einzelne Transaktion – alle Änderungen werden atomar committet oder zurückgerollt
• Erweiterbar – Definieren Sie eigene Muster mit Datums-, Zahlen- oder Maskenformaten

Schnellstart

Mit dem Anonymizer können Sie in nur drei Schritten einen experimentellen Datensatz erstellen, der die Struktur und Integrität einer Postgres-Datenbank bewahrt:

1. Erstellen Sie eine Konfigurationsdatei, die die Ersetzungsmuster für Ihre Spalten festlegt.
2. Bauen Sie den pgedge-anonymizer und führen Sie ihn aus, um Ihre Spalten zu konvertieren.
3. Überprüfen Sie die Ergebnisse.

Bevor Sie pgedge-anonymizer ausführen, müssen Sie eine Konfigurationsdatei namens pgedge-anonymizer.yaml erstellen; die Datei sollte Folgendes enthalten:

• einen database-Abschnitt mit Verbindungsdetails für Ihre Datenbank.
• einen columns-Abschnitt, der die vollqualifizierten Spalten auflistet, die Sie anonymisieren möchten (im Format schema_name.table_name.column_name).
• patterns-Eigenschaften für jede Spalte, die die Form des Ersetzungsinhalts angibt.

database:
  host: localhost
  port: 5432
  database: myapp
  user: anonymizer

columns:
  - column: public.users.email
    pattern: EMAIL

  - column: public.users.phone
    pattern: US_PHONE

  - column: public.users.ssn
    pattern: US_SSN

Nachdem Sie eine Konfigurationsdatei erstellt haben, führen Sie den Anonymizer aus:

pgedge-anonymizer run

Überprüfen Sie die Änderungsliste, während pgedge-anonymizer läuft und Statistiken anzeigt:

Processing public.users.email (est. 50000 rows)...
  10000 rows processed
  20000 rows processed
  30000 rows processed
  40000 rows processed
  50000 rows processed
  Completed: 50000 rows, 48234 values anonymized

=== Anonymization Statistics ===
Total columns processed: 1
Total rows processed:    50000
Total values anonymized: 48234
Total duration:          2.34s
Throughput:              21367 rows/sec

Entwicklerhinweise

Voraussetzungen

• Go 1.24 oder neuer
• PostgreSQL (für Integrationstests)
• Python 3.12+ (für die Dokumentation)

Verwenden Sie den folgenden Befehl, um pgedge-anonymizer zu bauen:

make build        # Build binary

Verwenden Sie den folgenden Befehl, um die Anonymizer-Testsuite auszuführen:

make test

Verwenden Sie den folgenden Befehl, um den Go-Linter auszuführen:

make lint

Verwenden Sie den folgenden Befehl, um den Code zu formatieren:

make fmt

Support

• GitHub Issues
• Die vollständige Dokumentation ist auf der pgEdge-Website verfügbar.

Lizenz

Dieses Projekt ist unter der PostgreSQL-Lizenz lizenziert.