pgEdge Anonymizer

Documentation :

• Introduction
• Bonnes pratiques
• Installation
• Configuration
• Démarrage rapide
• Utilisation
• Modèles personnalisés
• Modèles intégrés
• Exemple de configuration
• Dépannage
• Notes de version
• Licence

pgEdge Anonymizer est un outil en ligne de commande pour anonymiser les informations personnellement identifiables (PII) dans les bases de données PostgreSQL. L'outil remplace les données sensibles par des valeurs fictives réalistes que vous pouvez utiliser pour le développement et les tests, tout en maintenant la cohérence des données et l'intégrité référentielle.

Fonctionnalités

• Plus de 100 modèles intégrés pour les types de PII courants dans 19 pays
• Remplacement cohérent – la même entrée produit la même sortie lors d'une exécution
• Prise en compte des clés étrangères – gère automatiquement les relations CASCADE
• Prise en charge des grandes bases de données – traitement par lots efficace avec des curseurs côté serveur
• Conservation du format – conserve le formatage original des données lorsque c'est possible
• Transaction unique – toutes les modifications sont validées atomiquement ou annulées
• Extensible – définissez des modèles personnalisés à l'aide de formats de date, nombre ou masque

Démarrage rapide

L'Anonymizer vous permet de créer un jeu de données expérimental qui préserve la forme et l'intégrité d'une base de données Postgres en seulement trois étapes :

1. Créez un fichier de configuration qui spécifie les modèles de remplacement pour vos colonnes.
2. Compilez et exécutez pgedge-anonymizer pour convertir vos colonnes.
3. Examinez les résultats.

Avant d'exécuter pgedge-anonymizer, vous devez créer un fichier de configuration nommé pgedge-anonymizer.yaml ; le fichier doit contenir :

• une section database avec les détails de connexion à votre base de données.
• une section columns listant les colonnes complètement qualifiées que vous souhaitez anonymiser (au format schema_name.table_name.column_name).
• des propriétés patterns pour chaque colonne, spécifiant la forme que prendra le contenu de remplacement.

Par exemple :

database:
  host: localhost
  port: 5432
  database: myapp
  user: anonymizer

columns:
  - column: public.users.email
    pattern: EMAIL

  - column: public.users.phone
    pattern: US_PHONE

  - column: public.users.ssn
    pattern: US_SSN

Après avoir créé un fichier de configuration, lancez l'anonymizer :

pgedge-anonymizer run

Examinez la liste des modifications au fur et à mesure de l'exécution de pgedge-anonymizer, qui affiche des statistiques :

Processing public.users.email (est. 50000 rows)...
  10000 rows processed
  20000 rows processed
  30000 rows processed
  40000 rows processed
  50000 rows processed
  Completed: 50000 rows, 48234 values anonymized

=== Anonymization Statistics ===
Total columns processed: 1
Total rows processed:    50000
Total values anonymized: 48234
Total duration:          2.34s
Throughput:              21367 rows/sec

Notes pour les développeurs

Prérequis

• Go 1.24 ou ultérieur
• PostgreSQL (pour les tests d'intégration)
• Python 3.12+ (pour la documentation)

Utilisez la commande suivante pour compiler pgedge-anonymizer :

make build        # Compiler le binaire

Utilisez la commande suivante pour exécuter la suite de tests de l'Anonymizer :

make test

Utilisez la commande suivante pour exécuter le Linter Go :

make lint

Utilisez la commande suivante pour formater le code :

make fmt

Support

• Problèmes GitHub
• La documentation complète est disponible sur le site web de pgEdge.

Licence

Ce projet est sous licence PostgreSQL License.