pgEdge Anonymizer

Documentación:

• Introducción
• Mejores prácticas
• Instalación
• Configuración
• Inicio rápido
• Uso
• Patrones personalizados
• Patrones incorporados
• Ejemplo de configuración
• Solución de problemas
• Notas de la versión
• Licencia

pgEdge Anonymizer es una herramienta de línea de comandos para anonimizar información de identificación personal (PII) en bases de datos PostgreSQL. La herramienta reemplaza datos sensibles con valores falsos realistas que puedes usar para desarrollo y pruebas, manteniendo la consistencia de los datos y la integridad referencial.

Características

• Más de 100 patrones incorporados para tipos comunes de PII en 19 países
• Reemplazo consistente - la misma entrada produce la misma salida dentro de una ejecución
• Conocimiento de claves foráneas - maneja automáticamente relaciones CASCADE
• Soporte para bases de datos grandes - procesamiento por lotes eficiente con cursores del lado del servidor
• Preservación de formato - mantiene el formato original de los datos cuando es posible
• Transacción única - todos los cambios se confirman atómicamente o se revierten
• Extensible - define patrones personalizados usando formatos de fecha, número o máscara

Inicio rápido

Anonymizer te permite crear un conjunto de datos experimentales que conserva la forma e integridad de una base de datos Postgres en solo tres pasos:

1. Crea un archivo de configuración que especifique los patrones de reemplazo para tus columnas.
2. Construye y ejecuta pgedge-anonymizer para convertir tus columnas.
3. Revisa los resultados.

Antes de ejecutar pgedge-anonymizer, necesitas crear un archivo de configuración llamado pgedge-anonymizer.yaml; el archivo debe contener:

• una sección database, con los detalles de conexión para tu base de datos.
• una sección columns, listando las columnas totalmente calificadas que deseas anonimizar (en formato schema_name.table_name.column_name).
• propiedades de patterns para cada columna que especifique la forma que tendrá el contenido de reemplazo.

Por ejemplo:

database:
  host: localhost
  port: 5432
  database: myapp
  user: anonymizer

columns:
  - column: public.users.email
    pattern: EMAIL

  - column: public.users.phone
    pattern: US_PHONE

  - column: public.users.ssn
    pattern: US_SSN

Después de crear un archivo de configuración, ejecuta el anonimizador:

pgedge-anonymizer run

Revisa la lista de cambios mientras pgedge-anonymizer se ejecuta, mostrando estadísticas:

Processing public.users.email (est. 50000 rows)...
  10000 rows processed
  20000 rows processed
  30000 rows processed
  40000 rows processed
  50000 rows processed
  Completed: 50000 rows, 48234 values anonymized

=== Anonymization Statistics ===
Total columns processed: 1
Total rows processed:    50000
Total values anonymized: 48234
Total duration:          2.34s
Throughput:              21367 rows/sec

Notas para desarrolladores

Requisitos previos

• Go 1.24 o posterior
• PostgreSQL (para pruebas de integración)
• Python 3.12+ (para documentación)

Usa el siguiente comando para compilar pgedge-anonymizer:

make build        # Compilar binario

Usa el siguiente comando para ejecutar el conjunto de pruebas del Anonymizer:

make test

Usa el siguiente comando para ejecutar el linter de Go:

make lint

Usa el siguiente comando para formatear el código:

make fmt

Soporte

• GitHub Issues
• La documentación completa está disponible en el sitio web de pgEdge.

Licencia

Este proyecto está licenciado bajo la Licencia PostgreSQL.