pgEdge Anonymizer

Документация:

• Введение
• Лучшие практики
• Установка
• Конфигурация
• Быстрый старт
• Использование
• Пользовательские шаблоны
• Встроенные шаблоны
• Пример конфигурации
• Устранение неполадок
• Примечания к релизу
• Лицензия

pgEdge Anonymizer — это инструмент командной строки для анонимизации персонально идентифицируемой информации (PII) в базах данных PostgreSQL. Инструмент заменяет конфиденциальные данные реалистичными фиктивными значениями, которые можно использовать для разработки и тестирования, сохраняя согласованность данных и ссылочную целостность.

Возможности

• Более 100 встроенных шаблонов для распространенных типов PII в 19 странах
• Согласованная замена — один и тот же ввод дает одинаковый вывод в рамках одного запуска
• Учет внешних ключей — автоматическая обработка связей CASCADE
• Поддержка больших баз данных — эффективная пакетная обработка с серверными курсорами
• Сохранение формата — сохранение исходного форматирования данных, где это возможно
• Одна транзакция — все изменения фиксируются атомарно или откатываются
• Расширяемость — определение пользовательских шаблонов с использованием форматов даты, числа или маски

Быстрый старт

Anonymizer позволяет создать экспериментальный набор данных, сохраняющий структуру и целостность базы данных Postgres, всего за три шага:

1. Создайте конфигурационный файл, определяющий шаблоны замены для ваших столбцов.
2. Соберите и запустите pgedge-anonymizer, чтобы преобразовать ваши столбцы.
3. Просмотрите результаты.

Перед запуском pgedge-anonymizer необходимо создать конфигурационный файл с именем pgedge-anonymizer.yaml; файл должен содержать:

• раздел database с данными подключения к вашей базе данных.
• раздел columns, перечисляющий полностью определенные столбцы, которые вы хотите анонимизировать (в формате schema_name.table_name.column_name).
• свойства patterns для каждого столбца, задающие форму, которую примет заменяющее содержимое.

Например:

database:
  host: localhost
  port: 5432
  database: myapp
  user: anonymizer

columns:
  - column: public.users.email
    pattern: EMAIL

  - column: public.users.phone
    pattern: US_PHONE

  - column: public.users.ssn
    pattern: US_SSN

После создания конфигурационного файла запустите анонимайзер:

pgedge-anonymizer run

Просмотрите список изменений по мере работы pgedge-anonymizer; отображается статистика:

Processing public.users.email (est. 50000 rows)...
  10000 rows processed
  20000 rows processed
  30000 rows processed
  40000 rows processed
  50000 rows processed
  Completed: 50000 rows, 48234 values anonymized

=== Anonymization Statistics ===
Total columns processed: 1
Total rows processed:    50000
Total values anonymized: 48234
Total duration:          2.34s
Throughput:              21367 rows/sec

Заметки для разработчиков

Предварительные требования

• Go 1.24 или новее
• PostgreSQL (для интеграционных тестов)
• Python 3.12+ (для документации)

Используйте следующую команду для сборки pgedge-anonymizer:

make build        # Build binary

Используйте следующую команду для запуска набора тестов Anonymizer:

make test

Используйте следующую команду для запуска Go Linter:

make lint

Используйте следующую команду для форматирования кода:

make fmt

Поддержка

• GitHub Issues
• Полная документация доступна на веб-сайте pgEdge.

Лицензия

Этот проект лицензирован под лицензией PostgreSQL.