pgEdge 匿名化工具

文档：

• 简介
• 最佳实践
• 安装
• 配置
• 快速入门
• 使用
• 自定义模式
• 内置模式
• 示例配置
• 故障排除
• 发布说明
• 许可证

pgEdge 匿名化工具是一个命令行工具，用于对 PostgreSQL 数据库中个人身份信息（PII）进行匿名化处理。该工具将敏感数据替换为可用于开发和测试的真实虚假值，同时保持数据一致性和参照完整性。

功能特性

• 100+ 内置模式，涵盖 19 个国家的常见 PII 类型
• 一致性替换 - 相同输入在同一运行中产生相同输出
• 外键感知 - 自动处理 CASCADE 关系
• 大型数据库支持 - 使用服务器端游标进行高效批处理
• 格式保留 - 尽可能保持原始数据格式
• 单事务 - 所有更改原子提交或回滚
• 可扩展 - 使用日期、数字或掩码格式定义自定义模式

快速入门

匿名化工具可让你通过三个步骤创建保留 Postgres 数据库形状和完整性的实验数据集：

1. 创建一个配置文件，指定列的替换模式。
2. 构建并运行 pgedge-anonymizer 以转换你的列。
3. 查看结果。

在运行 pgedge-anonymizer 之前，你需要创建一个名为 pgedge-anonymizer.yaml 的配置文件；该文件应包含：

• 一个 database 部分，包含数据库的连接详细信息。
• 一个 columns 部分，列出你想要匿名化的完全限定列（格式为 schema_name.table_name.column_name）。
• 每个列的 patterns 属性，指定替换内容的形式。

例如：

database:
  host: localhost
  port: 5432
  database: myapp
  user: anonymizer

columns:
  - column: public.users.email
    pattern: EMAIL

  - column: public.users.phone
    pattern: US_PHONE

  - column: public.users.ssn
    pattern: US_SSN

创建配置文件后，运行匿名化工具：

pgedge-anonymizer run

查看 pgedge-anonymizer 运行时显示的更改列表及统计信息：

Processing public.users.email (est. 50000 rows)...
  10000 rows processed
  20000 rows processed
  30000 rows processed
  40000 rows processed
  50000 rows processed
  Completed: 50000 rows, 48234 values anonymized

=== Anonymization Statistics ===
Total columns processed: 1
Total rows processed:    50000
Total values anonymized: 48234
Total duration:          2.34s
Throughput:              21367 rows/sec

开发者说明

前提条件

• Go 1.24 或更高版本
• PostgreSQL（用于集成测试）
• Python 3.12+（用于文档）

使用以下命令构建 pgedge-anonymizer：

make build        # 构建二进制文件

使用以下命令运行匿名化工具测试套件：

make test

使用以下命令运行 Go Linter：

make lint

使用以下命令格式化代码：

make fmt

支持

• GitHub 问题
• 完整文档可在 pgEdge 网站 上获取。

许可证

本项目遵循 PostgreSQL 许可证。