pgEdge Anonymizer

문서:

• 소개
• 모범 사례
• 설치
• 구성
• 빠른 시작
• 사용법
• 사용자 정의 패턴
• 내장 패턴
• 구성 예제
• 문제 해결
• 릴리스 노트
• 라이선스

pgEdge Anonymizer는 PostgreSQL 데이터베이스에서 개인 식별 정보(PII)를 익명화하기 위한 명령줄 도구입니다. 이 도구는 민감한 데이터를 개발 및 테스트에 사용할 수 있는 현실적인 가짜 값으로 대체하며, 데이터 일관성과 참조 무결성을 유지합니다.

기능

• 19개국에 걸친 일반적인 PII 유형에 대한 100개 이상의 내장 패턴
• 일관된 대체 - 동일한 입력은 실행 내에서 동일한 출력을 생성합니다.
• 외래 키 인식 - CASCADE 관계를 자동으로 처리합니다.
• 대규모 데이터베이스 지원 - 서버 측 커서를 사용한 효율적인 배치 처리
• 형식 유지 - 가능한 경우 원본 데이터 형식을 유지합니다.
• 단일 트랜잭션 - 모든 변경 사항이 원자적으로 커밋되거나 롤백됩니다.
• 확장 가능 - 날짜, 숫자 또는 마스크 형식을 사용하여 사용자 정의 패턴 정의 가능

빠른 시작

Anonymizer를 사용하면 단 세 단계로 Postgres 데이터베이스의 형태와 무결성을 유지하는 실험용 데이터 세트를 만들 수 있습니다:

1. 열에 대한 대체 패턴을 지정하는 구성 파일을 만듭니다.
2. pgedge-anonymizer를 빌드하고 실행하여 열을 변환합니다.
3. 결과를 검토합니다.

pgedge-anonymizer를 실행하기 전에 pgedge-anonymizer.yaml이라는 구성 파일을 만들어야 합니다. 파일에는 다음이 포함되어야 합니다:

• 데이터베이스 연결 세부 정보를 포함하는 database 섹션
• 익명화하려는 정규화된 열(schema_name.table_name.column_name 형식)을 나열하는 columns 섹션
• 각 열에 대해 대체 내용의 형태를 지정하는 patterns 속성

예:

database:
  host: localhost
  port: 5432
  database: myapp
  user: anonymizer

columns:
  - column: public.users.email
    pattern: EMAIL

  - column: public.users.phone
    pattern: US_PHONE

  - column: public.users.ssn
    pattern: US_SSN

구성 파일을 만든 후 anonymizer를 실행합니다:

pgedge-anonymizer run

pgedge-anonymizer가 실행되면서 통계를 표시하며 변경 목록을 검토합니다:

Processing public.users.email (est. 50000 rows)...
  10000 rows processed
  20000 rows processed
  30000 rows processed
  40000 rows processed
  50000 rows processed
  Completed: 50000 rows, 48234 values anonymized

=== Anonymization Statistics ===
Total columns processed: 1
Total rows processed:    50000
Total values anonymized: 48234
Total duration:          2.34s
Throughput:              21367 rows/sec

개발자 노트

필수 구성 요소

• Go 1.24 이상
• PostgreSQL (통합 테스트용)
• Python 3.12+ (문서용)

다음 명령어를 사용하여 pgedge-anonymizer를 빌드합니다:

make build        # 바이너리 빌드

다음 명령어를 사용하여 Anonymizer 테스트 스위트를 실행합니다:

make test

다음 명령어를 사용하여 Go Linter를 실행합니다:

make lint

다음 명령어를 사용하여 코드 형식을 지정합니다:

make fmt

지원

• GitHub 이슈
• 전체 문서는 pgEdge 웹사이트에서 확인할 수 있습니다.

라이선스

이 프로젝트는 PostgreSQL 라이선스에 따라 사용이 허가됩니다.