dbslice

Estrai sottoinsiemi minimi e referenzialmente integri del database per lo sviluppo locale e il debug.

Il Problema

Copiare l'intero database di produzione sulla propria macchina non è fattibile. Ma riprodurre un bug spesso richiede di avere esattamente i dati che lo hanno causato. dbslice risolve questo problema estraendo solo i record di cui hai bisogno, seguendo le relazioni di chiave esterna per garantire l'integrità referenziale.

Avvio Veloce

# Installazione globale
uv tool install dbslice   # oppure: pip install dbslice

# Estrai un ordine e tutti i record correlati
dbslice extract postgres://localhost/myapp --seed "orders.id=12345" > subset.sql

# Importa nel database locale
psql -d localdb < subset.sql

Funzionalità

• Avvio senza configurazione -- Rileva automaticamente lo schema, nessun file modello richiesto
• Comando singolo -- Estrai sottoinsiemi di dati completi con una sola invocazione CLI
• Sicuro per impostazione predefinita -- Rileva e anonimizza automaticamente i campi sensibili (email, telefoni, codici fiscali, ecc.)
• Profili di conformità -- Profili GDPR, HIPAA Safe Harbor e PCI-DSS integrati con scansione PII in due fasi
• Interfaccia di mappatura colonne -- UI locale del browser per mappare visivamente le colonne, applicare profili di conformità ed esportare la configurazione
• Formati di output multipli -- SQL, JSON e CSV
• Streaming -- Estrazione efficiente in memoria per grandi set di dati (100K+ righe)
• Chiavi esterne virtuali -- Supporto per Django GenericForeignKeys e relazioni implicite tramite configurazione
• File di configurazione -- Configurazione basata su YAML per estrazioni ripetibili
• Validazione -- Controlla l'integrità referenziale dei dati estratti

Supporto Database

Database	Stato
PostgreSQL	Supporto completo
MySQL	Pianificato (non ancora implementato)
SQLite	Pianificato (non ancora implementato)

Installazione

# Installazione con uv (consigliato)
uv add dbslice

# Prova senza installare
uvx dbslice --help

# Oppure con pip
pip install dbslice

Utilizzo

Estrazione Base

# Estrai per chiave primaria
dbslice extract postgres://user:pass@host:5432/db --seed "orders.id=12345"

# Estrai con clausola WHERE
dbslice extract postgres://localhost/db --seed "orders:status='failed' AND created_at > '2024-01-01'"

# Semi multipli
dbslice extract postgres://localhost/db \
  --seed "orders.id=100" \
  --seed "orders.id=101"

Controllo della Traversal

# Limita profondità (predefinito: 3)
dbslice extract postgres://... --seed "orders.id=1" --depth 2

# Direzione: up (solo genitori), down (solo figli), both (predefinito)
dbslice extract postgres://... --seed "orders.id=1" --direction up

Anonimizzazione

# Anonimizza automaticamente i campi sensibili rilevati
dbslice extract postgres://... --seed "users.id=1" --anonymize

# Oscura campi aggiuntivi
dbslice extract postgres://... --seed "users.id=1" --anonymize --redact "audit_logs.ip_address"

Interfaccia di Mappatura Colonne

Mappa visivamente le colonne, applica profili di conformità e genera una configurazione pronta all'uso, il tutto da un'interfaccia browser locale.

dbslice map postgres://localhost/myapp

# Porta personalizzata
dbslice map postgres://localhost/myapp --port 8888

# Funziona anche con uvx (senza installazione)
uvx dbslice map postgres://localhost/myapp

Mappa le colonne alle regole di anonimizzazione	Genera ed esporta la configurazione

Esegue su 127.0.0.1:9473 con un token di sessione monouso — nessun dato lascia la tua macchina. Applica profili GDPR, HIPAA o PCI-DSS con un clic, rivedi cosa viene mascherato, poi scarica il YAML.

Profili di Conformità

# HIPAA Safe Harbor — maschera automaticamente tutti i 18 tipi di identificatori
dbslice extract postgres://... --seed "patients.id=1" --compliance hipaa --compliance-strict

# Profili multipli + manifest di audit
dbslice extract postgres://... --seed "users.id=1" --compliance gdpr --compliance pci-dss -f subset.sql
# Produce subset.sql + subset.manifest.json

Formati di Output

# SQL (predefinito)
dbslice extract postgres://... --seed "orders.id=1" --output sql

# Fixture JSON
dbslice extract postgres://... --seed "orders.id=1" --output json --out-file fixtures/

# CSV
dbslice extract postgres://... --seed "orders.id=1" --output csv --out-file data/

Chiavi Esterne Virtuali

Per relazioni non definite nello schema del database (Django GenericForeignKeys, relazioni implicite):

# dbslice.yaml
database:
  url: postgres://localhost:5432/myapp

virtual_foreign_keys:
  - source_table: notifications
    source_columns: [object_id]
    target_table: orders
    description: "FK generica verso orders tramite ContentType"

  - source_table: audit_log
    source_columns: [user_id]
    target_table: users
    description: "FK implicita senza vincolo DB"

dbslice extract --config dbslice.yaml --seed "users.id=1"

Ispeziona Schema

dbslice inspect postgres://localhost/myapp

File di Configurazione

# Genera configurazione dal database
dbslice init postgres://localhost/myapp --out-file dbslice.yaml

# Utilizza configurazione
dbslice extract --config dbslice.yaml --seed "orders.id=12345"

Come Funziona

1. Introspect -- Legge lo schema del database per scoprire tabelle e relazioni di chiave esterna
2. Traverse -- A partire dal/i record seme, segue le relazioni FK tramite BFS
3. Extract -- Recupera tutti i record identificati
4. Sort -- Ordina topologicamente le tabelle per un corretto ordine INSERT
5. Output -- Genera SQL/JSON/CSV con l'escape appropriato

Confronto