dbslice logo

dbslice

Extrae subconjuntos mínimos de bases de datos, referencialmente íntegros, para desarrollo local y depuración.

El problema

Copiar una base de datos de producción completa a tu máquina es inviable. Pero reproducir un error a menudo requiere tener los datos exactos que lo causaron. dbslice resuelve esto extrayendo solo los registros que necesitas, siguiendo las relaciones de clave foránea para garantizar la integridad referencial.

dbslice — de semilla a subconjunto

Inicio rápido

# Instalación global
uv tool install dbslice   # o: pip install dbslice

# Extrae un pedido y todos los registros relacionados
dbslice extract postgres://localhost/myapp --seed "orders.id=12345" > subset.sql

# Importa en la base de datos local
psql -d localdb < subset.sql

Funcionalidades

Sin configuración inicial — Inspecciona el esquema automáticamente, no requiere archivo de modelo de datos
Un solo comando — Extrae subconjuntos completos de datos con una sola invocación de CLI
Seguro por defecto — Detecta y anonimiza automáticamente campos sensibles (correos, teléfonos, SSN, etc.)
Perfiles de cumplimiento — Perfiles integrados para GDPR, Safe Harbor de HIPAA y PCI-DSS con escaneo PII en dos fases
Interfaz de mapeo de columnas — Interfaz web local para mapear columnas visualmente, aplicar perfiles de cumplimiento y exportar configuración
Múltiples formatos de salida — SQL, JSON y CSV
Streaming — Extracción eficiente en memoria para conjuntos grandes (100K+ filas)
Claves foráneas virtuales — Soporte para GenericForeignKeys de Django y relaciones implícitas mediante configuración
Archivos de configuración — Configuración basada en YAML para extracciones repetibles
Validación — Verifica la integridad referencial de los datos extraídos

Soporte de bases de datos

Base de datos	Estado
PostgreSQL	Compatibilidad total
MySQL	Planificado (aún no implementado)
SQLite	Planificado (aún no implementado)

Instalación

# Instalar con uv (recomendado)
uv add dbslice

# Probar sin instalar
uvx dbslice --help

# O con pip
pip install dbslice

Uso

Extracción básica

# Extraer por clave primaria
dbslice extract postgres://user:pass@host:5432/db --seed "orders.id=12345"

# Extraer con cláusula WHERE
dbslice extract postgres://localhost/db --seed "orders:status='failed' AND created_at > '2024-01-01'"

# Múltiples semillas
dbslice extract postgres://localhost/db \
  --seed "orders.id=100" \
  --seed "orders.id=101"

Control de recorrido

# Limitar profundidad (por defecto: 3)
dbslice extract postgres://... --seed "orders.id=1" --depth 2

# Dirección: up (solo padres), down (solo hijos), both (por defecto)
dbslice extract postgres://... --seed "orders.id=1" --direction up

Anonimización

# Anonimizar automáticamente campos sensibles detectados
dbslice extract postgres://... --seed "users.id=1" --anonymize

# Enmascarar campos adicionales
dbslice extract postgres://... --seed "users.id=1" --anonymize --redact "audit_logs.ip_address"

Interfaz de mapeo de columnas

Mapea columnas visualmente, aplica perfiles de cumplimiento y genera una configuración lista para usar, todo desde una interfaz web local.

dbslice map postgres://localhost/myapp

# Puerto personalizado
dbslice map postgres://localhost/myapp --port 8888

# También funciona con uvx (sin instalación)
uvx dbslice map postgres://localhost/myapp

Mapea columnas a reglas de anonimización	Genera y exporta configuración

Se ejecuta en 127.0.0.1:9473 con un token de sesión de un solo uso — ningún dato sale de tu máquina. Aplica perfiles GDPR, HIPAA o PCI-DSS con un clic, revisa qué se enmascara y luego descarga el YAML.

Perfiles de cumplimiento

# HIPAA Safe Harbor — enmascara automáticamente los 18 tipos de identificadores
dbslice extract postgres://... --seed "patients.id=1" --compliance hipaa --compliance-strict

# Múltiples perfiles + manifiesto de auditoría
dbslice extract postgres://... --seed "users.id=1" --compliance gdpr --compliance pci-dss -f subset.sql
# Produce subset.sql + subset.manifest.json

Formatos de salida

# SQL (por defecto)
dbslice extract postgres://... --seed "orders.id=1" --output sql

# Fixtures JSON
dbslice extract postgres://... --seed "orders.id=1" --output json --out-file fixtures/

# CSV
dbslice extract postgres://... --seed "orders.id=1" --output csv --out-file data/

Claves foráneas virtuales

Para relaciones no definidas en el esquema de la base de datos (GenericForeignKeys de Django, relaciones implícitas):

# dbslice.yaml
database:
  url: postgres://localhost:5432/myapp

virtual_foreign_keys:
  - source_table: notifications
    source_columns: [object_id]
    target_table: orders
    description: "FK genérica a pedidos mediante ContentType"

  - source_table: audit_log
    source_columns: [user_id]
    target_table: users
    description: "FK implícita sin restricción en BD"

dbslice extract --config dbslice.yaml --seed "users.id=1"

Inspeccionar esquema

dbslice inspect postgres://localhost/myapp

Archivo de configuración

# Generar configuración desde la base de datos
dbslice init postgres://localhost/myapp --out-file dbslice.yaml

# Usar configuración
dbslice extract --config dbslice.yaml --seed "orders.id=12345"

Cómo funciona

Inspeccionar — Lee el esquema de la base de datos para descubrir tablas y relaciones de clave foránea
Recorrer — A partir del(los) registro(s) semilla, sigue las relaciones FK mediante BFS
Extraer — Obtiene todos los registros identificados
Ordenar — Ordena topológicamente las tablas para un orden correcto de INSERT
Emitir — Genera SQL/JSON/CSV con el escape adecuado

Comparativa

Característica	dbslice	Jailer	Greenmask	slice-db
Lenguaje	Python	Java	Go	Ruby
Configuración	Sin configuración	Requiere archivo de modelo	Configuración requerida	YAML manual
Tiempo de configuración	Segundos	Horas	Medio	Medio
Anonimización	Integrada (Faker)	Basada en plugins	Transformadores avanzados	No disponible
Perfiles de cumplimiento	GDPR, HIPAA, PCI-DSS	Ninguno	Ninguno	Ninguno
Interfaz de mapeo de columnas	Integrada (local)	Ninguna	Ninguna	Ninguna
Escaneo de valores PII	Dos fases (pre/post máscara)	Ninguno	Ninguno	Ninguno
Subconjunto	Recorrido FK	Recorrido FK	Limitado	Recorrido FK
Formatos de salida	SQL, JSON, CSV	SQL, XML, CSV	SQL	Solo SQL
Manejo de ciclos	Automático	Configuración manual	N/A	Manual
Streaming	Integrado	Configurable	Integrado	No disponible
Mantenimiento	Activo	Activo	Activo	Sin mantenimiento

dbslice es la opción ligera y sin configuración en Python: instala y extrae en menos de un minuto.

Desarrollo

git clone https://github.com/nabroleonx/dbslice.git
cd dbslice
uv sync --dev
uv run pytest

Licencia

MIT

dbslice logo

dbslice

Extrae subconjuntos mínimos de bases de datos, referencialmente íntegros, para desarrollo local y depuración.

El problema

dbslice — de semilla a subconjunto

Inicio rápido

# Instalación global
uv tool install dbslice   # o: pip install dbslice

# Extrae un pedido y todos los registros relacionados
dbslice extract postgres://localhost/myapp --seed "orders.id=12345" > subset.sql

# Importa en la base de datos local
psql -d localdb < subset.sql

Funcionalidades

Sin configuración inicial — Inspecciona el esquema automáticamente, no requiere archivo de modelo de datos
Un solo comando — Extrae subconjuntos completos de datos con una sola invocación de CLI
Seguro por defecto — Detecta y anonimiza automáticamente campos sensibles (correos, teléfonos, SSN, etc.)
Perfiles de cumplimiento — Perfiles integrados para GDPR, Safe Harbor de HIPAA y PCI-DSS con escaneo PII en dos fases
Interfaz de mapeo de columnas — Interfaz web local para mapear columnas visualmente, aplicar perfiles de cumplimiento y exportar configuración
Múltiples formatos de salida — SQL, JSON y CSV
Streaming — Extracción eficiente en memoria para conjuntos grandes (100K+ filas)
Claves foráneas virtuales — Soporte para GenericForeignKeys de Django y relaciones implícitas mediante configuración
Archivos de configuración — Configuración basada en YAML para extracciones repetibles
Validación — Verifica la integridad referencial de los datos extraídos

Soporte de bases de datos

Base de datos	Estado
PostgreSQL	Compatibilidad total
MySQL	Planificado (aún no implementado)
SQLite	Planificado (aún no implementado)

Instalación

# Instalar con uv (recomendado)
uv add dbslice

# Probar sin instalar
uvx dbslice --help

# O con pip
pip install dbslice

Uso

Extracción básica

# Extraer por clave primaria
dbslice extract postgres://user:pass@host:5432/db --seed "orders.id=12345"

# Extraer con cláusula WHERE
dbslice extract postgres://localhost/db --seed "orders:status='failed' AND created_at > '2024-01-01'"

# Múltiples semillas
dbslice extract postgres://localhost/db \
  --seed "orders.id=100" \
  --seed "orders.id=101"

Control de recorrido

# Limitar profundidad (por defecto: 3)
dbslice extract postgres://... --seed "orders.id=1" --depth 2

# Dirección: up (solo padres), down (solo hijos), both (por defecto)
dbslice extract postgres://... --seed "orders.id=1" --direction up

Anonimización

# Anonimizar automáticamente campos sensibles detectados
dbslice extract postgres://... --seed "users.id=1" --anonymize

# Enmascarar campos adicionales
dbslice extract postgres://... --seed "users.id=1" --anonymize --redact "audit_logs.ip_address"

Interfaz de mapeo de columnas

Mapea columnas visualmente, aplica perfiles de cumplimiento y genera una configuración lista para usar, todo desde una interfaz web local.

dbslice map postgres://localhost/myapp

# Puerto personalizado
dbslice map postgres://localhost/myapp --port 8888

# También funciona con uvx (sin instalación)
uvx dbslice map postgres://localhost/myapp

Mapea columnas a reglas de anonimización	Genera y exporta configuración

Perfiles de cumplimiento

# HIPAA Safe Harbor — enmascara automáticamente los 18 tipos de identificadores
dbslice extract postgres://... --seed "patients.id=1" --compliance hipaa --compliance-strict

# Múltiples perfiles + manifiesto de auditoría
dbslice extract postgres://... --seed "users.id=1" --compliance gdpr --compliance pci-dss -f subset.sql
# Produce subset.sql + subset.manifest.json

Formatos de salida

# SQL (por defecto)
dbslice extract postgres://... --seed "orders.id=1" --output sql

# Fixtures JSON
dbslice extract postgres://... --seed "orders.id=1" --output json --out-file fixtures/

# CSV
dbslice extract postgres://... --seed "orders.id=1" --output csv --out-file data/

Claves foráneas virtuales

Para relaciones no definidas en el esquema de la base de datos (GenericForeignKeys de Django, relaciones implícitas):

# dbslice.yaml
database:
  url: postgres://localhost:5432/myapp

virtual_foreign_keys:
  - source_table: notifications
    source_columns: [object_id]
    target_table: orders
    description: "FK genérica a pedidos mediante ContentType"

  - source_table: audit_log
    source_columns: [user_id]
    target_table: users
    description: "FK implícita sin restricción en BD"

dbslice extract --config dbslice.yaml --seed "users.id=1"

Inspeccionar esquema

dbslice inspect postgres://localhost/myapp

Archivo de configuración

# Generar configuración desde la base de datos
dbslice init postgres://localhost/myapp --out-file dbslice.yaml

# Usar configuración
dbslice extract --config dbslice.yaml --seed "orders.id=12345"

Cómo funciona

Inspeccionar — Lee el esquema de la base de datos para descubrir tablas y relaciones de clave foránea
Recorrer — A partir del(los) registro(s) semilla, sigue las relaciones FK mediante BFS
Extraer — Obtiene todos los registros identificados
Ordenar — Ordena topológicamente las tablas para un orden correcto de INSERT
Emitir — Genera SQL/JSON/CSV con el escape adecuado

Comparativa

Característica	dbslice	Jailer	Greenmask	slice-db
Lenguaje	Python	Java	Go	Ruby
Configuración	Sin configuración	Requiere archivo de modelo	Configuración requerida	YAML manual
Tiempo de configuración	Segundos	Horas	Medio	Medio
Anonimización	Integrada (Faker)	Basada en plugins	Transformadores avanzados	No disponible
Perfiles de cumplimiento	GDPR, HIPAA, PCI-DSS	Ninguno	Ninguno	Ninguno
Interfaz de mapeo de columnas	Integrada (local)	Ninguna	Ninguna	Ninguna
Escaneo de valores PII	Dos fases (pre/post máscara)	Ninguno	Ninguno	Ninguno
Subconjunto	Recorrido FK	Recorrido FK	Limitado	Recorrido FK
Formatos de salida	SQL, JSON, CSV	SQL, XML, CSV	SQL	Solo SQL
Manejo de ciclos	Automático	Configuración manual	N/A	Manual
Streaming	Integrado	Configurable	Integrado	No disponible
Mantenimiento	Activo	Activo	Activo	Sin mantenimiento

dbslice es la opción ligera y sin configuración en Python: instala y extrae en menos de un minuto.

Desarrollo

git clone https://github.com/nabroleonx/dbslice.git
cd dbslice
uv sync --dev
uv run pytest

Licencia

MIT

dbslice

Más Populares

dbslice

Más Populares