🛡️ Veritensor: Seguridad de Datos y Artefactos de IA

Veritensor es el Antivirus para Artefactos de IA y el firewall definitivo para pipelines RAG. Asegura toda la cadena de suministro de IA escaneando los artefactos que las herramientas SAST tradicionales pasan por alto: modelos, datasets, documentos RAG y notebooks.

Veritensor desplaza la seguridad hacia la izquierda. En lugar de esperar a que una inyección de prompt impacte tu LLM, Veritensor intercepta y sanea documentos maliciosos, datasets envenenados y dependencias comprometidas antes de que entren en tu Vector DB o en tu entorno de ejecución.

A diferencia de las herramientas SAST estándar (que se centran en el código), Veritensor comprende los formatos binarios y serializados utilizados en Machine Learning:

1. Modelos: Análisis profundo de AST de Pickle, PyTorch, Keras, Safetensors para bloquear RCE y backdoors.
2. Datos y RAG: Escaneo en streaming de Parquet, CSV, Excel, PDF para detectar envenenamiento de datos, inyecciones de prompt y PII.
3. Notebooks: Endurecimiento de archivos Jupyter (.ipynb) mediante la detección de secretos filtrados (usando análisis de entropía), magics maliciosos y XSS.
4. Cadena de suministro: Audita dependencias (requirements.txt, poetry.lock) para detectar Typosquatting y CVEs conocidos (vía OSV.dev).
5. IA agéntica y servidores MCP: Análisis AST puro de archivos Python para detectar riesgos de secuestro de agentes en funciones @mcp.tool(). Escanea claude_desktop_config.json y mcp.json en busca de permisos excesivos.
6. Gobernanza: Genera Manifiestos de Datos criptográficos (Procedencia) y firma contenedores mediante Sigstore.

---

🚀 Características

• Seguridad RAG nativa: Integra Veritensor directamente en LangChain, LlamaIndex, ChromaDB y Unstructured.io para bloquear amenazas en tiempo de ejecución.
• Escaneo paralelo de alto rendimiento: Utiliza todos los núcleos de CPU con un robusto caché SQLite (modo WAL). Volver a escanear un dataset de 100 GB lleva milisegundos si los archivos no han cambiado.
• Detección avanzada de ocultamiento: Los hackers ocultan inyecciones de prompt usando CSS (font-size: 0, color: white) y comentarios HTML. Veritensor escanea flujos binarios crudos para detectar lo que los parsers estándar pasan por alto.
• Seguridad de datasets: Transmite datasets masivos (100 GB+) para encontrar patrones de "envenenamiento" (p. ej., "Ignore previous instructions") y URLs maliciosas en Parquet, CSV, JSONL y Excel.
• Inspección de archivos comprimidos: Escanea de forma segura el interior de archivos .zip, .tar.gz, .whl sin extraerlos al disco (protegido contra Zip Bombs).
• Auditoría de dependencias: Comprueba pyproject.toml, poetry.lock y Pipfile.lock en busca de paquetes maliciosos (Typosquatting) y vulnerabilidades.
• Procedencia de datos: El comando veritensor manifest . crea una instantánea JSON firmada de tus artefactos de datos para cumplimiento normativo (EU AI Act).
• Verificación de identidad: Verifica automáticamente los hashes de los modelos contra el registro oficial de Hugging Face para detectar ataques Man-in-the-Middle.
• Motor de desofuscación: Detecta y decodifica automáticamente cadenas Base64 para revelar payloads ocultos (p. ej., SWdub3Jl... -> Ignore previous instructions).
• Validación de números mágicos: Detecta malware disfrazado de archivos seguros (p. ej., un .exe renombrado a invoice.pdf).
• Filtrado inteligente y análisis de entropía: Reduce drásticamente los falsos positivos en Jupyter Notebooks. Usa la entropía de Shannon para encontrar claves API reales y desconocidas (WandB, Pinecone, Telegram) ignorando UUIDs seguros e importaciones estándar.
• Informes HTML listos para CISO: Genera informes de seguridad HTML independientes y atractivos con gráficos interactivos y desgloses por severidad usando la bandera --html.

---

📦 Instalación

Veritensor es modular. Instala solo lo que necesitas para mantener tu entorno ligero (~50 MB de núcleo).

Opción	Comando	Caso de uso
Core	pip install veritensor	Escáner base (modelos, notebooks, dependencias)
RAG	pip install "veritensor[rag]"	Documentos (PDF, DOCX, PPTX)
PII	pip install "veritensor[pii]"	Detección de PII basada en ML (Presidio)
AWS	pip install "veritensor[aws]"	Escaneo directo desde buckets S3
All	pip install "veritensor[all]"	Suite completa para seguridad empresarial

Mediante Docker (Recomendado para CI/CD)

docker pull arseniibrazhnyk/veritensor:latest

---

⚡ Inicio rápido

1. Escanear un proyecto local (paralelo)

Escanea recursivamente un directorio en busca de todas las amenazas compatibles usando 4 núcleos de CPU:

veritensor scan ./my-rag-project --recursive --jobs 4

2. Escanear documentos RAG y Excel

Comprueba inyecciones de prompt e inyecciones de fórmula en datos empresariales:

veritensor scan ./finance_data.xlsx
veritensor scan ./docs/contract.pdf

3. Generar manifiesto de datos

Crea una instantánea de cumplimiento de tu carpeta de datos:

veritensor manifest ./data --output provenance.json

4. Sincronizar política como código al plano de control

Envía tus umbrales de seguridad locales al servidor empresarial:

veritensor scan . --sync-policy --api-key "vt_your_key"

5. Escanear datasets de IA (sesgo y envenenamiento)

Veritensor usa streaming para manejar archivos enormes. Por defecto muestrea 10k filas para mayor velocidad.

veritensor scan ./data/train.parquet --full-scan

6. Verificar la integridad del modelo

Asegúrate de que el archivo en tu disco coincide con la versión oficial de Hugging Face (detecta manipulación):

veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b

7. Escanear desde Amazon S3

Escanea recursos remotos sin descarga manual:

veritensor scan s3://my-ml-bucket/models/llama-3.pkl

8. Verificar contra Hugging Face

Asegúrate de que el archivo en tu disco coincide con la versión oficial del registro (detecta manipulación):

veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b

9. Comprobación de cumplimiento de licencias

Veritensor lee automáticamente los metadatos de archivos safetensors y GGUF. Si un modelo tiene una licencia no comercial (p. ej., cc-by-nc-4.0), se generará una alerta de severidad ALTA.

Para anular esto (modo break-glass), usa:

veritensor scan ./model.safetensors --force