🛡️ Veritensor: Segurança de Dados e Artefatos de IA

Veritensor é o antivírus para artefatos de IA e o firewall definitivo para pipelines RAG. Ele protege toda a cadeia de suprimentos de IA ao escanear os artefatos que as ferramentas SAST tradicionais não detectam: modelos, conjuntos de dados, documentos RAG e notebooks.

O Veritensor desloca a segurança para a esquerda. Em vez de esperar que uma injeção de prompt atinja seu LLM, o Veritensor intercepta e sanitiza documentos maliciosos, conjuntos de dados envenenados e dependências comprometidas antes que eles entrem no seu Vector DB ou ambiente de execução.

Ao contrário das ferramentas SAST padrão (que focam em código), o Veritensor entende os formatos binários e serializados usados em Machine Learning:

Modelos: análise profunda de AST de Pickle, PyTorch, Keras, Safetensors para bloquear RCE e backdoors.
Dados e RAG: varredura em streaming de Parquet, CSV, Excel, PDF para detectar envenenamento de dados, injeções de prompt e PII.
Notebooks: endurecimento de arquivos Jupyter (.ipynb) ao detectar segredos vazados (usando análise de entropia), magics maliciosos e XSS.
Cadeia de suprimentos: audita dependências (requirements.txt, poetry.lock) para typosquatting e CVEs conhecidas (via OSV.dev).
IA Agêntica e servidores MCP: análise pura de AST de arquivos Python para detectar riscos de sequestro de agente em funções @mcp.tool(). Escaneia claude_desktop_config.json e mcp.json para permissões excessivamente privilegiadas.
Governança: gera Manifestos de Dados criptográficos (proveniência) e assina contêineres via Sigstore.

🚀 Recursos

Segurança RAG nativa: incorpore o Veritensor diretamente em LangChain, LlamaIndex, ChromaDB e Unstructured.io para bloquear ameaças em tempo de execução.
Varredura paralela de alto desempenho: utiliza todos os núcleos da CPU com cache SQLite robusto (modo WAL). Reescanejar um conjunto de dados de 100 GB leva milissegundos se os arquivos não forem alterados.
Detecção avançada de stealth: hackers ocultam injeções de prompt usando CSS (font-size: 0, color: white) e comentários HTML. O Veritensor escaneia fluxos binários brutos para capturar o que os parsers padrão não veem.
Segurança de conjuntos de dados: processa conjuntos de dados massivos (100 GB+) em streaming para encontrar padrões de "envenenamento" (por exemplo, "Ignore previous instructions") e URLs maliciosas em Parquet, CSV, JSONL e Excel.
Inspeção de arquivos compactados: escaneia com segurança o interior de arquivos .zip, .tar.gz, .whl sem extraí-los para o disco (protegido contra Zip Bomb).
Auditoria de dependências: verifica pyproject.toml, poetry.lock e Pipfile.lock em busca de pacotes maliciosos (typosquatting) e vulnerabilidades.
Proveniência de dados: o comando veritensor manifest . cria um instantâneo JSON assinado dos seus artefatos de dados para conformidade (EU AI Act).
Verificação de identidade: verifica automaticamente os hashes dos modelos em relação ao registro oficial do Hugging Face para detectar ataques Man-in-the-Middle.
Mecanismo de desofuscação: detecta e decodifica automaticamente strings Base64 para revelar payloads ocultos (por exemplo, SWdub3Jl... -> Ignore previous instructions).
Validação de números mágicos: detecta malware disfarçado de arquivos seguros (por exemplo, um .exe renomeado para invoice.pdf).
Filtragem inteligente e análise de entropia: reduz drasticamente os falsos positivos em Jupyter Notebooks. Usa entropia de Shannon para encontrar chaves de API reais e desconhecidas (WandB, Pinecone, Telegram) enquanto ignora UUIDs seguros e imports padrão.
Relatórios HTML prontos para CISO: gere relatórios de segurança HTML autônomos e bonitos, com gráficos interativos e detalhamentos por severidade usando a flag --html.

📦 Instalação

O Veritensor é modular. Instale apenas o que você precisa para manter seu ambiente leve (~50 MB no núcleo).

Opção	Comando	Caso de uso
Core	`pip install veritensor`	Scanner base (Modelos, Notebooks, Dependências)
RAG	`pip install "veritensor[rag]"`	Documentos (PDF, DOCX, PPTX)
PII	`pip install "veritensor[pii]"`	Detecção de PII baseada em ML (Presidio)
AWS	`pip install "veritensor[aws]"`	Varredura direta de buckets S3
All	`pip install "veritensor[all]"`	Suíte completa para segurança empresarial

Via Docker (Recomendado para CI/CD)

docker pull arseniibrazhnyk/veritensor:latest

⚡ Início Rápido

1. Escanear um projeto local (paralelo)

Escaneie recursivamente um diretório em busca de todas as ameaças suportadas usando 4 núcleos de CPU:

veritensor scan ./my-rag-project --recursive --jobs 4

2. Escanear documentos RAG e Excel

Verifique injeções de prompt e injeções de fórmula em dados corporativos:

veritensor scan ./finance_data.xlsx
veritensor scan ./docs/contract.pdf

3. Gerar Manifesto de Dados

Crie um instantâneo de conformidade da sua pasta de conjuntos de dados:

veritensor manifest ./data --output provenance.json

4. Sincronizar Policy-as-Code com o Control Plane

Envie seus limites de segurança locais para o Enterprise Server:

veritensor scan . --sync-policy --api-key "vt_your_key"

5. Escanear conjuntos de dados de IA (viés e envenenamento)

O Veritensor usa streaming para lidar com arquivos enormes. Por padrão, ele amostra 10 mil linhas para maior velocidade.

veritensor scan ./data/train.parquet --full-scan

6. Verificar a integridade do modelo

Garanta que o arquivo no seu disco corresponda à versão oficial do Hugging Face (detecta adulteração):

veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b

7. Escanear a partir do Amazon S3

Escaneie ativos remotos sem download manual:

veritensor scan s3://my-ml-bucket/models/llama-3.pkl

8. Verificar no Hugging Face

Garanta que o arquivo no seu disco corresponda à versão oficial do registro (detecta adulteração):

veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b

9. Verificação de conformidade de licença

O Veritensor lê automaticamente os metadados de arquivos safetensors e GGUF. Se um modelo tiver uma licença Não-Comercial (por exemplo, cc-by-nc-4.0), ele emitirá um alerta de severidade ALTA.

Para substituir isso (modo Break-glass), use:

veritensor scan ./model.safetensors --force

10. Escanear conjuntos de dados de IA